MidReal AI更新Beta版本
值得一提的是，该研究已经被全球顶级机器学习大会“NeurIPS”，评选为重要论文。
为了实现逼真的呈现，该方法将场景参数化为三个部分:遮挡物 → 人 → 背景，并通过新颖的优化目标将这些渲染解耦。为了处理在真实世界场景中可能出现的遮挡情况，该方法引入了感知遮挡的场景参数化，将场景解耦为遮挡、人和背景三个部分。此外，该方法设计了广泛的客观函数，以帮助强化将人从遮挡和背景中解耦，并确保人体模型的完整性。
不同于传统的迭代采样过程，CoMoSVC实现了一步采样，即能够在单次操作中完成声音的转换，大大加快了处理速度。同时，它在保持高音质转换的同时，优化了推理速度，确保转换后的音频既自然又忠实于目标歌手的风格。
据悉，M2UGen采用了创新的方法，生成了大规模的多模态音乐指导数据集，用于训练模型。这包括MU-LLaMA模型生成的1.2k多小时音乐字幕数据集。模型结合了MU-LLaMA、BLIP图像字幕模型、MPT-7B-Chat模型以及VideoMAE字幕模型，以在各个领域生成对应的指导。