Hugging Face · 每日论文·· 4 天前精选AI 评分54
SepGen:单模型实现多声源音频视频分离与生成
SepGen: Multi-Stem Audio-Video Separation and Generation in a Single Model
AI 导读
SepGen 是一个统一模型,能在单次采样中生成视频、混合音轨及每个标注声源的独立波形,支持生成和分离两种模式。在生成模式下,每个声源由文本描述指定内容;在分离模式下,模型可从混合音频中提取指定声源。该模型在合成场景和真实录音上均优于语言条件分离器,尤其在语音分离任务中表现突出。代码、检查点和数据集已开源,地址为 https://sepgen.github.io/。
推荐理由
该研究提出统一模型同时实现音频视频分离与生成,支持从文本描述中提取特定声源,对多模态内容创作和编辑有直接应用价值。
来源:Hugging Face · 每日论文 · huggingface.co