跳到正文
10月2日周五
  1. Apple · 机器学习研究27

    Apple 研究:语言区分能力提升多语言语音模型的语音学习效果

    研究显示,在预训练中增强多语言语音模型的语言区分能力,能缩小其与单语模型在语音和词汇任务上的性能差距。在英语/法语 HuBERT 实验中,引入辅助语言分类器等方法后,phone-ABX 错误率从 11.6% 降至 10.4%(单语基线 10.8%),sWUGGY 词汇任务得分从 52.1% 提升至 56.7%(单语 58.5%)。结果表明,语言区分能力对降低多语言学习的额外成本具有因果作用。

9月30日周三
  1. Hugging Face Blog39

    Open TTS Leaderboard:面向开源和多语言的文本到语音及语音克隆可扩展评估体系

    Hugging Face 推出 Open TTS Leaderboard,使用客观指标对开源文本到语音模型进行多语言和语音克隆评估。该榜单通过 Qwen3 ASR 计算词错率(WER)和字符错率(CER),并用 H200 GPU 测量推理速度(RTFx)和首次音频生成时间(TTFA),同时计算生成音频与参考音频的说话人相似度(SIM)。

  2. Hugging Face · 每日论文45

    DEFINE:用于零样本 TTS 的示例引导口音控制框架

    DEFINE 框架通过独立的音频示例分别控制说话人身份和目标口音,在单次推理中实现口音强度的连续调节。该框架基于 F5-TTS 构建,使用参数高效的 LoRA 进行适配,无需推理时的口音标签或后合成波形转换。在训练集内口音上,口音引导可将口音探测准确率从 6.5% 提升至 19.6%,并能将口音控制泛化到训练集外的部分口音上。

9月24日周四
  1. Apple · 机器学习研究35

    A Practical Recipe for Semi-Supervised Federated ASR: Online Pseudo-Labels with Server Update Stabilization

    本文提出一种半监督联邦语音识别(ASR)训练方法,通过在线伪标签与服务器更新稳定化实现模型训练。研究显示,使用客户端本地模型作为教师生成伪标签,并结合服务器端对有标签数据的持续训练,可显著提升模型性能。该方法在9个中的11个数据对上优于最强先前方法,平均在域内提升20.8%,跨域提升10.0%。