Google 2026年9月AI动态汇总:Gemini 4 Argon、Connected Apps等
Google 在2026年9月发布了新一代前沿模型 Gemini 4 Argon,其具备高级推理能力,并拥有行业领先的100万token输出上限,专为应对网络安全防御等复杂挑战而设计。
Google 在2026年9月发布了新一代前沿模型 Gemini 4 Argon,其具备高级推理能力,并拥有行业领先的100万token输出上限,专为应对网络安全防御等复杂挑战而设计。
研究显示,在预训练中增强多语言语音模型的语言区分能力,能缩小其与单语模型在语音和词汇任务上的性能差距。在英语/法语 HuBERT 实验中,引入辅助语言分类器等方法后,phone-ABX 错误率从 11.6% 降至 10.4%(单语基线 10.8%),sWUGGY 词汇任务得分从 52.1% 提升至 56.7%(单语 58.5%)。结果表明,语言区分能力对降低多语言学习的额外成本具有因果作用。
Google 在 Gemini Live 中推出 Guided Vision 功能,为视障人士和需要直观视觉辅助的用户提供实时语音引导的视觉解读。该功能通过与 Aira 合作训练,支持在日常场景中定位物品、识别文字和描述环境,用户可通过 Gemini App 或 Android 辅助功能快捷方式启用。
NVIDIA 展示了如何微调其 Nemotron 自动语音识别模型以适配沙特阿拉伯方言。该方法旨在解决区域方言和本地录音条件在预训练数据中代表性不足的问题,确保模型能处理人们的实际口语,而不仅仅是基准测试中表现良好的主流语言。此微调路径也可应用于其他语言。
Vercel 与 Microsoft AI 合作,将 MAI 模型引入其 AI Gateway 平台。平台新增支持 MAI-Voice-2.1、MAI-Voice-2.1-Flash 和 MAI-Transcribe-2 Streaming 三款音频模型,分别用于生成多语言语音、低延迟语音交互和实时音频转录。AI Gateway 按模型官方费率计费,不收取平台费用或推理加价。
Hugging Face 推出 Open TTS Leaderboard,使用客观指标对开源文本到语音模型进行多语言和语音克隆评估。该榜单通过 Qwen3 ASR 计算词错率(WER)和字符错率(CER),并用 H200 GPU 测量推理速度(RTFx)和首次音频生成时间(TTFA),同时计算生成音频与参考音频的说话人相似度(SIM)。
DEFINE 框架通过独立的音频示例分别控制说话人身份和目标口音,在单次推理中实现口音强度的连续调节。该框架基于 F5-TTS 构建,使用参数高效的 LoRA 进行适配,无需推理时的口音标签或后合成波形转换。在训练集内口音上,口音引导可将口音探测准确率从 6.5% 提升至 19.6%,并能将口音控制泛化到训练集外的部分口音上。
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,通过低延迟视频流与语音同步,实现企业级虚拟代理的近实时视觉交互。该功能支持多语言无缝切换、异步工具调用与持续对话,具备精确唇形同步与自然表情,企业可通过参考图像定制专属动画形象,目前仅对 Gemini Enterprise 用户开放。所有生成内容均嵌入 SynthID 水印以确保可追溯性。
推荐理由:原文给出了功能组合和企业可用性,读者可以据此判断其在交互场景中的部署价值。
本文提出一种半监督联邦语音识别(ASR)训练方法,通过在线伪标签与服务器更新稳定化实现模型训练。研究显示,使用客户端本地模型作为教师生成伪标签,并结合服务器端对有标签数据的持续训练,可显著提升模型性能。该方法在9个中的11个数据对上优于最强先前方法,平均在域内提升20.8%,跨域提升10.0%。
Google 的 Gemini 3.8 Flash-Lite TTS 和 Gemini 3.8 Flash TTS 模型现已在 AI Gateway 平台可用。两款模型支持超过 100 种语言的文本转语音,具备长文本叙述、音调语速控制和双人对话功能。开发者可通过 AI SDK 7 或更高版本调用模型 ID 进行语音生成。
OpenAI 的全双工语音模型 GPT-Live 1 已在 Vercel AI Gateway 上线,支持同时听与说,无需等待对方说完。该模型还支持客户端委托,允许应用在语音会话进行时,调用 AI Gateway 上的任何文本模型(如 GPT-5.6-sol)处理深度任务,委托请求单独计费。
推荐理由:原文介绍了全双工语音交互和客户端委托的具体实现方式,读者可以据此评估其技术特点和应用潜力。
Google DeepMind 发布 Gemini 3.8 Live 和 3.8 Live Extended Thinking 两款新语音模型,支持近实时推理与多语言动态切换。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Google 发布了 Gemini 3.8 Live 和 3.8 Live Extended Thinking 两款实时对话模型,旨在提升语音智能体的智能和协作体验。
推荐理由:Google 官方博客宣布了其最新的实时对话模型,提供了详细的性能基准和面向不同场景的部署方案。
Google 宣布其技术与产品已支持超过 300 种语言,覆盖全球 86% 的人口。Gemini 3.5 Live Translate 支持 70 种语言的实时口语翻译,而基于 1200 万小时音频训练的通用语音模型正助力实现“千种语言计划”。
Together AI 分享了其构建低延迟、高吞吐语音转文本(ASR)服务栈的工程优化细节,以支持 NVIDIA Parakeet-TDT 0.6B v3 和 OpenAI Whisper Large v3 等模型。
推荐理由:原文详细拆解了从模型编译到运行时优化的全链路工程实践,为构建低延迟语音AI服务提供了具体的技术路径参考。
Inworld TTS-1.5 Max 文本转语音模型已在 fal 平台上线,专注于低延迟语音生成、更高的表现力和多语言支持。该模型首次音频生成时间低于约 250 毫秒,支持 15 种语言,定价约为每分钟 0.01 美元。
Together AI 推出了一个统一的解决方案,用于在共置的 STT、LLM 和 TTS 基础设施上构建实时语音智能体。该架构将整个语音技术栈保留在同一云上,旨在将端到端延迟降至 500 毫秒以下,并简化部署。平台原生集成了 Cartesia 和 Deepgram 的领先语音模型,为开发者提供了模型选择和配置的灵活性。
推荐理由:Together AI 将语音识别、大模型和语音合成整合在同一集群,为构建实时语音智能体提供了一个低延迟、可灵活选模的解决方案。