使用 Helion 为 vLLM 构建高性能可移植的线性后端
研究团队将 Helion 集成到 vLLM 的线性后端,以探索其自动调优的高层内核 DSL 如何提升大语言模型推理性能并降低内核实现复杂度。在 NVIDIA Hopper GPU 上,该后端通过逐形状调优与混合调度,在评估的模型中性能超越了 vLLM 默认的 CUTLASS 和 DeepGEMM 后端,部分工作负载的吞吐量提升超过 10%。
研究团队将 Helion 集成到 vLLM 的线性后端,以探索其自动调优的高层内核 DSL 如何提升大语言模型推理性能并降低内核实现复杂度。在 NVIDIA Hopper GPU 上,该后端通过逐形状调优与混合调度,在评估的模型中性能超越了 vLLM 默认的 CUTLASS 和 DeepGEMM 后端,部分工作负载的吞吐量提升超过 10%。
Meta 团队使用 TLX 在 NVIDIA Blackwell 上优化了其生成式广告模型 GEM 的 Jagged Flash Attention 内核。该 TLX 内核代码量约为 3.2K 行,比当前 SOTA 的 FlashAttention-4 少约 3 倍,并在 GEM 关键的不规则形状上,前向传递性能提升约 13%,反向传递提升约 50%。
Llama3 与 Qwen2.5 在科学、医学和算术任务上进行强到弱知识蒸馏实验,发现 rollout policy 并非决定性因素,token-level KL 方向对性能与输出覆盖影响更显著。
PersonaDose 在 Llama-3.1-8B、Qwen3-8B 和 Gemma-3-4B 上实现渐进式人格特质控制,相比对比激活添加方法,核心特质表达提升 33.2、18.3 和 17.8 点,达到 75 的一致性基线。校准后设置在未见问题上仍保持表达优势,7 个训练特质的平均目标误差为 4.7–6.2 点,28 个目标中有 14–22 个可达到。
Meta 发布 MetaRoCE,这是一种专为 AI 工作负载设计的 RDMA 传输协议,适用于大规模以太网环境。MetaRoCE 通过 Open Compute Project (OCP) 开源了协议规范、参考软件实现和合规测试套件。
推荐理由:Meta 开源了专为 AI 规模设计的 RDMA 传输协议 MetaRoCE,包含规范、参考实现和测试套件,可提升分布式训练和推理效率。
Mistral 宣布推出 Mistral Regional Endpoints 和 Mistral Priority Tier,以增强推理的区域控制和生产级可靠性。其平台将开始支持第三方开源模型,首个为 Z.ai 的 GLM-5.2。Mistral 还联合企业成立联盟,通过欧洲计算单位(ECUs)来确保欧洲的长期 AI 算力供应,目标是到 2030 年建设高达 1 GW 的算力容量。
推荐理由:Mistral 通过推出区域端点和优先服务层,为欧洲客户提供了符合数据驻留和监管要求的 AI 基础设施选项。
Meta Superintelligence Labs 发布的首个开源多模态模型 Muse Glimmer 现已可在 Ollama 上运行。这是一个 30B 参数、专为本地智能体工作负载设计的模型,拥有 128K+ 上下文长度,采用 Apache 2.0 许可证。
推荐理由:原文提供了模型参数、许可证、支持的智能体框架和性能优化细节,读者可以据此评估其本地部署的适用性。
Replit 认为企业 AI 采用的核心障碍是信任问题,并于 2025 年底开始构建用于定义数据含义和修正的记录系统。该运营真值层是一个版本可控、经过人工审核、与模型无关的定义与修正知识库,旨在让每个处理数据的智能体都从相同的业务理解起点出发。Anthropic、OpenAI 和 Meta 也各自通过其智能体架构、内部数据智能体和分析智能体,在构建经过验证的知识层这一方向上呈现出行业共识。
伯克利 AI 研究团队提出梯度规划器 GRASP,旨在解决基于学习型世界模型进行长时程规划时面临的优化病态、局部极小值和高维潜在空间失效等难题。该方法通过将轨迹提升至虚拟状态以实现跨时间并行优化,直接向状态迭代添加随机性以增强探索,并重塑梯度以提供清晰的动作信号。GRASP 提升了梯度规划在长时程、高维视觉空间任务中的鲁棒性。