vLLM与英伟达优化Kimi K3模型推理速度

1. 21:25
   IT之家

   英伟达优化 Kimi K3 模型推理速度，提升 1.68 倍

   英伟达通过上游 vLLM 优化，使 2.8 万亿参数的 Kimi K3 模型推理速度达到 423 tok/s/user，性能提升 1.68 倍。该优化由 CentML 工程师 Benjamin 完成，采用 Cute DSL 编写了解码专用内核，包含 1.2 万行代码。英伟达还正在为 vLLM 开发 DeepSeek V4.1 等其他模型的优化。

1. 08:00
   vLLM 官方博客

   vLLM 发布 Kimi K3 专用解码优化路径

   vLLM 官方发布针对 Kimi K3 的专用解码优化路径，基于 NVIDIA GB300 GPU，通过智能体辅助开发构建统一的 CuTe DSL 解码路径，覆盖注意力、MoE 和通信模块。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。