vLLM 官方博客· Inferact and the vLLM Team·· 2 天前精选AI 评分63
vLLM 在 GB300 NVL72 上服务 DeepSeek-V4.1-Flash 的性能优化实践
Serving DeepSeek-V4.1-Flash at Scale: vLLM Matches DeepInfer and Scales to GB300 NVL72
AI 导读
vLLM 团队在 NVIDIA GB300 NVL72 架构上，通过 P/D disaggregation 和 Wide-EP 技术，实现 DeepSeek-V4.1-Flash 模型 954K tokens/s 每 GPU 的吞吐量，P90 为 196 tokens/s 每用户，成本为每 GPU 小时 $38.96。
推荐理由
原文详细拆解了在 GB300 NVL72 上服务 DeepSeek-V4.1-Flash 的性能优化路径，读者可据此理解通用引擎如何逼近专用引擎的效率。
来源：vLLM 官方博客 · vllm.ai