跳到正文
vLLM 官方博客· Itay Alroy (NVIDIA)·· 1 天前AI 评分40

vLLM 如何实现 Elastic Expert Parallelism 的近零停机扩展

Achieving near-zero-downtime scaling in Elastic Expert Parallelism

AI 导读

vLLM 通过异步准备和 NIXL EP 技术实现了 Elastic Expert Parallelism 的近零停机扩展,在 DeepSeek V4 Pro 基准测试中,从 16 到 20 GPU 的扩展停机时间缩短至 0.82 秒,回缩至 16 GPU 时为 1.96 秒。

来源:vLLM 官方博客 · vllm.ai