vLLM实现弹性专家并行近零停机扩展
热点事件持续更新
vLLM实现弹性专家并行近零停机扩展
1 篇报道1 个报道来源22 小时前更新
先了解这件事
AI 综述
vLLM称，其通过异步准备和NIXL EP技术实现了弹性专家并行的近零停机重新配置，在DeepSeek V4 Pro基准测试中，从16个GPU扩展到20个GPU的停机时间缩短至0.82秒，回缩至16个GPU时为1.96秒。 vLLM表示，该功能已在其与NIXL的最新版本中提供，可通过pip安装使用。
AI 根据报道生成 · 56 分钟前更新
最新进展10月19日 08:00
vLLM 如何实现 Elastic Expert Parallelism 的近零停机扩展报道时间线
沿着报道，了解事件的不同侧面。
10月19日
- vLLM 官方博客vLLM 如何实现 Elastic Expert Parallelism 的近零停机扩展
vLLM 通过异步准备和 NIXL EP 技术实现了 Elastic Expert Parallelism 的近零停机扩展，在 DeepSeek V4 Pro 基准测试中，从 16 到 20 GPU 的扩展停机时间缩短至 0.82 秒，回缩至 16 GPU 时为 1.96 秒。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。