作者测试显示vLLM连续批处理在输出长度可变时吞吐最高提升2.91倍

作者Nhu Hoang分享的测试结果显示，在vLLM推理服务中，当输出长度高度可变时，连续批处理相比静态批处理能带来最高2.91倍的吞吐提升。 测试在一台配备GB10和128GB内存的DGX Spark上，使用Qwen2.5-7B-Instruct模型进行，并禁用了前缀缓存。 当输出长度一致时，连续批处理、静态批处理和动态批处理三者的吞吐性能没有显著差异。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。