vLLM 官方博客· Inferact, InferMatrix, and IBM·· 13 小时前精选AI 评分60
vLLM 推出多模态推理编码器分离功能，支持独立扩展各阶段计算资源
Encoder Disaggregation in vLLM: Scaling Multimodal Serving with EPD
AI 导读
vLLM 发布编码器分离（EPD）功能，支持将多模态推理的编码、预填充和解码阶段独立部署，实现各阶段独立扩展。新功能包括元数据-only 请求、专用编码器执行路径、远程嵌入传输（通过 NIXL 和 Mooncake）、跨编码器输出复用（Mooncake Store）以及低开销的 Python 代理和路由（vLLM Router、SMG、llm-d）。
推荐理由
原文详细说明了 vLLM 在多模态推理中分离编码器的工程实现，包括元数据传输、远程嵌入传递和跨编码器缓存复用，读者可据此理解如何独立扩展各阶段计算资源。
来源：vLLM 官方博客 · vllm.ai