vLLM发布编码器解耦功能，支持多模态推理阶段独立扩展
热点事件持续更新
vLLM发布编码器解耦功能，支持多模态推理阶段独立扩展
1 篇报道1 个报道来源13 小时前更新
先了解这件事
AI 综述
vLLM发布了编码器解耦（EPD）功能，允许将多模态推理的编码、预填充和解码阶段独立部署，以实现各阶段计算资源的独立扩展。 新功能包括支持元数据-only请求、专用编码器执行路径、通过NIXL和Mooncake的远程嵌入传输、跨编码器输出复用（Mooncake Store）以及低开销的Python代理和路由（vLLM Router、SMG、llm-d）。
AI 根据报道生成 · 2 小时前更新
最新进展11月11日 08:00
vLLM 推出多模态推理编码器分离功能，支持独立扩展各阶段计算资源报道时间线
沿着报道，了解事件的不同侧面。
11月11日
- vLLM 官方博客精选vLLM 推出多模态推理编码器分离功能，支持独立扩展各阶段计算资源
vLLM 发布编码器分离（EPD）功能，支持将多模态推理的编码、预填充和解码阶段独立部署，实现各阶段独立扩展。新功能包括元数据-only 请求、专用编码器执行路径、远程嵌入传输（通过 NIXL 和 Mooncake）、跨编码器输出复用（Mooncake Store）以及低开销的 Python 代理和路由（vLLM Router、SMG、llm-d）。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。