vLLM 官方博客· Ranran Haoran Zhang, Lik Xun Yuan, Chao Ju Chen, Eric Curtin, Michael Goin·· 13 天前精选AI 评分60
vLLM 官方发布 vllm-metal：支持 Apple Silicon 的并发推理服务
Announcing vllm-metal: Concurrent Serving on Apple Silicon
AI 导读
vLLM 官方发布 vllm-metal v0.28.0，将 vLLM 的调度器、分页 KV 缓存和 OpenAI 兼容服务移植到 Apple Silicon，通过 MLX 和 Metal 执行。
推荐理由
原文给出了在 Apple Silicon 上并发服务的性能数据和部署方式，读者可以据此判断其在本地推理场景下的可用性与效率提升。
来源：vLLM 官方博客 · vllm.ai