MarkTechPost· Asif Razzaq·· 6 小时前精选AI 评分65
Google Cloud 发布 llm-d 1.0 分布式推理栈，支持 TPU 和 GPU 跨集群调度
Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets
AI 导读
Google Cloud 发布 llm-d 1.0，首个稳定版分布式推理栈，基于 Kubernetes，支持 vLLM 和 SGLang，可协调 TPU 和 GPU 资源池。
推荐理由
原文给出了 llm-d 1.0 的核心能力、部署方式和性能基准，读者可以据此判断其在多云异构算力环境下的实际应用价值。
来源：MarkTechPost · marktechpost.com