跳到正文
vLLM 官方博客· Inferact and Google Teams·· 19 小时前AI 评分52

vLLM 推出 TorchTPU 后端支持 Google Cloud TPU

Introducing vLLM TorchTPU

AI 导读

vLLM 官方发布 vLLM TorchTPU(vllm-torchtpu),一个用于在 Google Cloud TPU 上运行 vLLM 的新后端,基于 TorchTPU 栈构建,支持现有模型无需修改代码即可部署。

来源:vLLM 官方博客 · vllm.ai