Google与Meta合作开源PyTorch后端TorchTPU

Google与Meta的PyTorch团队合作，开源了用于其Cloud TPU硬件的原生PyTorch后端TorchTPU。用户需要在TPU虚拟机上安装该软件包，并选择tpu设备来使用。 PyTorch官方博客称，TorchTPU目前处于积极开发阶段，已被一些最大的Google Cloud客户用于推理和训练工作负载。 vLLM官方随后发布了基于TorchTPU栈构建的vLLM TorchTPU后端，用于在Google Cloud TPU上运行vLLM，支持现有模型无需修改代码即可部署。该后端推荐在TPU v7x硬件上使用，并需要TPU虚拟机上安装Python 3.12。

AI 根据报道生成 · 1 小时前更新

1. 10月20日 23:22 · 2 篇报道
   Google开源TorchTPU PyTorch后端
   PyTorch 博客：PyTorch 官方发布 TorchTPU：原生支持 Google TPU 的 PyTorch 后端
2. 10月20日 08:00 · 1 篇报道
   发布vLLM TorchTPU后端
   vLLM 官方博客：vLLM 推出 TorchTPU 后端支持 Google Cloud TPU

还没有足够的连续观测数据，暂不绘制趋势。