Google开源TPU Sync库用于KV缓存与权重传输

Google开源了TPU Sync库，这是一个用于在TPU HBM、主机DRAM、共享存储和数据中心网络间传输KV缓存块和模型权重的原生C++库。 该库针对长上下文和分治LLM服务、强化学习权重同步等场景，Google称其在Qwen3 235B模型上的KV传输延迟从数秒降至约230毫秒，TTFT平均降低60%至90%。 该库已在TPU v7x和v6e上验证，其PyTorch轮子需要匹配一个未在公共索引上的torch_tpu构建；用于Pathways和多控制器JAX的强化学习权重同步模块是实验性的；TPU Sync采用Apache 2.0许可证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。