InfoQ · AI/ML· Daniel Dominguez·· 3 小时前精选AI 评分65
Google 开源 TPU Sync 库用于 TPU 上的 KV 缓存与权重传输
Google Open-Sources TPU Sync for KV Cache and Weight Transfer on TPUs
AI 导读
Google 开源 TPU Sync，一个用于在 TPU HBM、主机 DRAM、共享存储和数据中心网络间传输 KV 缓存块和模型权重的原生 C++ 库。该库针对长上下文和分治 LLM 服务、强化学习权重同步等场景，Qwen3 235B 模型的 KV 传输延迟从数秒降至约 230 ms，TTFT 平均降低 60% 至 90%。
推荐理由
原文提供了 TPU Sync 的核心功能、适用场景和性能数据，开发者可据此评估其在长上下文和分治推理中的实际价值。
来源：InfoQ · AI/ML · infoq.com