每天500万亿Token背后，KV Cache正把存储墙推到台前

联想集团首席科学家肖利民指出，随着中国每天Token消耗量从2024年的1000亿跃升至2025年8月的500万亿，存储墙问题在AI推理时代被进一步放大。KV Cache机制虽能减少重复计算，但其存放问题导致GPU与外部存储间的数据搬运开销拖累推理性能。联想团队通过内存池化与近存计算结合，构建存算融合池化系统，在多个测试场景中实现首Token延迟降低3.5倍至28倍，系统吞吐提升6~20倍。