联想测试存算融合池化系统应对KV Cache存储墙
热点事件持续更新
联想测试存算融合池化系统应对KV Cache存储墙
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
联想集团首席科学家肖利民称，其团队通过构建存算融合池化系统，在测试中实现了大模型推理性能的显著提升。 肖利民指出，随着AI推理中Token消耗量剧增，KV Cache机制带来的存储墙问题凸显，GPU与外部存储间的数据搬运开销拖累了推理性能。联想团队结合内存池化与近存计算来解决此问题。 肖利民介绍，在端到端推理性能测试中，与RDMA分布式内存池相比，该系统在推理延迟方面取得了2~3倍的加速；在系统吞吐方面，随着上下文变长，性能提升达到6~20倍。
AI 根据报道生成 · 1 小时前更新
最新进展10月23日 10:28
每天500万亿Token背后，KV Cache正把存储墙推到台前报道时间线
沿着报道，了解事件的不同侧面。
10月23日
- 钛媒体每天500万亿Token背后，KV Cache正把存储墙推到台前
联想集团首席科学家肖利民指出，随着中国每天Token消耗量从2024年的1000亿跃升至2025年8月的500万亿，存储墙问题在AI推理时代被进一步放大。KV Cache机制虽能减少重复计算，但其存放问题导致GPU与外部存储间的数据搬运开销拖累推理性能。联想团队通过内存池化与近存计算结合，构建存算融合池化系统，在多个测试场景中实现首Token延迟降低3.5倍至28倍，系统吞吐提升6~20倍。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。