研究提出50M-token长上下文记忆方案，提升推理效率

研究人员提出名为galahad-kv的记忆层方案，通过将大语言模型推理中的中间状态（KV缓存）存储至本地NVMe磁盘，实现了在单张H100 GPU上处理5000万token长文本流。相比完全重新计算，该方案将加载速度提升了2.8至4.3倍，GPU能耗降低了8.8至12.3倍，并保持了稳定的内存占用。 该方案将每约16000个token的KV状态加密后存储，写入内存为一次性成本，但存储需要TB级的本地NVMe磁盘空间。研究团队称其测试协议旨在抵御常见的长上下文基准测试作弊方法，并提供了使用公开软件和免费许可包的单GPU复现方案。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。