Latent Compaction with Test-Time Training

一种名为 Latent Compaction 的方法通过测试时训练学习压缩文档特定的键值（KV）缓存，实现在保持信息完整性的前提下大幅降低内存使用和注意力成本。该方法在 RULER 数据集上以 32 倍压缩率实现了 96.7% 的准确率，优于 KVZip+ 的 40.0%。训练过程中模型权重保持冻结，仅使用关于文档的通用提示，不依赖下游问题或答案，且方法可跨模型规模和家族迁移。