Cache Engineering for Agents：智能体缓存工程新方案

论文提出缓存工程方案，允许大语言模型智能体直接控制其活跃KV缓存，通过drop和repos操作排除或调整缓存键位置编码，避免重新填充和轨迹修改。该方案与AKV服务引擎协同设计，支持状态无关接口，实验显示在基准测试中平均得分提升1.7点，成本降低27.7%，P95延迟提速1.5倍，输出吞吐提升1.2倍。代码开源于https://github.com/thu-nics/AKV。