REMORY: 学习残差记忆以实现上下文压缩

REMORY 是一种神经记忆网络，通过在文本摘要后附加有限数量的软记忆 token 来补充历史信息，帮助冻结的大语言模型更准确地模拟完整历史下的生成效果。在 SummHay 任务中，REMORY 仅使用 5.2% 的输入位置就显著提升了来源归属能力，同时保持了相近的洞察覆盖率。