REMORY提出用残差记忆压缩上下文

研究人员提出了一种名为REMORY的神经记忆网络，通过在文本摘要后附加有限数量的软记忆token来补充历史信息，帮助冻结的大语言模型在压缩后的上下文中更准确地模拟完整历史下的生成效果。 在SummHay任务中，REMORY仅使用5.2%的输入位置就显著提升了模型的来源归属能力，同时保持了相近的洞察覆盖率。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。