Hugging Face · 每日论文·· 5 天前精选AI 评分56
History Replays Itself：通过稀疏记忆与回放机制释放线性注意力模型的长上下文能力
History Replays Itself: Unleashing Long-Context Capability in Linear Attention
AI 导读
论文提出 NoteBank，一种无需训练的稀疏情景记忆模块，通过原生特征写入和回放机制，提升线性注意力模型在百万 token 上下文中的检索能力。在 Gated DeltaNet 上，六项 RULER 任务的平均准确率从 1.7% 提升至 70.3%，计算开销增加不超过 0.025% FLOPs，存储成本约为 Transformer KV cache 的 1/2600。
推荐理由
提出无需训练的稀疏记忆模块 NoteBank，可显著提升线性注意力模型在百万 token 上下文中的检索准确率，且计算开销极低。
来源：Hugging Face · 每日论文 · huggingface.co