Hugging Face · 每日论文·2026-09-29 04:00· 6 天前AI 评分34

Triadic Linear Attention: Three-Dimensional Recurrent States for Long-Context Sequence Modeling

AI 导读

本文提出 Triadic Linear Attention，通过将键、第二个键和值的三元外积写入三维张量状态，从而提升长上下文序列建模能力。该方法在保持参数效率的同时，使状态规模增加 E 倍，仅需添加两个投影。