Hugging Face · 每日论文·· 1 天前AI 评分37
Towards Looped Models Done Right, Part II: Rethinking at Fixed Points
Towards Looped Models Done Right, Part II: Rethinking at Fixed Points
AI 导读
本文提出通过改进固定点训练和正交输入注入方法，降低循环语言模型的训练与推理成本。使用学习到的深度先验和正交注入，模型在100M到1.6B参数范围内均能降低困惑度，且在1.6B参数规模下，3倍压缩的KV缓存即可达到全缓存固定深度训练的下游平均效果。该方法支持截断反向传播、终端KV共享和更快的预填充速度。
来源：Hugging Face · 每日论文 · huggingface.co