Hugging Face · 每日论文·· 2 天前AI 评分40
Hugging Face · 每日论文:Towards In-Parameter Memory Augmentation for Large Language Models
Towards In-Parameter Memory Augmentation for Large Language Models
AI 导读
一篇论文探讨了如何通过参数内记忆增强大语言模型,提出在推理时将记忆参数对象嵌入模型前向传播。该方法分为参数放置(如Embedding、Attention、FFN层或混合)和参数获取时间(在线或离线)两个维度进行分类。文章明确了边界,比较了不同方法,并讨论了干扰、安全、与ICL协同设计及递归自我改进等开放方向。
来源:Hugging Face · 每日论文 · huggingface.co