Google Research·· 3 小时前AI 评分46
The sleep framework: A new way for LLMs to retain knowledge in continual learning
The sleep framework: A new way for LLMs to retain knowledge in continual learning
AI 导读
Google Research 提出了一种新的睡眠框架，使大语言模型在持续学习中能够保留知识。该框架通过交替进行主动交互和离线记忆巩固，使模型能持续学习新事实、保留长达 10M token 的长上下文知识，并提升复杂推理能力。框架包含记忆巩固和梦境两个阶段，利用 MoE 架构和知识蒸馏技术实现参数扩展与知识迁移，同时通过梯度数据选择和监督微调优化模型性能。
来源：Google Research · research.google