跳到正文
热点事件持续更新

Google提出睡眠框架以提升LLM持续学习能力

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Google Research提出了一种名为“睡眠框架”的新方法，旨在解决大语言模型在持续学习中的知识遗忘问题。 该框架通过交替进行主动交互（“清醒”）和离线记忆巩固（“睡眠”）两个阶段来运作。在睡眠阶段，模型利用MoE架构和知识蒸馏等技术来巩固新学到的知识，并尝试保留长上下文信息。 Google称，这一框架能使模型持续学习新事实、保留长上下文知识，并提升复杂推理能力。

AI 根据报道生成 · 2 小时前更新

最新进展10月28日 01:35
The sleep framework: A new way for LLMs to retain knowledge in continual learning

报道时间线

沿着报道，了解事件的不同侧面。

10月28日
  1. Google Research
    The sleep framework: A new way for LLMs to retain knowledge in continual learning

    Google Research 提出了一种新的睡眠框架，使大语言模型在持续学习中能够保留知识。该框架通过交替进行主动交互和离线记忆巩固，使模型能持续学习新事实、保留长达 10M token 的长上下文知识，并提升复杂推理能力。框架包含记忆巩固和梦境两个阶段，利用 MoE 架构和知识蒸馏技术实现参数扩展与知识迁移，同时通过梯度数据选择和监督微调优化模型性能。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。