量子位· 鹭羽·· 21 小时前精选AI 评分70
MemT 1.0发布:将记忆原生嵌入Transformer模型,支持近300B参数规模
RSI三块关键拼图,MemT 1.0从模型层补上「记忆」
AI 导读
MemT 1.0系列模型(Nano与Flash)将经验编码为内部动态状态,通过记忆分支参与后续计算,实现记忆原生。其基于Qwen3.6-35B-A3B和DeepSeek-V4-Flash基座,参数规模达36B至288B,支持逐Token级记忆更新,并在SWE-bench Verified等任务中表现优于无经验基线,平均成功率提升至69.73%。
推荐理由
MemT 1.0在近300B参数规模下验证了记忆原生模型的可行性,其内部状态编码与动态更新机制为持续学习和RSI提供了可复用的工程路径。
来源:量子位 · qbitai.com