Hugging Face · 每日论文·2026-10-06 04:00· 2 天前精选AI 评分58

NeMo-DCR：万亿参数规模下位精确增量压缩重载方法

NeMo-DCR: Bit-Exact Delta-Compressed Refit for Scalable Agentic RL at Trillion-Parameter Scale

AI 导读

NeMo-DCR 是一种用于万亿参数规模智能体强化学习的位精确增量压缩重载方法，通过固定仿射映射和残差转换实现参数变化的高效传输，避免全量检查点传输，30B-1T模型重载速度比全量传输快12-40倍，1T模型在3%变化率下仅需150秒完成重载。

推荐理由

原文提出一种位精确的增量压缩重载方法，可显著加速万亿参数模型在分布式强化学习中的权重同步，对大规模智能体系统部署有直接参考价值。