IT之家·· 2 小时前AI 评分39
摩尔线程开源 Megatron-MUSA-Titan,聚焦万卡级集群的万亿参数 MoE 模型训练
AI 导读
摩尔线程开源 Megatron-MUSA-Titan 项目,支持万卡级集群训练万亿参数 MoE 模型,覆盖预训练与强化学习场景。该项目基于其全功能 GPU,引入 blockwise FP8 训练与 DeepEP、ACE 异步通信引擎,提升计算效率与端到端训练性能。适配 MUSA 平台并提供系统优化,可与 slime、miles 强化学习框架协同使用。
来源:IT之家 · ithome.com