跳到正文
Hugging Face · 每日论文·· 2 天前精选AI 评分56

InfraRSI:利用递归自改进优化大模型训练基础设施

InfraRSI: Harnessing Recursive Self-Improvement for Training Infrastructure

AI 导读

InfraRSI 是一个用于优化大模型训练基础设施的智能体框架,通过五阶段工作流将人类指令转化为验证过的训练优化方案,涵盖配置锁定、基线校准、联合优化、验证与经验存储。在四类单节点与多节点密集及MoE模型工作负载中,InfraRSI实现最高2.75倍加速,将平均MFU从17.4%提升至30.0%,优于现有调优工具与编码智能体,并支持跨GPU经验迁移。

推荐理由

该研究提出 InfraRSI 框架,通过递归自改进优化训练基础设施,提升训练效率并跨硬件复用经验,对大模型训练工程有直接参考价值。

来源:Hugging Face · 每日论文 · huggingface.co