Hugging Face · 每日论文·2026-10-06 04:00· 1 天前AI 评分30

TRACE: Rollout-Guided Quantization-Aware Training for FP4 Reinforcement Learning of MoE Language Models

AI 导读

TRACE 是一种用于 MoE 语言模型 FP4 量化训练的框架，通过 rollout 指导量化感知训练，直接减少训练与 rollout 量化路径的差异。TRACE 采用高效量化信息缓存方案，选择性保留深层 mantissa 和 scale 信息以降低存储和通信开销。