SAE 解析 MoE：稀疏自编码器揭示 MoE 专家展现出可解释的细粒度专业化

稀疏自编码器（SAE）被用于解析 MoE 模型中专家的专业化特征，结果显示每个专家在特征空间中驱动一组主导的隐层单元，且大部分隐层单元仅由一到两个专家主导。Qwen3-30B-A3B 模型的第 4、30 和 46 层表现出贡献高度集中，不同专家负责不同细粒度任务，如 Java 与前端代码、几何与算术等。相关 SAE 模型和代码已在 Hugging Face 上开源。