NVIDIA 博客：稠密模型与 MoE 模型对比——激活参数量、吞吐量与选择时机

NVIDIA 博客对比了稠密模型与混合专家（MoE）模型架构的核心差异。以 Nemotron 3.5 Lightning 为例，其总参数量为 300 亿，但每个 token 仅激活约 30 亿参数，这得益于 MoE 架构仅选择部分专家网络处理输入。文章分析了两种架构在激活参数量、推理吞吐量以及适用场景上的权衡。