解释 Mixture-of-Experts LLMs 中专家角色在个性化中的作用

本文解释了在 Mixture-of-Experts（MoE）大语言模型中专家角色如何支持个性化，提出通过稀疏路由机制减少多义性并实现组件定位。研究在大规模个性化数据集上适配了三个开源权重的 MoE 模型，并训练了跨编码器以学习可解释的个性化隐变量，识别出编码不同个性化特征的专家。个性化 MoE 模型在激活参数比例更低的情况下表现与密集模型相当，且隐变量与非个性化模型共享较少。