HOPE：一种用于混合专家语言模型的高阶专家剪枝方法

HOPE 是一种针对混合专家（MoE）语言模型的高阶专家剪枝方法，通过考虑专家间的交互关系，实现更优的剪枝效果。在 50% 剪枝率下，HOPE 在智能体编码任务中比现有最佳方法提升最高达 6.1%。该方法通过最小化一个可计算的替代误差指标 ZZ，避免了传统一阶方法忽略专家间合作模式的问题。