LatentLoop: 通过非对称计算分配扩展循环 MoE 模型

LatentLoop 提出一种非对称计算分配方法，在循环 MoE 模型中首次访问时压缩序列，第二次保留完整分辨率并重新分配计算资源以增加隐藏层规模。在 1.3B 至 7B 参数的 15 种配置中，其验证 NLL 低于普通 MoE 和循环基线，预测计算节省分别为 19.0% 和 7.9%。该方法在九个基准测试中提升了零样本和五样本设置下的平均得分。