LatentLoop提出非对称计算分配方法扩展循环MoE模型

1. 04:00
   Hugging Face · 每日论文

   LatentLoop: 通过非对称计算分配扩展循环 MoE 模型

   LatentLoop 提出一种非对称计算分配方法，在循环 MoE 模型中首次访问时压缩序列，第二次保留完整分辨率并重新分配计算资源以增加隐藏层规模。在 1.3B 至 7B 参数的 15 种配置中，其验证 NLL 低于普通 MoE 和循环基线，预测计算节省分别为 19.0% 和 7.9%。该方法在九个基准测试中提升了零样本和五样本设置下的平均得分。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。