提出COUNT方法优化语言模型内存扩展

1. 04:00
   Hugging Face · 每日论文

   COUNT：通过统计n-gram实现无需训练的内存扩展与适配

   COUNT 方法通过在主机内存中存储预计算的 n-gram 统计信息，实现大语言模型在不增加可学习参数的情况下扩展内存使用。该方法在固定计算预算下，可作为额外输入嵌入提升 1B 参数模型的验证损失，效果相当于增加 57% 的计算资源。COUNT 还支持在推理时切换不同领域语料的 n-gram 表，实现无需训练的任务适配。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。