PACE：一种后处理四比特循环状态量化方法

研究者提出了一种名为 PACE 的后处理四比特状态量化器，旨在通过周期性量化与通道对齐编码来减少循环神经网络在生成文本时的误差累积。 该方法每生成几个 token 仅对状态进行一次四比特量化，并在通道内共享量化尺度，同时将保留舍入误差最严重的头部部分保持为八比特精度。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。