跳到正文
Hugging Face · 每日论文·· 2 天前AI 评分39

PACE: Periodic and Channel-Aligned Encoding of Four-Bit Recurrent States

PACE: Periodic and Channel-Aligned Encoding of Four-Bit Recurrent States

AI 导读

PACE 是一种后处理四比特状态量化方法,通过每生成几个 token 仅对状态进行一次四比特量化,减少误差累积,并在通道内共享量化尺度,同时保留最长保留舍入误差的头部为八比特。

来源:Hugging Face · 每日论文 · huggingface.co