Hugging Face · 每日论文·· 2 天前AI 评分39
PACE: Periodic and Channel-Aligned Encoding of Four-Bit Recurrent States
PACE: Periodic and Channel-Aligned Encoding of Four-Bit Recurrent States
AI 导读
PACE 是一种后处理四比特状态量化方法,通过每生成几个 token 仅对状态进行一次四比特量化,减少误差累积,并在通道内共享量化尺度,同时保留最长保留舍入误差的头部为八比特。
来源:Hugging Face · 每日论文 · huggingface.co