跳到正文
雷锋网·· 5 小时前精选AI 评分68

字节论文揭示DeepSeek V4模型因分块KV Cache压缩导致的周期性准确率波动问题

字节发现 DeepSeek 隐藏 Bug,加点空格,模型翻车

AI 导读

字节团队在论文《Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression》中指出,DeepSeek V4系列模型因采用分块KV Cache压缩技术,导致模型对输入Token位置敏感,出现周期性准确率波动。

推荐理由

字节团队通过实验证明分块KV Cache压缩导致模型对输入位置敏感,读者可据此理解长上下文模型的结构缺陷与优化方向。

来源:雷锋网 · leiphone.com