雷锋网·· 5 小时前精选AI 评分68
字节论文揭示DeepSeek V4模型因分块KV Cache压缩导致的周期性准确率波动问题
字节发现 DeepSeek 隐藏 Bug,加点空格,模型翻车
AI 导读
字节团队在论文《Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression》中指出,DeepSeek V4系列模型因采用分块KV Cache压缩技术,导致模型对输入Token位置敏感,出现周期性准确率波动。
推荐理由
字节团队通过实验证明分块KV Cache压缩导致模型对输入位置敏感,读者可据此理解长上下文模型的结构缺陷与优化方向。
来源:雷锋网 · leiphone.com