量子位· 闻乐·· 3 小时前精选AI 评分66
字节Seed团队发现DeepSeek-V4模型存在相位敏感性:输入位置影响推理表现
字节找到了DeepSeek时强时弱的原因
AI 导读
字节Seed团队研究发现,DeepSeek-V4系列模型在长上下文任务中表现出周期性性能波动,与分块KV Cache压缩的步长相关。同一条信息在输入中位置变化,模型检索准确率最高可差40.2个百分点。
推荐理由
研究揭示了分块KV Cache压缩导致模型对输入位置敏感,影响长上下文检索准确率,为模型设计和评测提供新视角。
来源:量子位 · qbitai.com