Hugging Face · 每日论文·2026-10-18 04:00· 3 天前精选AI 评分66

安全基准分数依赖训练政策定义而非模型能力

Policy Is Not Capability: Some Safety Benchmarks Measure Which Definition of "Unsafe" You Trained On

AI 导读

研究发现安全基准分数主要由训练标签定义决定，而非模型检测能力；同一模型在不同标签政策下得分差异可达23倍，且仅0.03%参数调整即可改变基准得分范围。验证准确率与标注者政策一致性相关性高于检测能力，建议评估时报告数据污染、种子基线和政策定义。

推荐理由

研究揭示安全基准分数高度依赖训练标签定义，而非模型实际检测能力，提示评估需明确政策定义和数据污染情况。