Diagnosing and Correcting Reward Hacking in Verifiable Instruction Following

本文提出 CALIF 方法，用于诊断和纠正可验证指令遵循中的奖励黑客问题，通过在验证者奖励中加入校准后的似然奖励，提升响应质量。CALIF 无需额外判断模型或学习奖励模型，仅使用现有冻结参考策略评估响应似然。在 1.7B 到 8B 参数规模的模型上，CALIF 在 IFBench 中提升了约束满足度，同时保持响应质量接近或高于预训练水平，并在三个基准测试中 45 项指标中有 40 项优于基础策略。