法官模型验证工具调用参数存在推导差距，DeRef模型可提升性能

研究发现，法官模型在验证工具调用参数时存在“推导差距”，即当参数值在对话历史中没有明确的参考文本时，模型接受正确值的概率会下降。该现象在包括CLM和Jev在内的多个法官模型中出现，且不限于输入截断的情况。 研究引入了DeRef模型，该模型通过读取完整的对话历史（但不查看待验证的候选参数），为法官模型生成参考文本。这一方法使三类基准测试中所有法官模型的参数验证性能（AUROC）得到显著提升，在受控测试中AUROC提升至98.40至99.59。

AI 根据报道生成 · 10 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。