跳到正文
Hugging Face · 每日论文·· 2 天前AI 评分42

法官遵循参考:验证工具调用参数时的推导差距

Judges Follow the Reference: The Derivation Gap in Verifying Tool-Call Arguments

AI 导读

法官模型在验证工具调用参数时存在“推导差距”,即当参数值无明确参考文本时,正确值被接受的概率下降。该现象在多个法官模型中出现,包括 CLM 和 Jev,且不仅限于输入截断情况。研究引入 DeRef 模型,通过读取完整历史并为法官生成参考文本,使三类基准测试中所有法官的参数 AUROC 显著提升,在受控测试中 AUROC 提升至 98.40 至 99.59。

来源:Hugging Face · 每日论文 · huggingface.co