大语言模型智能体通过结果校准提升失败预测能力

1. 04:00
   Hugging Face · 每日论文

   一个智能体能否学会预测自身失败？基于结果的置信度校准方法在大语言模型智能体中的应用

   本文提出一种基于最终结果的置信度校准方法，用于提升大语言模型智能体在多步骤任务中对自身失败的预测能力。在 Qwen2.5-7B 智能体的离线强化学习实验中，步骤置信度与任务结果的 AUROC 提升至 0.68-0.85，最自信的 10% 步骤成功率是平均值的 4.3 倍。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。