Hugging Face · 每日论文·· 2 天前AI 评分48
Accurate but Not Humble: Evaluating Epistemic Humility in LLM Agents under Knowledge Conflict
Accurate but Not Humble: Evaluating Epistemic Humility in LLM Agents under Knowledge Conflict
AI 导读
本文评估了大语言模型智能体在知识冲突情境下的认识谦逊（Epistemic Humility）表现，发现高任务准确率并不一定意味着更高的谦逊度。研究通过 Identify、Solve、Escalate 三个行为维度，分析智能体在执行任务时是否能识别冲突、解决冲突或升级处理。实验显示，智能体常在早期步骤检测到冲突，但后期未能持续或解决冲突，且模型层面的干预虽可提升谦逊度，但通常会牺牲任务准确率。
来源：Hugging Face · 每日论文 · huggingface.co