研究提出SafeActBench基准分析工具使用代理失败模式

研究人员提出了一个名为SafeActBench的基准，用于分析工具使用智能体在从证据到行动的链条中的失败模式。该研究指出，即使智能体在静态评估中表现良好，在交互执行多步工作流时仍可能出现未解决前提和执行不完整等问题。 SafeActBench包含656个案例，覆盖六类操作领域和五种协议，通过证据日志和确定性轨迹评估器来追踪信息建立、动作发生及依赖满足情况。研究发现，失败不仅源于信息缺失，也源于对已有证据的使用方式。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。