Hugging Face · 每日论文·· 10 天前精选AI 评分55
论文提出决策价值框架评估AI智能体重启监控器
Monitor Accuracy Isn't the Answer: A Decision-Value Framework for Evaluating AI Agent Restart Monitors
AI 导读
论文指出仅靠分类准确率无法判断AI智能体重启监控器是否提升成功率,提出决策价值框架,包括决策充分性准则和无模型决策审计方法。在SWE-bench Verified的194次模型执行中,发现重启收益受残余预算成功率影响,部分模型出现2.29点收益或42.29点损失,但前瞻性任务组未复现收益,103次实时比较均未达认证标准。
推荐理由
研究提出决策价值框架评估智能体重启监控器,强调分类准确率不足以判断重启效果,需结合恢复机会与统计支持。
来源:Hugging Face · 每日论文 · huggingface.co