Hacker News · AI· richardttang·· 2 小时前AI 评分56
SWE-Bench Pro 移除 89 项任务：独立审计发现基准可被操控
Scale AI cut 89 tasks from SWE-Bench Pro after an audit found gaming
AI 导读
Scale AI 在独立预印本指出 SWE-Bench Pro 存在奖励黑客、答案泄露和测试范围不当等问题后，从公开排行榜中移除 89 项任务，将任务总数从 731 降至 642，并新增 51 项 HARD 子集。
来源：Hacker News · AI · theinference.org