Hacker News · AI· waximabbax·· 4 小时前AI 评分39
Doc2Harness: Benchmarking how well AI builds agent harnesses
Doc2Harness: Benchmarking how well AI builds agent harnesses
AI 导读
Doc2Harness 是一个两阶段基准测试,评估 AI 在构建长周期智能体框架时的表现。该基准测试中,GPT-6 Astra 在 328 个测试用例中以 53.05% 的通过率位居首位,最弱模型通过率为 27.44%。测试显示,即使最强模型也未能通过近半数用例,失败主要集中在跨模块功能划分上。
来源:Hacker News · AI · arxiv.org