跳到正文
Hacker News · AI· waximabbax·· 4 小时前AI 评分39

Doc2Harness: Benchmarking how well AI builds agent harnesses

Doc2Harness: Benchmarking how well AI builds agent harnesses

AI 导读

Doc2Harness 是一个两阶段基准测试,评估 AI 在构建长周期智能体框架时的表现。该基准测试中,GPT-6 Astra 在 328 个测试用例中以 53.05% 的通过率位居首位,最弱模型通过率为 27.44%。测试显示,即使最强模型也未能通过近半数用例,失败主要集中在跨模块功能划分上。

来源:Hacker News · AI · arxiv.org