跳到正文
Hacker News · AI· izzymiller·· 2 小时前AI 评分53

Hex 使用评估驱动 AI 功能开发,将错误率降低 7 倍

Using evals to cut AI errors 7x

AI 导读

Hex 通过构建 1,800 个评估用例,采用 hill-climbing 方法优化其 Quick Edits 功能,将错误编辑率从 21% 降至 3%。评估重点在于减少错误编辑而非错误转交,使用 GPT-6 Luna 和 Claude Haiku 4.5 等模型,并通过验证器处理格式问题,超过 50% 的改进来自验证器优化而非提示词调整。

来源:Hacker News · AI · hex.tech