AI Evals：一切你需要知道的

AI Evals 是用于测试 AI 系统是否符合预期目标的评估方法，能帮助团队发现产品偏离用户需求或业务目标的问题，并提供改进数据。常见评估基准包括 GPQA Diamond、Terminal-Bench 和 MMLU，用于衡量模型在科学推理、命令行任务和多领域知识上的表现。评估设计建议使用二元（通过/失败）评分而非 1-5 分评分，并需注意评估工具的选择与标注流程的优化。