Product Evals in Three Simple Steps

本文提出构建产品评估的三步法：标注小数据集、对齐大语言模型评估器、运行实验与评估框架。建议从二元通过/失败标签开始，以提高标注一致性并简化对齐过程。优先收集50-100个失败案例，可通过较小模型生成或主动学习识别潜在失败样本。