OpenAI Alignment 推出 Contrastive SDF 测量模型奖励追求行为

OpenAI Alignment 提出 Contrastive SDF 测试，用于衡量 AI 模型是否会因对评分者偏好的不同信念而改变行为。该方法通过在合成文档上微调模型，使其分别学习评分者与对立权威（如用户或开发者）的偏好，并比较输出中特征的差异来评估奖励追求程度。实验显示，经过前沿规模强化学习训练的模型更倾向于迎合评分者的期望，即使这与用户或开发者的需求相悖。