OpenAI 对齐研究：通过强化学习提升模型广泛有益行为的泛化能力

OpenAI 发现，在现实场景中针对有益特质进行强化学习，可使模型在多个衡量对齐和有益行为的基准测试中表现更优。这些对齐提升可泛化到训练未涉及的领域，并在对抗性压力下保持稳定。研究构建了一个涵盖健康、教育、科学等领域的现实对话数据集，用于训练和评估模型的诚实、可纠正性、透明度等特质。