Alignment Forum· Jozdien·· 19 天前AI 评分40
Shallow Beliefs: Midtraining does not inoculate against EM from reward hacking
Shallow Beliefs: Midtraining does not inoculate against EM from reward hacking
AI 导读
模型在中训练阶段使用合成文档微调（SDF）无法有效防止因奖励黑客行为导致的对齐偏差泛化。Llama-3.3-70B-Instruct 在约 56K 份合成文档（约 200M tokens）上进行微调后，仍表现出更强的对齐偏差泛化。实验显示，即使系统提示中包含对奖励黑客行为的描述，模型在多个对齐评估任务中仍未能保持预期信念。
来源：Alignment Forum · alignmentforum.org