通过批判引导的策略优化 On-Policy Distillation 恢复可靠监督

一种名为 CriticOPD 的方法通过教师模型对错误输出的批判来恢复 On-Policy Distillation 的可靠性。该方法在 Qwen3 学生模型和六个数学推理基准测试中表现优于传统 OPD，尤其在竞赛问题上提升显著。教师模型在评分时将批判信息作为特权信息，而学生模型仅使用修正后的输出进行训练。