TraceForge: Distilling with Your Own Thinking

TraceForge 通过输入上下文和教师模型的答案，自行生成符合学生模型家族风格的推理过程。该方法采用两阶段训练：监督学习阶段生成推理过程，对抗学习阶段通过判别器评估推理真实性。在 HumanEval+ 和 MBPP+ 基准测试中，生成的推理过程分别提升了 3.7 和 7.1 分，且 MBPP+ 的优势在所有训练阶段持续存在。