构建自己的后训练管道：从SFT到PPO的完整实践

本文详解如何构建经典ChatGPT后训练管道，使用Qwen2.5-1.5B作为基础模型，依次实现SFT、奖励模型训练和PPO阶段。SFT阶段采用torchtune库，配置LoRA微调和YAML参数；奖励模型基于TRL的RewardTrainer，从SFT检查点启动，训练1个epoch；PPO阶段使用ByteDance的verl框架，配置YAML文件协调四模型并行训练。