Theoretical Limits of Language Model Alignment 的中文标题

本文分析了语言模型对齐的理论极限，提出在固定 KL 散度预算下，最佳奖励提升由 Jeffreys 散度项决定，而非此前使用的 √KL。研究还表明，最佳-of-N 方法接近理论极限，而 PPO 和 GRPO 显著次优。此外，奖励集成可缓解奖励黑客问题，为实际应用提供了理论依据。