Hugging Face · 每日论文·2026-10-12 04:00· 3 天前精选AI 评分56

Self-Distillation with Verbal Regularization：通过语言正则化提升自蒸馏中的推理探索性

Self-Distillation with Verbal Regularization

AI 导读

提出一种自蒸馏方法VRSD，通过系统提示调节教师模型对特权信息的使用，鼓励重新思考和探索，减少过早承诺。在三个模型和四个任务上，VRSD在12个设置中11个优于OPSD，平均提升Pass@1 3.9个百分点，同时保持更高token熵。

推荐理由

提出通过系统提示调节教师模型对特权信息的依赖，以提升推理过程中的探索性和输出熵，为自蒸馏提供新方法。