On-Policy Self-Distillation 如何兼顾前沿智能与效率

On-Policy Self-Distillation（OPSD）框架在机器学习研究领域引发关注，其核心目标是使模型在持续学习新任务时避免灾难性遗忘。Shenfeld 等人提出的 Self-Distillation Fine-Tuning（SDFT）方法通过自蒸馏机制，利用同一模型的教师与学生版本进行训练，教师模型可访问特权信息并以不同方式更新参数。