提出On-Policy Power Distillation训练方法
热点事件历史事件
提出On-Policy Power Distillation训练方法
1 篇报道1 个报道来源7 天前更新
先了解这件事
AI 综述
研究人员提出了一种名为On-Policy Power Distillation (OPPD)的新训练方法，该方法通过生成候选答案并使用冻结教师模型的幂分布进行加权，旨在让模型在单次生成中直接输出正确答案。 该方法在论文中称，在数学推理任务上，训练后模型在MATH500和GSM8K基准上的单次生成准确率最高可分别提升23.0和27.3个百分点；仅在数学数据上训练，也能将HumanEval代码生成准确率最高提升5.3个百分点。
AI 根据报道生成 · 5 天前更新
报道时间线
沿着报道，了解事件的不同侧面。
10月5日
- Hugging Face · 每日论文On-Policy Distillation of Sequence-Level Power Distribution：无需搜索的强化方法
一种新的模型训练方法 On-Policy Power Distillation（OPPD）通过生成候选答案并使用冻结教师模型的幂分布进行加权，实现单次生成的推理准确率提升。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。