Apple · 机器学习研究·· 16 小时前AI 评分43
Mix, Don't Tune: Bilingual Pre-Training Outperforms Hyperparameter Search in Data-Constrained Settings
Mix, Don't Tune: Bilingual Pre-Training Outperforms Hyperparameter Search in Data-Constrained Settings
AI 导读
在数据受限的语言模型预训练中，混合双语数据比超参数调优更有效，使用阿拉伯语作为低资源目标语言、英语作为辅助语言的实验显示，混合方法在验证损失和下游任务准确率上均优于调优。混合带来的性能提升相当于2–3倍的独特目标数据在验证损失上的效果，以及2–13倍在下游任务准确率上的效果，且增益随模型规模增大而显著提升。研究建议在预训练中优先使用高资源语言混合，并通过μP方法从小模型迁移超参数。
来源：Apple · 机器学习研究 · machinelearning.apple.com