苹果研究称双语预训练优于超参数调优

在数据受限的语言模型预训练中，混合双语数据比超参数调优更有效，使用阿拉伯语作为低资源目标语言、英语作为辅助语言的实验显示，混合方法在验证损失和下游任务准确率上均优于调优。混合带来的性能提升相当于2–3倍的独特目标数据在验证损失上的效果，以及2–13倍在下游任务准确率上的效果，且增益随模型规模增大而显著提升。研究建议在预训练中优先使用高资源语言混合，并通过μP方法从小模型迁移超参数。