Towards Data Science· Utkarsh Mangal·· 1 小时前精选AI 评分61
六款AI模型实际只相当于两个独立意见:错误相关性对投票效果的影响分析
Your Six AI Models Are Really Two: The Math of Correlated Mistakes
AI 导读
作者通过实测六款开源模型在MMLU上的表现,发现其平均错误相关系数为0.41,六模型投票仅相当于1.96个独立意见,远低于独立投票的理论效果。即使增加模型数量,有效投票数增长趋缓,且不同开发者模型间相关性差异不大。研究还对比了单模型多次采样与多模型投票,后者在准确率提升上更优。该分析为AI模型集成和评估提供了量化依据。
推荐理由
通过实测六款开源模型在MMLU上的错误相关性,作者量化了模型投票中实际独立意见的数量,揭示了模型间高度相关错误对集体决策效果的削弱。
来源:Towards Data Science · towardsdatascience.com