六款开源模型在MMLU上错误相关性高，投票效果有限
热点事件持续更新
六款开源模型在MMLU上错误相关性高，投票效果有限
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
Utkarsh Mangal 实测六款开源模型在MMLU上的表现，发现其平均错误相关系数为0.41，导致六模型投票仅相当于1.96个独立意见，远低于独立投票的理论效果。 研究还发现，即使增加模型数量，有效投票数的增长也会趋缓，且不同开发者模型间的相关性差异不大。对比单模型多次采样，多模型投票在提升准确率方面效果更优。
AI 根据报道生成 · 1 小时前更新
最新进展10月23日 19:00
六款AI模型实际只相当于两个独立意见：错误相关性对投票效果的影响分析报道时间线
沿着报道，了解事件的不同侧面。
10月23日
- Towards Data Science精选六款AI模型实际只相当于两个独立意见：错误相关性对投票效果的影响分析
作者通过实测六款开源模型在MMLU上的表现，发现其平均错误相关系数为0.41，六模型投票仅相当于1.96个独立意见，远低于独立投票的理论效果。即使增加模型数量，有效投票数增长趋缓，且不同开发者模型间相关性差异不大。研究还对比了单模型多次采样与多模型投票，后者在准确率提升上更优。该分析为AI模型集成和评估提供了量化依据。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。