热点事件持续更新

小型开源模型MMLU评测结果统计差异不显著

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

作者Utkarsh Mangal自行构建评测发现，Qwen3-4B-Base与Phi-3.5-mini-instruct在MMLU上的得分差距在统计上不显著。他通过可复现的代码对八个小型开源模型进行了评测，并计算了统计不确定性。结果显示，Qwen3-4B-Base得分为71.8%，Phi-3.5-mini-instruct为70.0%，但两者1.85个百分点的差距在95%置信区间内包含零，意味着该差异可能由随机性导致。

AI 根据报道生成 · 1 小时前更新

最新进展10月29日 20:30

八个小型开源模型在 MMLU 领域排名是否真实？

报道时间线

沿着报道，了解事件的不同侧面。

10月29日

20:30
Towards Data Science
八个小型开源模型在 MMLU 领域排名是否真实？
Qwen3-4B-Base 和 Phi-3.5-mini-instruct 在 MMLU 测试中分别获得 71.8% 和 70.0% 的准确率，但两者之间的 1.85 分差距在 95% 置信区间内包含零。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。