A Soft-Label MNIST Testbed for Human vs. Model Confidence

本文介绍了一个重新标注的 MNIST 数据集，用于探索人类与模型在不确定情况下的置信度差异。数据集包含 3,046 张 MNIST 图像和 2,484 张 Mukhoti 生成的模糊图像，每张图像由 3 到 10 位标注者评估，平均每位图像有 6 位标注者。在 Mukhoti 数据集中，约 33% 的图像通过多数投票改变了原始标签，而 MNIST 数据集仅约 3% 的图像发生标签变化。