MMDM: 测量大规模多任务决策能力的基准

MMDM 是一个包含 5,448 个高质量问题的基准，覆盖 16 个任务类别，用于评估决策模型在非依赖选项、约束决策和多选任务中的表现。该基准测试了 28 个决策模型，其中 Perplexity Decider-V1.2 在世界知识单选任务中达到 78.75% 准确率，但在选项逻辑和约束规划任务中分别降至 53.95% 和 47.95%。