Hugging Face · 每日论文·· 1 天前AI 评分38
CulturalRiddles: 一个涵盖62种文化的谜语基准测试
CulturalRiddles: A Multicultural Benchmark of Riddles
AI 导读
Hugging Face 发布 CulturalRiddles,一个由人类通过社区协作创建的涵盖 62 种文化(45 个国家、51 种语言)的谜语基准测试。该基准测试要求模型具备归纳推理、组合推理、详细事实与社会知识、语言技能及文化特定关联的理解能力。28 个大语言模型配置在部分文化社区中的准确率最高仅为 22%,且所有工具与数据已公开,支持进一步扩展语言与文化覆盖。
来源:Hugging Face · 每日论文 · huggingface.co