Hacker News · AI· speckx·· 2 小时前精选AI 评分59
研究发现90%美国工作时间所涉任务未被现有AI基准充分覆盖
90% of US working hours are spent on tasks not covered well by AI benchmarks
AI 导读
研究基于O*NET的923个职业和18,797个任务,分析29个高质量经济相关AI基准的覆盖情况,发现仅208个职业有至少5个基准提示词覆盖,6个职业家族无覆盖,推断90%美国工作时间所涉任务未被现有基准充分覆盖。覆盖偏向高工资、高AI暴露和高重要性任务,存在系统性盲区。研究尝试用O*NET任务权重调整模型评分,但因覆盖不足和统计效力低,效果有限。
推荐理由
研究通过O*NET职业分类与AI基准映射,揭示现有基准覆盖不足90%美国工作时间,提示模型能力评估存在系统性盲区。
来源:Hacker News · AI · mercor.com