First Silicon基准评估AI模型检测芯片缺陷能力

Arno_Bighub发布了包含86个真实硬件bug的First Silicon基准，用于评估AI模型检测芯片缺陷的能力。测试显示，在最大努力模式下，Opus 5.5模型能准确识别16个缺陷，但其中两个警报为误报。 该基准基于开源芯片设计中的工程师修复项构建，其中84个为真实缺陷。Arno_Bighub称，其余81个缺陷将保持私密，以维持基准对未来模型的有效性，并可为其他模型提供评估服务。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。