跳到正文
热点事件持续更新

FrontierCode 1.1基准评测发布AI模型编码能力排名

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

评测机构Artificial Analysis发布了FrontierCode 1.1基准的评测结果,对多个AI模型在真实开源项目中的代码修改能力进行了排名。 FrontierCode是由Cognition公司与36个开源项目维护者共同构建的编码基准,旨在评估AI模型提交的代码修改是否满足被项目维护者合并的标准,其评估维度包括测试通过率、是否过度修改或超出范围等。 本次评测运行了基准中的主要100项任务,并在统一的智能体框架中对所有模型进行了对比。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月13日
  1. Hacker News · AI
    FrontierCode 评测:AI 模型能否写出维护者愿意合并的代码?

    FrontierCode 是由 Cognition 与 36 个开源项目维护者共建的编码基准,评估 AI 模型在真实开源项目中提交的代码修改是否满足合并标准。该基准不仅考察测试通过率,还评估是否过度修改、超出范围或添加无用测试等行为。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。