跳到正文
热点事件持续更新

Parsimony代码简洁性基准发布

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

lasu发布了开源基准Parsimony,用于衡量AI模型在代码补全任务中添加的代码量,其排名基于SWE-bench的已发布结果。 该基准通过统计语法元素的净增量来评估代码复杂度,而非单纯计算代码行数。目前它仅测量Python代码,且不重新运行测试,测试、文档和生成文件不计入统计。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月14日
  1. Hacker News · AI
    Parsimony – 一个开源基准,用于衡量 AI 模型添加的代码量

    Parsimony 是一个开源基准,用于评估 AI 模型在代码补全任务中添加的代码量。该基准通过统计语法元素(如语句、调用、比较、名称和字面量)的净增量来衡量代码复杂度,而非单纯计算代码行数。目前仅针对 Python 代码进行测量,且基于 SWE-bench Verified 的已发布结果进行排名,不重新运行测试。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。