Parsimony代码简洁性基准发布
热点事件持续更新
Parsimony代码简洁性基准发布
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
lasu发布了开源基准Parsimony,用于衡量AI模型在代码补全任务中添加的代码量,其排名基于SWE-bench的已发布结果。 该基准通过统计语法元素的净增量来评估代码复杂度,而非单纯计算代码行数。目前它仅测量Python代码,且不重新运行测试,测试、文档和生成文件不计入统计。
AI 根据报道生成 · 1 小时前更新
最新进展10月14日 03:50
Parsimony – 一个开源基准,用于衡量 AI 模型添加的代码量报道时间线
沿着报道,了解事件的不同侧面。
10月14日
- Hacker News · AIParsimony – 一个开源基准,用于衡量 AI 模型添加的代码量
Parsimony 是一个开源基准,用于评估 AI 模型在代码补全任务中添加的代码量。该基准通过统计语法元素(如语句、调用、比较、名称和字面量)的净增量来衡量代码复杂度,而非单纯计算代码行数。目前仅针对 Python 代码进行测量,且基于 SWE-bench Verified 的已发布结果进行排名,不重新运行测试。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。