Replit 分享大规模评估与改进 AI 编码智能体的方法论

Replit 分享了其用于大规模评估和改进 Replit Agent 的完整方法论，核心是构建一个从测量到改进的闭环系统。该系统包含三个支柱：用于模拟应用构建任务的离线基准 ViBench、用于观察真实用户影响的在线 A/B 测试，以及用于分析失败模式的追踪聚类系统 Telescope。