ScholarCatalyst：一个用于检索启发新研究的论文基准
ScholarCatalyst 是一个用于检索启发新研究的论文基准，由 207 篇近期计算机科学论文的 184 位主要作者标注哪些论文对其项目有启发作用。该基准测试显示，即使使用 Claude Fable 5.1 构建的智能体，其检索效果（0.51 R@20）仍低于嵌入向量检索（0.48 R@20）。研究指出，当前模型在搜索大规模文献时缺乏专家级直觉，需开发新的训练方法来提升这一能力。
ScholarCatalyst 是一个用于检索启发新研究的论文基准，由 207 篇近期计算机科学论文的 184 位主要作者标注哪些论文对其项目有启发作用。该基准测试显示，即使使用 Claude Fable 5.1 构建的智能体，其检索效果（0.51 R@20）仍低于嵌入向量检索（0.48 R@20）。研究指出，当前模型在搜索大规模文献时缺乏专家级直觉，需开发新的训练方法来提升这一能力。