知识卡片：ScholarCatalyst——检索能启发新研究的论文基准

一句话结论：ScholarCatalyst 用作者标注构建了一个“从项目初期可获得的文献中检索出后来被作者认为推动项目”的基准；结果显示，智能体搜索并未优于嵌入检索，最高 R@20 仅 0.51，说明当前模型仍缺乏科学家的专家式检索直觉。

事件概述或研究问题

• 材料提出的核心问题：什么让伟大科学家伟大？当 AI 开始在开放问题上取得进展时，科学家仍远胜于 AI 的一点，是能感知在日益膨胀的研究档案中，哪一个先前想法/论文是解决新问题所需的。
• ScholarCatalyst 试图研究并评测这种能力：给定一个初始研究问题，只从项目开始时已经存在的文献中，检索出后来被作者判断为已经或可能推动该项目的论文。

方法/产品要点

• 构建方式：使用自动化 pipeline，让作者标注变得可扩展。
• 标注规模：184 位 lead authors 对 207 篇 recent computer science papers 进行标注，判断哪些候选论文已经或可能推动其项目，并为每条标注提供 detailed rationale。
• 任务形式：retrieval task，使用 author-provided judgments；检索语料被限制为项目开始时仅可获得的文献。
• 对比设置：比较 agentic search 与 embedding retrieval；其中 agentic search 也把同一个 retriever 当作工具调用。
• 额外评测：一个基于 Claude Fable 5.1 的 agent 也参与评测；材料称该模型可能在训练中见过已完成的论文。

主要结果或产业意义

• Agentic search 未超过 embedding retrieval：0.42 vs. 0.48 Recall@20，尽管前者调用了同一个 retriever 作为工具。
• 基于 Claude Fable 5.1 的 agent 也只达到 0.51 R@20。
• 作者认为，这些结果突出表明需要新的 training recipes，让模型具备在广泛语料中进行搜索的专家直觉。
• 愿景是推动科学 agent 的发展：能接受一个半成形的想法，并指向它所需的先前研究。

为什么重要

• 该基准把科研文献检索从“找相关文档”推进到“找能启发新研究”的层面，评测对象更接近科研立项和构思中的真实需求。
• 通过限制只使用项目开始时的文献，材料试图模拟真实的信息条件，并避免用完成后论文作为检索答案；具体能在多大程度上减少训练泄漏或后见之明，待核实。
• 对 AI for science、科研智能体、文献发现工具和研发辅助系统有直接参考价值：工具调用不等于更强的检索，模型需要专家式判断。

与既有脉络的关系

• 已有相关卡片覆盖 SPEARBench、URSA、EgoPolice 等基准，分别面向流式语音自然度、逆合成评估和高风险随身摄像机视频理解。
• 本条的增量在于：将基准对象转向“科研文献检索/启发式发现”，并使用作者亲自判断与项目开始时间截断来定义任务。

局限与不确定性

• 材料未给出标注一致性、质量控制、统计显著性、候选集规模、不同检索器/模型配置等细节，待核实。
• 基准基于 207 篇 recent computer science papers 和 184 位 lead authors，能否推广到其他学科、其他时期或其他研究文化，待核实。
• Claude Fable 5.1 的具体版本、可用性、训练数据是否确实包含目标论文等，材料仅称“可能”，待核实。
• Recall@20 的确切计算方式、baseline 实现和评测协议，待核实。

可用于图书/PPT/简报的角度

• “科学家如何知道该读哪篇论文”：把专家直觉转化为可评测的检索任务。
• “工具调用不等于更强检索”：agentic search 未超过 embedding retrieval 的案例。
• 科研智能体评测设计：作者标注、详细 rationale、项目开始时间截断。
• 从文献问答到研究构思支持：AI 如何帮助半成形想法找到所需先验研究。
• 基准趋势：从通用能力评估走向真实场景约束与多领域专家判断。

原始材料

• 英文标题：ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New Research
• 英文关键词/标签：foundation-model；academic（来自 Track/Topics 元数据）；arXiv 分类：cs.AI, cs.CL, cs.IR（作者关键词待核实）
• arXiv ID：2610.02202v1
• Authors: Sohyeon Kim, Yoonho Lee, Bo Liu, Dayoon Ko, Rulin Shao, Seungone Kim, Graham Neubig, Pang Wei Koh, Aakanksha Chowdhery, Akari Asai, Omar Khattab, Yejin Choi, Gunhee Kim, Chelsea Finn
• Published: 2026-10-01T17:59:47Z
• Updated: 2026-10-01T17:59:47Z
• Primary category: cs.AI
• Abstract URL: https://arxiv.org/abs/2610.02202v1
• PDF URL: https://arxiv.org/pdf/2610.02202v1
• Fetched title: ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New Research
• Fetched description: 摘要指出，该工作通过 184 位 lead authors 对 207 篇 recent computer science papers 的标注构建 ScholarCatalyst，并报告 agentic search、embedding retrieval 与 Claude Fable 5.1 agent 的 Recall@20 结果。