知识卡片：将大语言模型的科学发现能力追溯到其训练数据

一句话结论

大语言模型的科学发现能力可能与训练数据中“单次事实”（monofacts，即训练中仅出现一次的事实）的比例密切相关：在材料科学与调控基因组学中直接操纵训练集的单次事实率后，单次事实越多，模型产生的发现越多。

事件概述或研究问题

论文提出一个基本问题：如何把大语言模型的科学发现能力追溯到其训练数据？作者将这一问题作为“缺失概率质量”（missing probability mass）问题来研究，并给出一个理论解释：训练集中仅被观察到一次的事实（monofacts）决定了模型的发现能力。

方法/产品要点

• 理论框架：以“缺失概率质量”为切入点，提出单次事实设定发现能力的理论解释。
• 实验领域：材料科学（materials science）与调控基因组学（regulatory genomics）。
• 干预方式：直接操纵训练集中的单次事实率（monofact rates）。
• 验证维度：跨两个开放权重模型家族（two open-weight model families）、多种采样策略（sampling strategies）与不同推理预算（reasoning budgets）进行检验。
• 补充实验：检验该关系能否仅由训练集多样性解释，以及能否在搭配域内数据时跨科学领域迁移。

主要结果或产业意义

• 单次事实率越高，模型产生的发现越多，且这一趋势在两个开放权重模型家族、采样策略与推理预算下保持一致。
• 进一步实验显示，该关系不能仅由训练集多样性解释。
• 当搭配域内数据（in-domain data）时，该关系可以跨科学领域迁移。
• 作者据此将训练数据中的单次事实率认定为支配语言模型发现的关键因素。

为什么重要

若单次事实率确实是决定发现能力的关键数据属性，那么构建面向科学发现的训练集时，数据筛选与配比可以围绕“稀有/一次性事实”的密度来设计，而不仅依赖数据规模或多样性。这为从数据侧解释和提升大模型的科学发现能力提供了可检验的切入点。

局限与不确定性

• 实验仅覆盖材料科学与调控基因组学两个领域，其他科学领域的适用性待核实。
• 所测试的模型均为开放权重模型家族，闭源模型上的表现待核实。
• 理论框架以“缺失概率质量”刻画发现能力，其一般性与形式化细节待核实（需查阅论文全文）。
• 单次事实率的操纵方式、具体任务与发现质量的度量标准待核实。

可用于图书/PPT/简报的角度

• “数据里的稀有事实决定模型能发现什么”：从数据属性而非模型规模解释科学发现能力。
• 训练数据配方设计：把单次事实密度作为可调参数。
• 数据多样性的再审视：多样性之外，稀有事实的出现频率可能是独立因素。
• 跨领域迁移：搭配域内数据后，单次事实效应可跨科学领域延展。

与既有脉络的关系

本卡片与“超级权重与选择性训练失败”“邀序编码”“DEED 零售机器人后训练”等卡片无直接重叠；增量在于把发现能力的解释从参数层面（超级权重）与压缩/数据选择层面（邀序编码）转向训练数据中单次事实率这一统计属性。

原始材料

• 标题：Tracing the Scientific Discovery Capacity of LLMs to Their Training Data
• arXiv ID：2611.03617v1
• 作者：Arda Uzunoglu, Mahler Revsine, Michael Schatz, Benjamin Van Durme, Mehrdad Farajtabar, Daniel Khashabi, Eric Nalisnick
• 发布/更新：2026-11-02T18:50:54Z
• 主分类：cs.CL；分类：cs.CL, cs.AI
• Abstract URL：https://arxiv.org/abs/2611.03617v1
• PDF URL：https://arxiv.org/pdf/2611.03617v1
• 关键词：large language models；scientific discovery；training data；monofacts；missing probability mass