知识卡片：思想拥有基因组：科学谱系推理与基于谱系的创意生成基准测试

一句话结论

现有AI系统在科学思想的谱系推理任务上表现很差，最强模型仅达27.3%的精确准确率，且结构化的谱系上下文会重新排序系统排名而非均匀提升所有参与者，暴露出组合瓶颈。

事件概述或研究问题

科学研究很少从空白页开始，而是继承机制、修复已知局限、重组前期工作，类似生物基因组。然而现有基准很少评估AI系统能否理解这种继承结构。作者提出IdeaGene-Bench（IG-Bench），用于科学谱系推理和基于谱系的创意生成。

方法/产品要点

• IdeaGene框架：每篇论文或提案被表示为一组最小、有类型、有证据支撑的“Idea Genome对象”，并通过GenomeDiff对齐这些对象，记录继承、突变、丢失、外部引入和新插入，涵盖六种操作进化动力学。
• 基准构成：包含1,961条黄金谱系追踪、1,085个整理的Idea Genome对象、920对GenomeDiff记录，覆盖10个科学领域。
• 两种评估：
  • IG-Exam：42种任务类型、1,029个实例，测试封闭式谱系推理（包括Idea Genome抽象、继承追踪、进化推理、谱系验证）。
  • IG-Arena：使用谱系条件化的种群进化得分（PES）评估生成质量，判断一个提案能否作为给定谱系种群的一致后代插入（需继承正确的Idea Genome对象、与邻近工作有意义的差异、对未来研究有选择价值）。

主要结果或产业意义

在14个基于LLM的科学家系统上的实验揭示了组合瓶颈：最强系统在谱系推理上的精确准确率仅27.3%；结构化的谱系上下文并未均匀帮助所有参与者，反而打乱了系统排名。

为什么重要

当前基准很少能检验AI系统是否理解科学思想如何从前人工作中继承、变异与重组。IG-Bench填补了这一缺口，为评估AI在真实科学推理与创意生成中的能力提供了结构化的度量标准。

局限与不确定性

从摘要中未明确提及局限，需进一步阅读原文确认。可能包括：基准覆盖的领域范围（10个领域）是否足够；谱系追踪的真实性（“黄金谱系”的定义与标注者一致性）；PES得分的泛化性等。

可用于图书/PPT/简报的角度

• 展示AI在科学创意生成中的能力上限（组合瓶颈）。
• 论证科学思想演化类比基因组学的新视角。
• 作为评估大型语言模型科学推理能力的基准案例。

原始材料

• 英文标题：Ideas Have Genomes: Benchmarking Scientific Lineage Reasoning and Lineage-Grounded Idea Generation
• 英文关键词：scientific lineage reasoning, idea generation, benchmark, foundation model, IdeaGene, LLM
• 原始来源：arXiv:2607.08758v1
  URL: https://arxiv.org/abs/2607.08758v1
  PDF: https://arxiv.org/pdf/2607.08758v1