知识卡片：大语言模型能否在真实与平行世界中发现科学定律？

一句话结论

基于该论文摘要：大语言模型能否真正“发现科学定律”仍是开放问题；作者提出科学定律发现基准 SCILAWS-BENCH，通过“真实观测”和“平行世界”两种互补任务评估模型，发现预测拟合度与科学有效性可能脱节，记忆会显著影响模型是复现还是超越已有公式，并且 best-of-N 研究暴露出选择瓶颈。

事件概述或研究问题

• 科学方程发现长期是科学进步的核心，通常经历“提出假设—观测检验—修正”的迭代过程。
• 随着大语言模型能力提升，其在“AI for Science”中的角色日益重要，但它们能否真正发现科学定律、以及应如何评测这一问题仍不明确。
• 已有评测往往使用合成环境简化任务，或使用可能已被 LLM 记忆的已发表公式作为目标，导致评估不够可靠。

方法/产品要点

• 提出新基准：SCILAWS-BENCH，基于已发表研究和真实科学数据构建。
• 基准规模：118 个问题，来源于 381 篇科学论文，覆盖 291 条候选定律，约 800 万个真实数据点，横跨 6 个科学学科。
• 每个问题包含两种互补设置：
  • SCILAWS-REAL：给定固定真实观测数据，要求模型提出定律；评估保留数据的预测拟合度，以及源自文献的科学有效性。
  • SCILAWS-PARALLEL：要求模型主动查询“残差校准世界”，并恢复由已发布定律形式合成的隐藏定律。
• 该设计既保留问题的科学背景，又分别考察“基于固定记录发现定律”和“主动恢复新合成隐藏定律”两种能力。
• 项目主页：https://yiyihum.github.io/SciLaws-Bench

主要结果或产业意义

• 研究发现：预测拟合度与科学有效性可能不一致，即“拟合得好”不等于“科学上有效/正确”。
• 记忆在模型行为中起重要作用：模型是复现已有公式，还是超越它们，受既有知识影响。
• best-of-N 研究中出现“选择瓶颈”：即使生成多个候选结果，如何从中选出正确/有效的定律仍是难点。
• 该工作为“AI for Science”中的定律发现评测提供了论文背书的基准和经验视角。

为什么重要

• 现有 AI 科学发现评测常常过于简化，或使用可能被模型“背下来”的目标；SCILAWS-BENCH 使用真实论文与真实数据构造任务，更接近实际科研生态。
• 真实世界与平行世界的双设置设计，有助于将“数据拟合式发现”与“主动探索式发现”分开评估。
• 对于评估 LLM 是否真能推动科学发现，而非仅仅重复训练数据中的公式，该基准提供了新的实证参考。

局限与不确定性

• 本次来源仅为 arXiv 摘要页及元数据，未抓到论文正文，因此实验细节、模型范围、具体结果数值、作者与发表状态等信息待核实。
• 基准是否已公开、是否经同行评审、评测结果的全部结论等，需进一步查阅原文。
• “平行世界”中的任务是否能良好迁移到真实科学发现场景，仍需更多外部证据支持。

可用于图书/PPT/简报的角度

• 用案例解释“LLM 科学发现评测”为什么不能只靠拟合指标。
• 说明“记忆污染”对 AI for Science 评测的挑战，以及如何用“真实世界 + 平行世界”双设置来缓解。
• 展示大模型在科学定律发现上的潜力与瓶颈：生成候选容易，选择与验证难。

原始材料

• 英文标题：Can LLMs Discover Scientific Laws in Real and Parallel Worlds?
• 英文关键词/主题：foundation-model（元数据 Topics）
• Track：academic
• 原始来源：https://arxiv.org/abs/2609.01552v1
• 备注：元数据说明“未能抓取正文，请仅基于已知元数据生成”；上述内容中未在摘要中明确的部分均已标注为待核实。