知识卡片：PaperBenchX 测评：GPT-6 Astra 论文复现率仅 13.98%

一句话结论

据量子位报道，UniPat AI 发布的多学科论文复现基准 PaperBenchX 显示，表现最强的 GPT-6 Astra 在 93 个真实论文复现任务中完整复现率仅 13.98%，远低于其在数学难题上的表现。

事件概述或研究问题

• 背景：OpenAI 近期宣布其模型在数学领域取得突破（如宣称 88 小时攻克 N-S 方程、放出 722 篇数学手稿涉及千禧难题），引发对 AI 科研能力的关注。
• 核心问题：在 AI for Science 领域，应以什么标准判断「做对了科学」？在衡量 AI 自主提出假设、设计实验之前，能否可靠地重做一项已发表的科学工作并证明做对了？
• 相关背景：陶哲轩、邓煜等 25 位菲尔兹奖得主联名公开信肯定大语言模型数学能力提升，但批评 AI 公司把解决数学问题当基准测试，认为这对数学共同体有害，并提出衡量 AI 科学进步需要更合适的尺子。

方法/产品要点

PaperBenchX 基准设计（据量子位报道）：

• 由 UniPat AI 发布，号称国际上第一个多学科端到端论文结果复现的 Benchmark。
• 覆盖 93 篇研究论文、93 个复现任务，横跨电磁、光子、化学、材料、生物、机器人等 12 个研究方向、10 种领域原生科学环境，含 3168 条专家校验评分项。
• 每个任务：Agent 拿到一篇真实论文 + 容器化科学软件环境 + 任务书（说明复现哪部分），交回可执行的复现工作流。
• 评分标准、容差、参考答案全部对 Agent 隐藏。

关键评测机制：

• 不测「得到了多少数字」，只认重新生成的证据。
• Agent 交卷后系统删掉全部输出、断开网络，在隔离环境重跑工作流，评分器只相信重放产物。
• 时间预算：单任务 4–24 小时，中位数 7 小时。
• 验证分三层：能否重跑出来、证据能否溯源、科学上是否站得住。
• Agent 自称「复现成功」的文字不被当作证据。

开源情况：开源 12 个测试任务（每方向 1 个），同时维护 81 个封闭测试任务。

主要结果或产业意义

• 完整复现率：最强配置 GPT-6 Astra 仅 13.98%。
• 分阶段得分：建模平均 62.70%、执行 61.84%，验证仅 42.80%。
• 交互轮数与得分：更多交互不意味着更好结果，长时间运行往往意味着反复尝试、故障恢复或在错误模型设定上继续计算。
• 前期投入影响：以 Fable 5 为例，37.1% 时间用于论文重建和代码实现（五模型中前期投入比例最高），反而用较少交互取得接近最优的部分得分。前期决策（几何结构、边界条件、模式定义、关键参数）错误会使后续数小时计算失去价值。

为什么重要

• 与既有卡片（GPT-5.6/Fable 5 攻克 MIMO 难题、Astra 攻克数学难题）形成对照：AI 能解决数学难题，但端到端科学复现成功率极低，提示「解数学题」与「做可靠科学」之间存在巨大鸿沟。
• 呼应陶哲轩等菲尔兹奖得主公开信的核心关切：把解决数学问题当基准测试是错位的，PaperBenchX 试图提供更贴近科研本质的衡量尺子。
• 提出 AI Scientist 三项基本功：读懂科学、执行科学、判断科学。
• 为 AI for Science 领域提供了可验证、可比较的评测范式。

局限与不确定性

• 上述结果来自量子位对 UniPat AI 工作的报道，PaperBenchX 论文原文、同行评议状态待核实。
• 93 个任务的领域代表性、评分项专家校验的具体流程细节待核实。
• GPT-6 Astra 等模型的版本信息、测试时间与配置细节待核实。
• 13.98% 完整复现率是否可与其他基准横向对比，待核实。
• OpenAI 宣称的「88 小时攻克 N-S 方程」「722 篇数学手稿」等成果的独立验证情况待核实。

可用于图书/PPT/简报的角度

• 「AI 能解千禧难题，却复现不了一篇论文」的张力叙事。
• 科研评测的尺子问题：从解题基准到复现基准的范式转变。
• 验证三层机制（重跑、溯源、科学判断）作为科学仿真领域的「Lean」。
• AI Scientist 的能力分层：建模/执行/验证的得分落差。
• 前期科学决策对算力效率的决定性影响。

原始材料

• 来源：量子位
• 标题：ChatGPT踢到铁板了！能破解千禧数学难题，但论文复现率低至13.98%？
• 作者：允中
• 日期：2026-10-08
• URL：https://www.qbitai.com/2026/10/501995.html
• GitHub：https://github.com/UniPat-AI/PaperBenchX
• 官网 Blog：https://unipat.ai/blog/PaperBenchX

English keywords: PaperBenchX, AI for Science, paper reproduction, benchmark, GPT-6 Astra, UniPat AI, General AI Scientist