知识卡片：FrontierPhysics——面向端到端物理研究的智能体基准

一句话结论

FrontierPhysics 是由 42 位物理学家基于自身研究设计的 56 项端到端物理研究任务基准，覆盖理论、计算与实验物理九个领域，用确定性验证器加专家评分标准同时考察智能体研究的正确性与可发表性；在 22 个模型、26 种配置中，没有一种配置在 168 次 rollout 中通过超过 46 次。

事件概述或研究问题

现有物理基准多评估固定题目、孤立子任务，或在给定解法下复现论文，很少在检查正确性的同时检验研究质量。论文提出的问题是：智能体能否完成从文献调研、研究计划、研究与实验，到结构化输出与科学文稿的完整物理研究流程，并且产出既正确又具备发表水准的结果。

方法/产品要点

• 任务来源：56 项任务由 42 位物理学家基于自己的研究编写，覆盖理论、计算、实验物理共九个领域。
• 任务流程：每项任务要求智能体完成文献综述、制定研究计划、开展研究与实验，并产出结构化输出和科学手稿。
• 评估方式：确定性验证器与专家撰写的评分标准（rubrics）结合，兼顾结果正确性与研究质量/可发表性。
• 评测规模：22 个模型、26 种配置，每种配置 168 次 rollout。

主要结果或产业意义

没有一种配置在 168 次 rollout 中通过超过 46 次。对智能体轨迹的人工复核显示，前沿智能体的主要短板是推理不够严谨和专家直觉有限，而不是物理知识缺口或执行错误。这意味着当前瓶颈更多在科研判断与推理纪律，而非知识记忆或工具操作。

为什么重要

该基准把评估重心从“答对题”推向“做出可发表的研究”，并以领域专家自研任务和双重评分机制提高生态效度。对自动科研智能体的能力诊断具有方向性意义：改进重点应放在严谨推理与研究品味，而非继续堆叠物理知识。与既有“自动科研评分标准”类工作（如 AutoSciRub、FinAutoRubric）相比，本条提供的是物理领域的端到端评测基线与诊断结论，属于评估侧而非评分标准生成侧。

局限与不确定性

• 任务仅 56 项，领域覆盖虽广但样本量有限，统计稳健性待核实。
• “可发表性”由专家评分标准衡量，评分者间一致性与复现细节待核实。
• 26 种配置的具体模型清单、rollout 预算与通过判定阈值待核实。
• 基准是否公开、任务与评分标准是否可获取，材料未说明，待核实。

可用于图书/PPT/简报的角度

• 用“无配置通过超过 46/168”说明端到端科研智能体仍处早期。
• 用“推理不严谨、专家直觉有限而非知识缺口”纠正“模型只是知识不够”的常见误解。
• 作为“从解题基准到研究基准”演进的案例，对照固定题目与论文复现类基准的局限。
• 讨论专家参与构建基准（42 位物理学家、自研任务）对评估生态效度的价值。

与既有脉络的关系

本条是对自动科研智能体评估脉络的补充：既有卡片关注评分标准的自动归纳与专家引导生成（AutoSciRub、FinAutoRubric），本条则提供物理领域的端到端评测基线与失败模式诊断，增量在于把“评估什么”从子任务正确性扩展到完整研究流程与可发表性。

原始材料

• 标题：FrontierPhysics: Evaluating Agents for End-to-End Physics Research
• arXiv ID：2611.06910v1
• 分类：cs.AI（Primary）
• 发布/更新：2026-11-04T18:56:22Z
• Abstract URL：https://arxiv.org/abs/2611.06910v1
• PDF URL：https://arxiv.org/pdf/2611.06910v1
• 关键词：AI agents；physics research；end-to-end benchmark；expert-authored rubrics；deterministic verifiers；scientific manuscripts