知识卡片：高级数学证明生成与验证基准套件（AdvancedMathBench）

英文标题（English Title）： AdvancedMathBench: A Benchmark Suite for Advanced Mathematical Proof Generation and Verification

英文关键词（Keywords）： AdvancedMathBench, proof generation, proof verification, LLM evaluation, mathematical reasoning

一句结论： AdvancedMathBench 表明当前最强的大语言模型在高级数学（本科及博士资格考试级别）的证明生成和验证任务上仍远未达到可靠水平；最佳模型在证明生成上的得分不超过75.8（本科级别）/66.1（博士级别），在证明验证上的平衡 F1 仅为65.1，且普遍难以检测关键错误。

事件概述或研究问题： 大语言模型（LLMs）在高中和奥林匹克数学上已取得显著成绩，但其在更高级数学（如本科、博士生资格考试级别）中的推理能力仍不明确。现有基准存在学科覆盖范围有限、评估粒度粗糙（通常仅依赖最终答案正确性或粗略判断）等问题，无法有效评估推理过程的正确性。为弥补这一空白，研究者引入了 AdvancedMathBench，专门评估高级数学推理能力。

方法/产品要点：

• 基准套件包含两个子基准：
  • ProverBench：296道证明题，覆盖本科（UGD）和博士生资格考试（QE）水平，用于评估模型生成数学证明的能力。
  • VerifierBench：888个由模型生成的证明轨迹，并配有专家标注的正确答案，用于评估模型判断证明正确性及提供合理验证理由的能力。
• 自动验证流水线：基于大规模专家标注训练，能输出正确性判定和细粒度的错误评估；在留出证明轨迹上与人类专家的一致性很高。
• 在多个前沿模型上进行了实验。

主要结果或产业意义：

• 证明生成：最佳模型 GPT-5.5-xhigh 在 UGD 分项得分为 75.8，在 QE 分项得分为 66.1（具体评分尺度待确认），表明高级数学证明构造仍有很大提升空间。
• 证明验证：最佳模型的平衡 F1 仅为 65.1；模型普遍表现出很低的真阴性率（即难以识别错误证明），表明关键错误检测是当前的主要瓶颈。
• 该基准揭示了 LLM 在高级数学上的薄弱环节，对研发更强大的数学推理系统具有指导意义。

为什么重要： AdvancedMathBench 是首个专门针对高级数学（超出高中/奥林匹克范围）的细粒度证明生成与验证基准，其自动验证流水线能够评估推理过程而非仅看答案，提供了更可靠的评价标准。实验结果明确指出当前模型在高级数学推理上的不足，尤其是在区分正确与错误证明方面存在系统性缺陷，为未来研究方向提供了清晰目标。

局限与不确定性：

• 材料未说明 ProverBench 具体涵盖哪些数学分支（如代数、拓扑、分析等），以及问题来源和专家标注的具体规模（仅提及“大规模”，未提供确切数字）。
• 自动验证流水线在留出集上与人类高度一致，但在更广泛的非审慎场景下泛化性能未知。
• 数据集规模较小（296道证明题），可能不足以代表高级数学的全部领域。
• 模型名称“GPT-5.5-xhigh”的具体参数量或架构细节未公布（待核实）。
• 评分标准（75.8、66.1等）是如何计算的（如准确率或某种归一化分数）未从材料中确认（待核实）。

可用于图书/PPT/简报的角度：

• 作为案例说明大模型在专业领域（如高等数学）的评估基准设计思路：从仅关注答案转向细粒度的过程验证。
• 展示当前 AI 在高级数学推理上的能力边界，适合用于讨论“大模型是否真正理解数学”的辩论。
• 强调错误检测（低真阴性率）是比证明生成更难的任务，可作为“AI 安全与可靠性”主题的素材。

原始材料（Original Sources）：

• arXiv: 2607.11849v1，URL: https://arxiv.org/abs/2607.11849v1