知识卡片：ProteinGeoBench：前沿结构生物学智能体擅长查表，却在几何中迷失

一句话结论

在 131 项蛋白质结构任务组成的 ProteinGeoBench 上，前沿结构生物学智能体普遍更擅长检索结构元数据，而在从坐标做数值/几何计算时表现更弱；且基准排名对评测配置（运行次数、工具框架、网络/数据库访问、任务子集）敏感。以上基于元数据与摘要级信息，正文细节待核实。

事件概述或研究问题

该工作研究前沿智能体在蛋白质结构任务中的能力结构：分数在多大程度上反映“查表式”结构元数据检索能力，又在多大程度上反映模型之外的评测配置（运行预算、智能体框架、访问条件、任务构成）。作者以 ProteinGeoBench 为测试套件，结合多模型、多次 rollout 分析模型间差异与评测配置的影响。

方法/产品要点

• 基准：ProteinGeoBench，共 131 项蛋白质结构任务。待核实：任务分类标准、评分细则、数据来源与构造流程。
• 实验规模（据摘要）：4 个前沿模型共 4,249 次 rollout；另在 26 个模型上进行了 4,486 次试验。待核实：具体模型清单、rollout 采样参数、是否多次温度采样。
• 分析维度：模型间分数差异、元数据检索 vs 数值计算的任务族对比、评测预算（每任务运行次数）对排名的影响、网络访问与结构数据库域名封锁的对照、替换各模型自带命令行智能体框架（harness）的影响。
• 建议的评测报告规范：按任务族报告结果，并同时报告运行次数、harness 与访问条件。

主要结果或产业意义

• 四个前沿模型中，三个彼此分数落在 0.031 区间内（0.785–0.816），差异未被分辨；第四个为 0.707，与前三者的差距均排除零。待核实：置信区间与统计检验方法。
• 四个模型中有三个在元数据查表上优于数值计算，第四个在数值任务上略好。
• 数值任务只占 131 项中的 28 项，却占“四个模型全部失败”的 12 项任务的一半。
• 排名依赖评测预算：每任务仅运行一次时，23.9% 的 bootstrap 重采样会把另一个模型排到第一。待核实：bootstrap 设置与重复次数。
• 在选定的 15 项任务切片上，移除网络访问导致的分数下降大于封锁 8 个结构数据库域名；但两种对照在不同批次中评分，无法干净分解。待核实：切片选择依据与批次差异。
• 替换为各模型自带命令行智能体后，分数变化为 -0.071 至 +0.086，幅度不足以排除中等程度的 harness 效应。
• 在 26 个模型上，数值表现随非数值表现上升而非持平，提示两类能力并非此消彼长。待核实：相关性度量与模型覆盖范围。
• 作者明确指出：各实验使用不同任务子集，因而无法对模型、harness、访问条件与任务构成进行相互排序。

为什么重要

• 对“基准分数=模型能力”的默认假设提出操作性质疑：同一模型在不同运行预算、工具框架与访问条件下可能得到不同名次，评测报告需要显式披露这些配置。
• 区分“查表流畅”与“几何计算可靠”两类能力，对结构生物学智能体的实际部署有直接含义：能检索注释不等于能从坐标推断几何关系。
• 与既有卡片中“检索到却排不到前面”的结构检索偏差、以及“过度声称完成”的智能体行为倾向相呼应：三者共同指向“表面可用性与底层可靠性之间存在缺口”，本条增量在于把该缺口放到结构生物学的几何计算任务上，并量化评测配置对结论的影响。

局限与不确定性

• 未能抓取正文，本卡片仅基于标题、摘要级元数据与候选摘要；任务设计、评分细节、模型清单、统计方法均待核实。
• 摘要自述实验使用不同任务子集，模型/harness/访问/任务构成的效应无法互相排序，相关结论应视为方向性而非定论。
• 网络访问与数据库封锁两组对照在不同批次评分，无法干净分解，其相对大小待核实。
• harness 替换的分数变化区间跨零，不能排除中等 harness 效应，也不能确认其显著性。
• 26 模型分析的具体任务子集与数值/非数值划分标准待核实。

可用于图书/PPT/简报的角度

• “查表流畅、几何迷失”：把智能体能力拆成检索层与计算层，用 28/131 与 12 项全败任务的比例做可视化。
• “同一模型，不同名次”：用 23.9% bootstrap 换榜首的数字说明评测预算对排名的扰动，引出评测报告规范（任务族、运行次数、harness、访问条件）。
• “断网比封库更伤”：作为访问条件敏感性的案例，同时标注该对照不可干净分解的方法论警示。
• “能力同向而非互换”：26 模型上数值随非数值上升，反驳“检索强则计算弱”的简单权衡叙事。
• 与检索偏差、过度声称两张卡片并置，构成“智能体表面可用性 vs 底层可靠性”的系列专题。

原始材料

• 标题：ProteinGeoBench: Frontier Structural-Biology Agents Are Fluent at Lookup but Lost in Geometry
• 来源：arXiv（academic track）
• URL：https://arxiv.org/abs/2610.26829v1
• 关键词（英文，原文保留）：protein structure benchmark; structural-biology agents; metadata lookup; geometric/numeric calculation; evaluation configuration; harness effects; access conditions; bootstrap ranking
• 说明：正文未能抓取，以上关键词为据标题与摘要归纳，待核实原文关键词列表。