知识卡片：生物医学基础模型的基准测评

一句话结论

目前对生物医学基础模型的全面测评方法论仍不成熟；这篇 Nature Methods Perspective 提出，不能只把基础模型当作普通预测任务来“跑排行榜”，而需要重新思考其可证伪性、可验证性与实际效用，并依靠科学社区建立更稳健、更有意义的评测规范。

事件概述或研究问题

• 本文是 Perspective（观点/评论文章），不是原创实验或新基准数据集。
• 研究问题：计算生物学方法开发强调“透明评估、可重复性、泛化性和可复制性”（transparent evaluation and proof of reproducibility, generalization and replicability）。但对于基础模型，这种评估更加困难。
• 关键难点在于：基础模型的参数本应捕获数据背后的模式，因此模型可被视为“产生数据的那些现象的参数化体现”（parameterized embodiments of the phenomena that gave rise to the data）。
• 作者据此追问：基础模型的局限如何被检验？它们应被“证伪/验证”，还是主要依据“效用”来评价？指导其基准测评的原则是什么？科学社区在其中应扮演什么角色？

方法/产品要点

• 本文没有发布新的模型、数据集或代码。
• 作者讨论了用“标准任务”来测评基础模型的局限（原文 Fig. 1 标题为 “Limitations of benchmarking foundation models with standard tasks”）。
• 文章回顾了从结构生物学到转化医学、再到电子健康记录等领域已有的测评努力，并强调社区驱动评估的价值。
• 引用案例包括：CASP 对蛋白质结构预测方法的独立社区评估、DREAM 挑战赛、ImageNet 大规模竞赛，以及 AlphaFold 3、Evo 2、计算病理学基础模型等多个相关工作。
• 作者提出“更强健、更有意义地进行基础模型评测”的指南方向；但具体指南细节因仅公开摘要/预览，暂列为“待核实”，需查看全文。

主要结果或产业意义

• 核心结果是观点性结论：生物医学基础模型的“全面潜力”评估方法仍欠发展；标准下游任务测评不足以应对基础模型带来的认识论问题。
• 文章强调，计算生物学方法开发的基石是透明评估、可重复性、可泛化性、可复制性。
• 对产业意义而言，该文为生物医药 AI 模型评测标准的设计提供了一种方法论层面的参考，也可能影响未来“基础模型”类产品在科学验证和转化论证中的要求。
• 文末引用的一项研究提示：现有基因组基础模型表征在若干调控基因组学任务上未必优于 one-hot 序列编码；也有研究质疑扰动响应预测指标可能高估模型性能。这些例子进一步说明基础模型评测需要更严格的设计。

为什么重要

• 作者阵容包括 Julio Saez-Rodriguez、Gustavo Stolovitzky 等在生物医学建模和社区挑战赛中具有重要影响力的研究者，文章发表在 Nature Methods。
• 它不是某一个具体基准，而是对“如何为生物医学基础模型做基准测评”这件事本身的方法论反思。
• 文章把基础模型评价问题从“跑分高低”提升到认识论层面：如果模型本身是数据现象的参数化体现，那么传统测试集和准确率指标是否足以刻画模型的效度？
• 相对于已有相关卡片中的具体基准或语料库工作，本条提供的是一个更上位的“元评价”视角，可作为理解具体基准实践（如 EHR、病理、单细胞、时间序列等）的共同框架。

局限与不确定性

• 本文是 Perspectives 形式，代表作者的观点论证，不是系统性综述或实证研究。
• 当前可见内容主要为摘要与部分参考文献，文章提出的完整指南、具体建议和案例论证细节待核实，需访问全文。
• 完整作者列表、利益冲突、资助信息及图 1 具体内容因页面呈现不完整，待核实。
• 引用的部分工作为预印本，仍需同行评议确认。

可用于图书/PPT/简报的角度

• 用“模型是现象的参数化体现”来解释：为什么基础模型的评估不能等同于传统预测模型评估。
• 设计讨论题：“基础模型应被‘证伪’检验，还是只看‘效用’？”
• 以 CASP、DREAM、ImageNet 等社区评估机制为例，讨论“生物医学基础模型的 ImageNet/CASP 时刻”可能是什么样子。
• 作为 AI for Biology 主题的引入材料：强调避免只依赖标准下游任务排行榜。

与既有脉络的关系

• 已有相关卡片多为具体基准系统或语料库，例如 AutoModSAT、DataGovBench、RMISC。
• 本条不是新增的又一个基准，而是对“基准测评方法”本身的讨论；可作为上述具体基准工作的上位框架，用于理解为什么需要更严格、更透明的测评设计。

原始材料

• 英文标题：Benchmarking biomedical foundation models
• 英文关键词：biomedical foundation models; benchmarking; reproducibility; generalization; evaluation; Perspective
• 作者：Julio Saez-Rodriguez, Philipp Sven Lars Schäfer, Nikolas Kalavros, … Gustavo Stolovitzky（完整作者列表待核实）
• 期刊：Nature Methods
• 卷/页：Volume 23, pages 1724–1733 (2026)
• 在线发表：04 September 2026
• DOI：10.1038/s41592-026-03182-y
• URL：https://www.nature.com/articles/s41592-026-03182-y