知识卡片：MedPhysBench——医学物理计算与差错检测的语言模型基准

一句话结论

MedPhysBench 是一个面向医学物理计算与同行复核的基准：它用十类带随机种子的题目生成器覆盖放疗、诊断影像、核医学与辐射防护，并把“算对”和“查出别人的错”分开评测；12 个模型在 1200 道留出测试题上的计算得分为 33.3%–100.0%，但高分不等于可靠，弱模型在差错检测上会大量放过植入错误。

事件概述或研究问题

医学物理师要把处方转化为实际投照剂量，并互相核对计算，因为束流校准或监视单元（MU）计算中的一个错误会影响所有接受该治疗的患者。论文提出的问题是：语言模型能否胜任这类受协议约束的医学物理计算，以及能否发现同事计算中的错误。MedPhysBench 同时评测计算能力与差错检测能力，并设置了有针对性的探查测试。

方法/产品要点

• 十个带随机种子的计算题生成器，覆盖放射治疗、诊断影像、核医学、辐射防护，临床任务可到 TG-51 校准工作表这一层级。
• 参考答案来自实现相应协议的代码；评分器做单位换算并应用容差带。
• 同一输入另设“检查题”：给模型看同事的完整工作表或只看结果，一半正确、一半植入一个错误。
• 留出测试集 1200 题（其中一半用于两个模型）；共 12 个模型参与。
• 另做探索性定向测试：20 个公开的“漏掉平方反比修正”案例。
• 作者在运行后发现屏蔽题项存在两处问题，并报告其影响；发布代码、逐题结果与定向测试回答。

主要结果或产业意义

• 计算得分区间 33.3%–100.0%。最好的四个模型为 99.3%–100.0%，其被判错的 9 个答案中 5 个含模型错误，4 个是遵循 NCRP Report 151 而题目本身表述有误或留有开放空间。
• 在头部模型之下，多数模型在 level-3 临床任务上表现最差；Claude Sonnet 5.5 在 20 道等中心 MU 题中 19 道漏掉平方反比修正。
• 差错检测：5 个模型在植入错误（多为较大错误）上检出率≥96.7%、误报≤4%；另外 7 个模型中有 4 个在只看结果时误报显著上升。
• 定向测试中，最好的三个模型在每份工作表上都抓住了漏掉的平方反比修正；三个较弱模型接受了 20 份植入错误工作表中的 16–18 份，其中一个在自己计算时多数情况下会应用该修正。Claude Opus 5.5 接受了 20 个错误结果中的 6 个，尽管它自己 20 次计算都应用了该修正。
• 产业意义：模型“自己算得对”与“能审出别人的错”是两种能力，不能互相替代；仅给结果不给过程的复核场景更易触发误报。

为什么重要

束流校准或 MU 计算的一个错误会波及该条件下治疗的全部患者，因此医学物理工作流内建了同行复核。MedPhysBench 把这一现实约束转成可测指标：既看计算准确率，也看差错检测的检出率与误报率，并区分“看工作表”与“只看结果”两种复核条件。对图书/简报而言，它提供了一个具体例证：在受协议约束的高风险计算场景中，基准题面本身的正确性同样需要审计（作者按 NCRP Report 151 修正题目表述即是明证）。

与既有脉络的关系

本卡片为新增条目，与既有卡片（SDARE-Bench、SPEARBench、教学反馈分类协议跨语言迁移基准）无直接延续关系；差异在于本条聚焦医学物理计算与差错检测，而非对话安全、语音自然度或教学反馈分类。增量信息是：首次（据材料所述）将“计算”与“同事差错检测”作为同一基准的两个并列维度，并引入只看结果 vs 看工作表的对照条件。

局限与不确定性

• 留出测试集的一半仅用于两个模型，具体分配方式待核实。
• 屏蔽题项存在两处问题，作者称在运行后才发现并报告影响，但材料未给出修正后的重跑结果，待核实。
• “12 个模型”“四个最好模型”等具体模型清单与版本信息在材料中不完整，待核实。
• 定向测试仅 20 个公开案例，属探索性，不能外推为通用结论。
• 评分容差带的具体数值与单位换算规则未在材料中给出，待核实。

可用于图书/PPT/简报的角度

• “算得对≠审得出”：用 Sonnet 5.5 漏平方反比修正、Opus 5.5 自算全对却接受 6/20 错误结果，说明计算与复核是可分离的能力维度。
• 基准题面也要审计：4 个被判错的答案其实遵循 NCRP Report 151，提示基准设计中的“标准答案”本身可能 misstate 或 leave open。
• 复核界面设计影响误报：只看结果时 4 个模型误报显著上升，可作为“过程可见性”在 AI 辅助复核中的价值例证。
• 高风险医学物理场景的 AI 评估应报告检出率与误报率的配对指标，而非单一准确率。

原始材料

• 标题：MedPhysBench: A Benchmark for Evaluating Language Models on Medical Physics Calculations and Error Detection
• arXiv ID：2611.05340v1
• 作者：Omar Nusrat
• 发布/更新：2026-11-03T18:40:35Z
• 主分类：physics.med-ph；交叉分类：cs.AI, cs.CL
• Abstract URL：https://arxiv.org/abs/2611.05340v1
• PDF URL：https://arxiv.org/pdf/2611.05340v1
• 关键词（英文）：medical physics, benchmark, language models, error detection, monitor unit calculation, TG-51, NCRP Report 151, inverse-square correction