知识卡片：开源语言模型能通过西班牙住院医师考试吗？——不确定性、推理与图像使用的多维度评估

一句话结论

在西班牙 MIR 住院医师考试 1,552 道题上，8–27B 参数的四款开源模型中较大的三款按考试规则作答可排进前约 600–3,000 名，但它们的置信度无法有效区分对错、拒绝作答从不划算、医学微调以牺牲准确率换取降低过度自信，且提供的图像对准确率没有影响。

事件概述或研究问题

论文针对“医学考试准确率可作为临床使用证据”这一常见论调提出质疑：一个打算在自有硬件上部署开源模型的卫生系统，还需要知道更多——模型是否意识到自己可能答错、医学微调是否改善这一能力、正确答案是否建立在合理的临床推理之上、以及模型是否真的用到了给定的图像。作者在西班牙 MIR（Médico Interno Residente）住院医师考试上，按考试自身规则对四款 8–27B 参数的开源模型进行评分，共覆盖八届考试的 1,552 道题。

方法/产品要点

• 模型：四款开源模型，参数规模 8B 至 27B（具体型号待核实，摘要未列出）。
• 数据：西班牙 MIR 考试八届共 1,552 道题，按考试自身评分规则计分（MIR 采用答对得分、答错扣分、不答不扣的规则，摘要以“25% 盈亏平衡”暗示其惩罚机制）。
• 评估维度：准确率与排名、弃答（abstention）策略收益、置信度校准（区分对错的能力）、医学微调对过度自信的影响、临床推理合理性（对干扰项的排除理由）、图像使用（移除或替换上下文图像后的准确率变化）。

主要结果或产业意义

• 排名：全部作答时，三款较大模型可排进约前 600–3,000 名考生，仍有 41–43 个专科可供选择。
• 弃答不划算：即使是最不自信的答案，其正确率也高于 25% 的盈亏平衡点，因此弃答策略在该考试规则下从不带来收益。
• 微调的双刃剑：医学微调降低了过度自信，但代价是准确率下降，且并未改善置信度区分对错答案的能力。
• 推理质量问题：13%–38% 的正确答案是以临床上不合理的理由排除了干扰项，而置信度并未反映这一点。
• 图像形同虚设：移除或替换题目提供的上下文图像后，准确率保持不变，说明模型实际上没有利用图像信息。

为什么重要

该研究把“考试分数”这一单指标证据拆解为部署开源医疗模型真正需要的多维能力：校准、可弃答性、推理忠实性与多模态利用。结果表明，高分排名可能掩盖置信度失准、推理过程不可靠以及对图像输入的忽视——这些正是卫生系统在本地部署开源模型时最需要警惕的风险点。与既有卡片中关于 VLA 模型“言出必行”忠实性的讨论相呼应，本条提供了医学考试场景下推理忠实性与输入利用的具体量化证据。

局限与不确定性

• 摘要未列出四款模型的具体名称与版本，待核实。
• 仅覆盖西班牙 MIR 考试，结论对其他语言、其他医学考试体系的推广性待核实。
• “临床上不合理的理由”的具体判定标准与标注流程待核实。
• 图像实验仅涉及“移除或替换”，未说明图像类型分布及替换方式，待核实。
• 论文为 arXiv 预印本（2610.31586v1），未经同行评审，结论待核实。

可用于图书/PPT/简报的角度

• “考试高分 ≠ 可临床部署”：用四维评估框架（校准、弃答、推理、多模态）说明单指标证据的不足。
• “不敢答”反而不如“答了再说”：在惩罚性评分规则下，模型的最不自信答案仍优于弃答，挑战“让模型学会说不知道”的直觉策略。
• 微调的隐藏代价：降低过度自信的同时损失准确率，且校准能力未改善。
• 多模态的“装饰性”：图像存在与否不影响准确率，提示需验证模型是否真正使用多模态输入。
• 开源模型本地部署的尽职调查清单：排名之外还应问什么。

原始材料

• 标题：Would an LLM Match into a Residency? Uncertainty, Reasoning and Image Use of Open Language Models on the Spanish MIR Examination
• 作者：Miguel Fernandez-de-Retana, Unai Zulaika, Ruben Sanchez-Corcuera, Aritz Bilbao-Jayo, Aitor Almeida
• arXiv ID：2610.31586v1（cs.CL; cs.AI, cs.CY, cs.LG）
• 发布：2026-10-22
• 摘要页：https://arxiv.org/abs/2610.31586v1
• PDF：https://arxiv.org/pdf/2610.31586v1
• 关键词：open language models; medical examination; uncertainty calibration; abstention; medical fine-tuning; clinical reasoning; image use; Spanish MIR