知识卡片：AI Consilium——LLM 临床多学科第二意见基准

一句话结论

该研究提出一个面向“临床多学科第二意见”的多维基准，用 300 个已确诊的 NEJM–MedQA 病例比较 8 种单模型流水线的会诊报告质量，并以医师校准的 LLM Judge 评估 3,040 份报告；元数据显示模型身份对报告质量的影响强于回答格式，结构化报告在多数组流水线中总体得分更高，尤其在“处置/管理”维度（待核实：具体数值与统计细节需以原文为准）。

事件概述或研究问题

• 研究关注的问题不是“LLM 能否给出鉴别诊断”，而是“第二意见是否事实有据、临床连贯、可执行且安全”。
• 作者构建多维基准：从 NEJM–MedQA 中选取 300 个诊断已明确的病例，其中 110 例用于医师参考评分与 Judge 校准，190 例用于留出评估。
• 8 种单模型流水线在“自由形式”和“结构化临床推理”条件下生成角色特异性独立意见与交互式 consilium 报告。
• 医师校准的 LLM Judge 评估 3,040 份最终报告及对应的结构化主角色输出。
• 以上为元数据与候选摘要所述内容；正文未抓取，方法与统计细节待核实。

方法/产品要点

• 基准对象：临床多学科第二意见（multidisciplinary second opinion），强调事实基础、临床连贯性、可执行性与安全性等多维标准。
• 数据来源：NEJM–MedQA 中诊断已解决的病例；分为医师参考评分/ Judge 校准集与留出评估集。
• 流水线设计：8 种单模型流水线；每种在自由形式与结构化临床推理条件下生成角色特异性意见与交互式会诊报告。
• 评估方式：医师校准的 LLM Judge 对最终报告与结构化主角色输出打分。
• 评估规模：3,040 份最终报告。
• 待核实：Judge 校准的具体流程、评分维度定义、流水线构成、模型清单与统计检验方法。

主要结果或产业意义

• 候选摘要称：模型身份对报告质量的区分度强于回答格式。
• 结构化最终报告在 8 条模型流水线中的 7 条总体均分更高；在“管理/处置”维度优势最明显（摘要给出 2.740 vs. 2.436，待核实）。
• 与结构化会诊前的主角色意见相比，完整结构化综合报告在 5 个共享标准上汇总得分均更高，提升最大的是问题优先级排序、事实基础与推理连贯性（待核实具体数值）。
• 摘要称 GPT-5.6-Sol 在所有评估组件中领先，并以最少评审轮次达成共识（待核实模型命名与细节）。
• 产业意义：该基准试图在同一套病例上同时区分模型能力、多学科综合的增量贡献、回答结构的维度特异性效应、审议动态与推理需求（待核实）。

为什么重要

• 临床第二意见是高 stakes 场景：仅“能列鉴别诊断”不足以证明可用，需同时满足事实性、连贯性、可执行性与安全性。
• 该工作把“多学科会诊”拆成可评估组件（角色意见、综合报告、审议轮次），有望为医疗 LLM 评测提供比单一总分更细的构念区分。
• 与既有卡片中“安全基准总分缺乏构念效度”的关切相呼应：本条增量在于把多维标准与角色化会诊流程纳入同一病例级评估框架（待核实其效度证据）。
• 对图书/简报的启示：可讨论“结构化输出并非万能，但在管理维度可能更有用”这一假设是否成立（待核实）。

局限与不确定性

• 正文未能抓取，本卡片仅基于 URL 元数据与候选摘要；以下均待核实：样本选择偏倚、病例难度分布、Judge 与医师一致性、评分信度、统计显著性、模型版本与可复现性。
• 候选摘要中出现“GPT-5.6-Sol”等具体模型名与数值，未在正文中核实前不应作为定论引用。
• NEJM–MedQA 病例为已诊断解决病例，向真实临床不确定场景的外推性待核实。
• LLM Judge 的校准与偏差控制细节待核实。

可用于图书/PPT/简报的角度

• “从鉴别诊断到第二意见”：医疗 LLM 评测为何需要多维标准与角色化流程。
• “结构化会诊是否更有用”：以管理/处置维度为切入点的证据与争议（待核实）。
• “模型身份 vs. 回答格式”：评测中能力因素与提示/格式因素的分离问题。
• “多学科综合的增量”：会诊前主角色意见与完整综合报告的对比框架。
• “LLM Judge 能否评临床报告”：医师校准的必要性与局限（待核实）。

与既有脉络的关系

• 与“寻找‘有害拒绝’”卡片共享方法论关切：基准总分是否具备构念效度；本条增量在于把临床第二意见拆为多维标准与角色化会诊流程，试图在同一病例上区分模型能力、综合贡献与格式效应（待核实效度证据）。
• 与 Embodied.cpp、探针级联等卡片无直接事实重叠。

原始材料

• 标题：AI Consilium: a Benchmark of LLM Clinical Multidisciplinary Second Opinions
• 来源：arXiv
• URL：https://arxiv.org/abs/2610.22298v1
• 类型：academic / foundation-model
• 备注：正文未能抓取，以上内容基于元数据与候选摘要，标注“待核实”处需以原文为准。