知识卡片：构造即可验证：临床问答中逐字引用的声明级评估

一句话结论

当前 LLM 在临床问答中较容易生成逐字引用，但让这些引用完全支撑每条声明的全部细节仍存在显著能力缺口；高引用覆盖率不等于高可验证性。

事件概述或研究问题

论文关注临床问答（clinical QA）中的引用可验证性问题：现有系统虽然能给答案附引用，但引用常指向宽泛文本，时间紧张的临床医生难以高效核验。论文提出并评估一种“构造即可验证”（verifiable by construction）的思路：从参考材料中给出细粒度逐字引用（verbatim quotes），使引用能够支撑具体声明，让用户无需打开其他文档即可核验答案。

研究问题是对当前模型进行端到端评估，覆盖三个阶段：为每个事实性声明提供引用、生成逐字引用、确保逐字引用完全支撑声明。

方法/产品要点

构建标准化测试框架（standardized harness），覆盖四份临床实践指南。
评估十二个 LLM，使用 222 个合成临床问题（synthetic clinical questions）。
对上述三个阶段分别测量，而非只给一个总体分数。
论文发现，多数模型仅靠提示（from prompting alone）即可为超过 90% 的声明附上逐字引用，但部分轻量模型例外，例如 claude-haiku-4.5。
四份指南的具体名称、十二个模型完整名单、222 个问题的生成方式、提示细节与评分标准：待核实。

主要结果或产业意义

多数模型可以为超过 90% 的声明附上逐字引用。
但逐字引用经常不能支撑声明中的每一个细节。
示例：claude-opus-5 为其 98.0% 的声明生成了逐字引用，但只有 37.1% 完全支撑其声明。
论文认为，这揭示了当前 LLM 在构建可验证临床问答系统方面的能力缺口，并提供供未来研究使用的 artifacts。
对系统设计的启示是：若把逐字引用作为可验证机制，就不能只看“引用覆盖率”，还需要单独评估“声明级完全支撑率”。

为什么重要

临床医生需要快速核验答案，宽泛引用不足以支持高效验证。逐字引用理论上可减少打开其他文档的成本，但如果引用不能完全支撑声明，用户可能得到“看似可验证、实际未被充分验证”的回答。该研究把问题拆成可测量的阶段，指出从“有引用”到“可验证”之间存在明显落差，对医疗问答、检索增强生成和可信 AI 评估都有参考价值。

局限与不确定性

本卡片仅依据该 arXiv 条目的标题、摘要与摘录信息撰写，未读取全文。
四份临床实践指南的名称与选择标准：待核实。
222 个合成临床问题的构造方式、代表性及是否接近真实临床提问：待核实。
十二个 LLM 的具体版本、推理配置、提示模板和重复次数：待核实。
“完全支撑”（fully substantiate）的操作化定义与判定流程：待核实。
结果是否经过同行评审、是否有统计不确定性或人工复核：待核实。
对真实临床部署的外推性、安全性和监管含义：待核实。

可用于图书/PPT/简报的角度

“引用不等于可验证”：从宽泛引用，到逐字引用，再到声明级完全支撑。
三层评估漏斗：声明引用覆盖率、逐字引用生成率、完全支撑率。
医疗 AI 信任设计原则：verifiable by construction。
大模型能力缺口案例：98.0% 的逐字引用覆盖率，对应仅 37.1% 的完全支撑率。
评估方法论：分阶段测量有助于定位失败环节，而不是只看端到端总分。

与既有脉络的关系

与已有相关卡片不重复陈述同一事实。若放入 LLM 评估脉络，本条新增的是临床问答场景中的“声明级引用可验证性”维度：强调高引用覆盖率未必等于高完全支撑率，可作为评估设计、医疗问答产品与可信 AI 讨论的补充材料。

原始材料

英文标题：Verifiable by Construction: Claim-Level Evaluation of Verbatim Citation in Clinical Question Answering
英文关键词（从标题/摘要提取）：LLMs; clinical question answering (QA); verbatim citation; claim-level evaluation; verifiable by construction
作者：Jiashuo Zhang, Yuling Chen, Yvonne Commodore-Mensah, Michael Oberst
arXiv ID：2609.15964v1
发布/更新：2026-09-14T17:53:51Z
分类：Primary category: cs.CL; Categories: cs.CL
Abstract URL：https://arxiv.org/abs/2609.15964v1
PDF URL：https://arxiv.org/pdf/2609.15964v1
来源：arXiv