知识卡片：效用约束下提升合成临床基准的现实性

一句话结论

现有实用性检查不足以证明合成临床基准的结构现实性；应将基准修订视为“效用约束下的现实性提升”，在保持运营效用下限的同时显式优化现实性。

事件概述或研究问题

面向企业 AI 代理的合成临床基准即使通过现有效用检查，仍可能结构上不现实，在医疗隐私敏感场景中尤难获取运营数据。论文研究如何在不断已有下游效用检查的前提下改进这类基准。

方法/产品要点

• 将基准修订形式化为“效用约束的现实性改进”：数据修改应提高现实性，同时保持在运营效用下限之上。
• 在 care-gap 基准上实例化：使用 Synthea 生成患者，经过演示电子健康记录（EHR）工作流，再通过与运营数据相同的下游流水线处理。
• 现实性通过缺失结构、简洁性、结构合理性、人群对齐四个维度度量。

主要结果或产业意义

• 基线基准极度“薄”：采样对缺失率 79.44%，仅 12.75% 的行可操作（actionable），38.94% 的患者有零个可操作措施，前三 token 集中度达 100.0%。
• 两种确定性修订改进了上述指标，同时保持在当前效用下限之上；而一种朴素的加厚（densification）对照则保留了不现实的模板化。
• 内部基准现实性与对聚合运营参考的来源保真度是相关但不同的目标。

为什么重要

该结果表明合成基准质量应被显式优化，效用只是约束之一，而非现实性的充分证据。它与既有“聚合指标掩盖逐样本风险”的发现形成呼应，但增量在于提出了效用约束下的现实性优化框架，而不仅仅是指出指标失效。

局限与不确定性

材料未提供完整方法细节，例如效用下限的具体数值、现实性指标的计算方式、两种确定性修订的具体算法等，均需查阅原文核实。

可用于图书/PPT/简报的角度

• “能通过测试不等于数据真实”：用合成临床基准案例说明单一代用指标的风险。
• 隐私敏感场景下合成数据评估需要多维现实性指标，而非只看下游效用。
• 对 AI 代理评估基准的构建者：应将效用视为约束条件，而非终点目标。

与既有脉络的关系

已有卡片（如“鲁棒性的幻觉”）指出聚合准确率掩盖了逐样本不稳定；本条延续了“单一指标可能掩盖真实风险”的主题，但聚焦于合成临床基准数据本身的结构现实性，提出在效用约束下显式优化现实性，并给出具体实例与度量维度。

原始材料

• 英文标题：Improving the Realism of Synthetic Clinical Benchmarks Under Utility Constraints
• 英文关键词：synthetic clinical benchmarks; utility constraints; realism; care-gap benchmark; Synthea; healthcare AI agents; EHR workflows
• 原始来源：arXiv:2608.06265v1，URL: https://arxiv.org/abs/2608.06265v1