知识卡片：自监督比临床监督更能驱动医学基础模型表示趋同

一句话结论：医学影像编码器之间的表示趋同主要由自监督预训练目标驱动，而非模型规模或临床监督，且这种趋同虽不完美但足以支持线性分类器跨编码器迁移，保留约85%的性能。

事件概述或研究问题：医学影像编码器（来自不同研究组）常被认为可互换，前提是规模扩大和临床监督会使它们的表示汇聚到共享结构。然而，这种趋同是否真实、由什么导致、是否具有临床可用性均未经验证，且以往支持该主张的相似性度量不够可靠。本研究对此进行了受控剖析。

方法/产品要点：

• 分析范围：18个图像编码器和7个文本编码器，参数规模7M–27B，覆盖5种成像模态，包含来自6个数据集的650,982张胸部X光片。所有编码器均为开源权重，本地运行。
• 因果隔离实验：固定数据、架构和规模，仅改变训练目标（自监督、标签监督、图像-文本对比），并在合成模型中复现效果。
• 评估指标：表示对齐度（基于中心核对齐或相似性度量），以及跨编码器线性分类迁移性能。

主要结果或产业意义：

• 趋同程度有限但高于随机基线：自监督编码器对齐最高（胸部X光片40.4%），标签监督（21.1%）和图像-文本（3.3%）远低。
• 趋同不与模型规模相关（Spearman r=0.302, p=0.223），也不随能力增长。
• 属于模态内部趋同，未达到临床语言层面，且不能复现放射科医生对病例相似性的判断。
• 但线性分类器可从编码器A迁移到编码器B，并在5个未见的医院数据上保持约85%的编码器内性能。
• 结论：医学影像中的表示趋同由预训练目标设定，而非规模或临床监督继承；互操作性（interoperability）应针对该目标进行设计，并在共享几何结构最薄弱的患者亚组和临床判断处验证。

为什么重要：

• 挑战了“更大规模 + 临床数据自动带来表示趋同”的普遍假设，为未来医学基础模型的设计（如选择自监督目标、评估跨编码器迁移）提供了实证依据。
• 增量信息：与已有卡片（如MedPMC）不同，本工作直接对比不同训练目标对表示趋同的因果贡献，并量化了跨编码器迁移的实际损失。

局限与不确定性：

• 仅针对胸部X光片进行了主要定量分析，其他模态（CT、MRI等）结果待验证。
• 趋同度量（40.4%）基于特定相似性指标（待核实具体指标名称）；指标本身可能影响结论。
• 线性分类器迁移保留85%是在特定实验设置下（固定线性头、未见医院），更复杂任务（如分割、检测）的迁移效果待核实。
• 自监督目标的具体设计（如MAE、SimCLR、DINO等）是否导致差异，未在本摘要中详细说明。

可用于图书/PPT/简报的角度：

• 用“自监督 vs. 临床监督”的对比图表展示对齐度差距。
• 强调“互操作性不是自动获得的，而是需要设计”的工程启示。
• 以“规模≠趋同”作为反直觉的论证案例，讨论基础模型评估范式的改进方向。

原始材料：

• 论文标题：Self-supervision drives representational convergence in medical foundation models more than clinical supervision
• 英文关键词：self-supervised learning, medical foundation models, representational convergence, interoperability, chest radiography
• 来源：arXiv:2607.20274v1
• URL: https://arxiv.org/abs/2607.20274v1