知识卡片：当适配带来伤害：MedSAM微调中的表征漂移与分布外失败

英文标题： When Adaptation Hurts: Connecting Representational Drift to OOD Failures in MedSAM Fine-Tuning

英文关键词： foundation models; medical image segmentation; MedSAM; fine-tuning; LoRA; visual prompt tuning; out-of-distribution generalization; representational drift; Centered Kernel Alignment (CKA)

一句话结论

在 MedSAM 上做下游适配时，模型在分布内（IN）和近分布（close-OOD）数据上性能提升，但在远分布（far-OOD）数据上经常变差；全量微调是综合权衡最佳的选择，仅编码器 LoRA 是更强的参数高效替代，且 far-OOD 失败与解码器表征漂移高度相关；对提示做随机 0-100 像素抖动可获得更稳健、性能更好的模型。

事件概述或研究问题

这篇 arXiv 论文系统研究提示式医学图像分割基础模型 MedSAM 在异构医学影像基准上的泛化表现。作者用 ISIC 2018 数据集训练/适配模型，在干净和逐渐加噪的提示下测试分布内数据、近分布数据（PH2 皮肤镜）和远分布数据（BUSI 乳腺超声、CBIS-DDSM 乳腺X线摄影），核心问题是：不同微调策略会如何影响 OOD 泛化？表征漂移在其中扮演什么角色？

方法/产品要点

基座模型：基于提示的 MedSAM。
训练数据：ISIC 2018（国际皮肤影像协作挑战数据集）。
适配策略共 6 种：全模型 LoRA、仅编码器 LoRA、浅层视觉提示微调（shallow VPT）、深层视觉提示微调（deep VPT）、仅解码器微调、全量微调。
评估设定：在干净提示和逐渐加噪的提示下，评估分布内、近分布（PH2）和远分布（BUSI、CBIS-DDSM）数据。
分析工具：使用 CKA（Centered Kernel Alignment，居中核对齐）比较表征相似性，检查编码器/解码器表征漂移与 OOD 失败之间的关系。
鲁棒性增强：对提示施加随机 0-100 像素抖动。

主要结果或产业意义

适配能提升分布内和近分布数据表现，但常常降低远分布数据表现。
全量微调在整体权衡上最佳。
仅编码器 LoRA 是最强的参数高效替代，在 far-OOD 偏移下优于标准 LoRA 和 VPT。
CKA 分析显示：far-OOD 退化与解码器表征漂移强相关；仅看编码器相似性不足以解释鲁棒性。
对提示施加随机 0-100 像素抖动，能带来更鲁棒且性能更好的模型。
可衍生的产业含义：医疗影像 AI 在微调基础模型时，不能只看分布内指标；需要同时考虑提示噪声暴露、域偏移和表征保存。

为什么重要

这项研究给“微调基础模型总能提升下游任务”的直觉提供了反例：适配可能伤害 far-OOD 表现。与已有关于分布漂移的卡片相比，本文的增量在于：在医学影像分割这一重要场景中，系统比较了 6 种适配策略，并用 CKA 将解码器表征漂移定位为 far-OOD 失败的相关因素，同时给出了一个参数高效且更鲁棒的实操选择——encoder-only LoRA。

与既有脉络的关系

已有卡片「时序图生成中分布漂移的校正可能性」讨论了基于观测校正分布漂移的不可能性；本文则在“分布漂移”主题下提供医学影像基础模型微调的新证据：适配可能引入或放大解码器表征漂移，导致 far-OOD 失败。两者共同提示：分布漂移的校正与鲁棒适配是跨任务、跨模态的普遍挑战。

局限与不确定性

摘要未报告 6 种策略的具体性能数值、参数量、训练成本或置信区间；这些定量细节待核实。
CKA 揭示的是“强相关”而非严格因果，解码器漂移是否直接导致 far-OOD 失败仍需进一步实验验证。
实验组合为 ISIC 2018 → PH2/BUSI/CBIS-DDSM，结论能否推广到其他数据集、模态或分割基础模型待核实。
随机 0-100 像素提示抖动的具体实现方式、适用提示类型和其作用机制在摘要中未展开，待核实。

可用于图书/PPT/简报的角度

反直觉视角：当微调让模型变差——基础模型适配的“黑暗面”。
诊断方法视角：用 CKA 看模型内部表征，为什么只看编码器不够？
参数高效微调视角：LoRA 也有不同做法，encoder-only LoRA 可能更鲁棒。
医疗 AI 落地视角：提示噪声鲁棒性不可忽视，简单的随机抖动可能带来收益。

原始材料

英文标题：When Adaptation Hurts: Connecting Representational Drift to OOD Failures in MedSAM Fine-Tuning
arXiv ID：2608.21300v1
作者：Marko Haralović, Sounic Akkaraju, Carlo Baretta, Vasil Zapryanov, Alexia Briassouli
提交/更新：2026-08-21（v1）
分类：cs.CV
来源 URL：https://arxiv.org/abs/2608.21300v1
代码 URL：https://github.com/ImSounic/medsam-vpt