知识卡片：SALT——空间自适应标签引导温度：利用冻结自蒸馏特征进行CT病灶检测
英文标题：Lesion Detection in CT with Frozen Self-Distilled Features: SALT, a Spatially Adaptive Label-Guided Temperature
关键词：SALT; self-distillation; lesion detection; CT; foundation model
一句话结论
摘要未提供具体性能数值，整体结论待核实。SALT 的核心思路是：在自蒸馏预训练阶段，利用弱边界框标注定义一个空间区域，仅在该区域内锐化教师温度并提高掩码补丁损失权重，从而让冻结编码器在下游无需任何标签即可用于 CT 病灶检测。
事件概述/研究问题
现有自监督预训练目标在空间上是均匀的：教师温度和每个补丁的损失权重在图像各处完全相同，因此只有几个补丁大小的病灶对训练信号的贡献并不大于周围正常实质。已有工作偏向于把模型输入裁剪/导向到标注区域，这改变了模型“看到什么”，但并未在目标函数层面增加对病灶的建模压力。SALT 尝试直接对自蒸馏的目标进行空间自适应调节，使弱标注区域在预训练中获得更强监督信号，同时保持下游“冻结编码器、无标签、无条件化”的使用方式。
方法/产品要点
- 仅在预训练阶段使用弱边界框（box-derived labels）标签。
- 在编码器的补丁网格上定义一个紧凑区域。
- 在该区域内：
- 教师模型的 softmax 温度被锐化（sharpened）；
- 掩码补丁损失被提高权重。
- 除上述改动外，目标函数、掩码策略和中心化统计量保持不变。
- 下游使用时，编码器是一个普通特征提取器，不依赖标签或条件化。
- 评估设置：
- 冻结编码器，仅训练轻量级多深度 CenterNet 风格检测头；
- 在四个 CT 队列上进行三维病灶检测；
- 与一个架构、预训练数据、计划和标签引导裁剪完全相同、但没有目标条件化的骨干进行机制隔离对比；
- 报告补丁级可分性、按队列和病灶尺寸分层的三维检测、框质量；
- 还包含一个无检测器探针：单个冻结补丁嵌入可在不配准、无掩码、不微调的情况下，在随访扫描中重新识别病灶。
- 由于条件化通过空间指示而非标签语义表达，该公式可接受任意弱空间标注；文中以病灶检测为实例进行验证。
主要结果或产业意义
摘要未给出具体检测精度、提升幅度或与基线对比的数值，因此主要结果待核实。若方法有效，则意义在于：在不改变模型结构、不增加下游推理负担的前提下，仅通过预训练目标中的局部温度调整，即可让冻结自蒸馏特征更有利于小病灶检测。这可能为医学影像基础模型利用弱监督信息提供一种轻量且通用的范式。
为什么重要
本条属于 foundation-model 方向，延续了“冻结特征 + 轻量探针/检测头”的既有脉络（如已有卡片中 Evo 2 探针检测宏基因组信号、π0.7 展现可引导组合能力），但针对的是医学 CT 病灶检测。增量信息在于：SALT 不是改变输入视图或裁剪策略，而是在自蒸馏目标的内部引入空间自适应温度，使弱标注直接参与预训练目标函数，同时下游仍然完全无标签。这种“只改目标、不改输入”的机制，可能更有利于保留预训练表征的通用性。
局限与不确定性
- 依赖预训练时可用的弱边界框标注；若没有该类标注，则无法应用。
- 下游检测需要轻量 CenterNet 风格头部，并非完全“无训练”应用；只有编码器是冻结的。
- 摘要未报告计算开销、预训练数据规模、与强基线的详细对比等信息，均待核实。
- 只在 CT 病灶检测上验证，能否泛化到其他模态或任务待核实。
- 使用了四个 CT 队列，但具体数据集、病灶类型和标注来源待核实。
可用于图书/PPT/简报的角度
- 医学影像基础模型的弱监督新思路：从“裁剪病灶给模型看”到“让目标函数对病灶更敏感”。
- 冻结自蒸馏特征 + 空间自适应温度：一个公式简洁、可扩展到任意弱空间标注的方法。
- 面向医学影像 AI 的范式启示：弱标签可以在预训练阶段发挥作用，而下游无需任何标签。
原始材料
- 来源：arXiv（未能抓取正文，本卡片基于已知元数据与摘要生成，细节待核实）
- 英文标题：Lesion Detection in CT with Frozen Self-Distilled Features: SALT, a Spatially Adaptive Label-Guided Temperature
- URL: https://arxiv.org/abs/2608.05100v1
- Track: academic
- Topics: foundation-model