知识卡片:SADe:面向弱支撑标注的少样本分割稀疏原子支持去污染
英文标题:SADe: Sparse-Atom Support Decontamination for Few-Shot Segmentation with Weak Support Annotations
英文关键词:few-shot segmentation; weak support annotations; sparse autoencoder; support decontamination
一句话结论
SADe 是一种预测器无关的支持去污染层,通过稀疏自编码器(SAE)的原子激活对比来估计弱标注区域中斑块的可信度,从而生成更干净的支撑掩码,并在多种弱标注形式下显著提升少样本分割(FSS)的查询分割质量。
事件概述
少样本分割通常假定支撑标注为干净的像素级掩码,但在实际应用中,支撑监督常使用边界框、涂鸦、粗掩码或伪掩码。这些弱标注可能包含与目标纹理相似的干扰物和背景上下文,在查询预测前污染了类别原型或视觉提示。本文提出 SADe,一种无需查询信息的支持去污染层,可插入任意 FSS 模型,提升其对弱标注的鲁棒性。
方法/产品要点
- 核心思想:利用稀疏自编码器(SAE)的原子证据——弱支撑区域内外原子激活的对比提供因子级可信度线索,而密集相似度可能同时响应目标和纹理相似背景。
- 轻量路由器:将原子证据、密集相似度和episode统计量组合,预测每个支撑斑块的可信度,生成清洁的支撑掩码。
- 训练与部署:仅在 FSS-1000 合成的弱支撑 episode 上训练一次,路由器冻结后可用于所有目标评估。生成的掩码可独立预测,也可通过原生支撑接口提供给异构 FSS 模型,不改变查询侧推理。
主要结果或产业意义
- 独立预测:在匹配弱标注协议下,SADe 在 9 种独立 prompt-shot 组合中的 6 种取得最高查询 mIoU。
- 与 SAM3 对比:与相同的 ProMi 查询头,在紧框下 mIoU 差距在 0.03 以内;在 box-r2 和 box-r4 下分别超越 11.17 和 19.49 点。
- 作为插件:在 4 个冻结下游模型和 2 个数据集上的 72 组框型对比中,SADe 在 70 组中优于原始支撑。
- 点/涂鸦提示:平均性能与原始支撑基线接近。
- 消融实验:原子去除控制实验表明原子证据提供了超出密集相似度的可信度信息。
为什么重要
- 解决了弱支撑标注(框、涂鸦、粗掩码等)在实际 FSS 部署中的关键污染问题,而现有方法多假设干净支撑。
- 模型无关的插件设计使其可即插即用于现有 FSS 方法,无需修改查询侧推理,降低了迁移成本。
- 与已有相关卡片的区别:本卡片关注弱标注下的少样本分割支持去污染,与视频生成中的稀疏注意力(FVAttn)或长程智能体(CompactionRL)主题不同,提供了 FSS 领域的新增量。
局限与不确定性
- 所提方法依赖合成的弱支撑 episode 进行训练,真实场景中的弱标注分布可能与合成数据有差异,泛化性待核实。
- 在点提示和涂鸦提示下,平均性能仅与原始支撑基线接近,未显示显著优势。
- 路由器冻结后是否能在新类别或新数据集上保持最佳性能,论文未详细说明跨域迁移实验。
可用于图书/PPT/简报的角度
- 介绍少样本分割在实际部署中面临的弱标注问题及其解决方案。
- 展示稀疏自编码器在图像分割中作为可信度判别工具的新应用范式。
- 作为“模型无关插件”提升系统鲁棒性的典型案例,适合讲解模块化设计思想。
原始材料
- arXiv ID: 2607.24706v1
- URL: https://arxiv.org/abs/2607.24706v1
- Authors: Hang Xing, Guangjun Liu, Yan Xia, Xueming Ding
- Published: 2026-07-27