CVPD(Contrastive Counterfactual Visual Process Distillation)提出一种完全自包含的多模态大语言模型视觉自蒸馏方法:通过“放大某个区域会改变并锐化模型答案分布,而移除该区域几乎不改变整图行为”的反事实盲区,从模型自身响应中生成密集的逐 token 对比监督,不依赖外部标注、工具或更强模型。论文报告,在…
值得关注:CVPD 不是用粗粒度奖励分数,而是用逐 token 的密集监督,把“模型看到了但没稳定用上”的信息显式转化为训练信号。 “感知先于监督”强调:在引入外部监督之前,先利用模型自身的感知不一致性进行自我改进。 论文将反事…