知识卡片：基于视觉可归因同策略自蒸馏的强化学习

一句话结论

该论文提出“视觉可归因同策略自蒸馏”（Visual-Attribution Gating, VAG），通过对比“证据存在”与“证据退化”两种教师视图来筛选特权纠正，只保留能归因于视觉证据的 token 级更新，从而在六个视觉推理基准上优于 GRPO 与 OPSD 方法。

事件概述或研究问题

多模态可验证奖励强化学习（RLVR）提供可靠的任务级监督，但对视觉推理中错误定位的指导有限。同策略自蒸馏（OPSD）借助具备证据中心视觉视图的特权教师，提供稠密的 token 级纠正作为补充。然而这些纠正可能混杂语言先验、回答风格或特权视图本身带来的非视觉偏移。论文将这一现象形式化为“特权纠正污染”（privileged-correction contamination）：当某个 token 级纠正的更新方向无法一致地归因于特权视觉证据时，该纠正即被视为受污染；直接蒸馏受污染的纠正可能强化错误的 token 级更新。

方法/产品要点

• 提出“视觉可归因同策略自蒸馏”范式：以任务级 RLVR 监督为主干，叠加基于视觉证据的特权 token 级纠正。
• 实例化方法 VAG（Visual-Attribution Gating）：以验证器导出的优势（verifier-derived advantage）作为优化锚点。
• 对每个特权纠正，利用“证据存在”与“证据退化”两种教师视图之间的对比进行验证；仅接纳方向性上被该视觉对比支持的纠正，抑制不一致的残差。

主要结果或产业意义

• 在六个视觉推理基准上的实验显示，VAG 一致优于 GRPO 与 OPSD 方法，并取得新的平均性能最优结果（具体数值待核实）。
• 产业意义：为多模态大模型视觉推理后训练提供了一种更“可归因”的稠密监督筛选机制，有望减少因蒸馏噪声导致的错误强化。

为什么重要

• 相比既有 OPD-V（以模态平衡构造信任区域）与 Where-OPD（以空间定位引导与合成场景提供免标注信号），本条的工作把重点放在“纠正是否可归因于视觉证据”这一判别上，属于对 OPSD 脉络中“特权信息可能引入污染”问题的直接回应与增量补充。
• 为 RLVR 与自蒸馏结合时的监督信号质量控制提供了可操作的门控思路。

局限与不确定性

• 论文仅给出“在六个基准上优于 GRPO 与 OPSD”的结论，具体基准名称、模型规模、提升幅度与训练成本未在摘要中给出，待核实。
• “证据退化”视图的具体构造方式与门控阈值细节待核实。
• 是否存在对特权视图质量的敏感性、以及在其他多模态任务上的泛化性，待核实。

可用于图书/PPT/简报的角度

• 作为“RLVR + 自蒸馏”章节中“监督信号净化”案例：说明稠密 token 级纠正并非越多越好，需可归因筛选。
• 与 OPD-V、Where-OPD 并列，构成“OPSD 特权信息设计”三种路线对照：模态平衡 / 空间定位 / 视觉可归因门控。
• 用于讲解“特权纠正污染”这一概念的定义与判别方式，作为方法论插图。

与既有脉络的关系

本条延续 OPSD 系列（OPD-V、Where-OPD）对“特权信息如何设计”的探索，增量在于把问题从“提供何种特权视图”推进到“如何验证特权纠正的视觉可归因性”，并提出可操作的 VAG 门控。

原始材料

• Title: Reinforcement Learning with Visually Attributable On-Policy Self-Distillation
• arXiv ID: 2610.26856v1
• Authors: Shiao Xie, Siyu Chen, Jianwei Lv, Xiandong Li, Yujin Wang
• Published: 2026-10-19T17:59:56Z
• Primary category: cs.CV; Categories: cs.CV, cs.AI
• Abstract URL: https://arxiv.org/abs/2610.26856v1
• PDF URL: https://arxiv.org/pdf/2610.26856v1
• Keywords: multimodal RLVR; on-policy self-distillation; privileged-correction contamination; Visual-Attribution Gating; visual reasoning