知识卡片：视觉文档理解中无需坐标或区域标签的证据归因

一句话结论

该研究提出在视觉文档理解中，用自然语言引用（quote）代替坐标框输出可大幅提升证据召回并降低归因幻觉，且通过无需区域标签的GRPO训练方法进一步提升了严格归因准确率。

事件概述或研究问题

可靠的视觉文档理解要求模型将每个答案归因到支持它的证据区域。现有基准和系统通过坐标接口（输出边界框坐标）来表示证据，但视觉语言模型（VLM）在此接口下即使答案正确也常识别错误区域——即“归因幻觉”（Attribution Hallucination）。本研究探究：该失败是否部分受限于模型通过坐标表达证据的能力。

方法/产品要点

• 坐标接口 vs. 语言接口：在验证后的双语CiteVQA子集上，比较了两种接口：
  • 坐标接口：模型输出边界框坐标
  • 语言接口：模型只输出文本（逐字引用证据），然后由多模态检索器通过版面解析器（layout parser）返回引用的页面区域；表格和图片通过其标题或注释引用。
• 评估模型：在6个开放VLMs上重复比较。
• 训练脚手架：基于引用+检索流程，引入GRPO配方：奖励函数使用裁判（judge）对黄金答案和检索区域裁剪区域的阅读结果，训练模型在不使用任何区域标签的情况下输出更好的证据，将8B骨干模型的严格归因准确率从22.4提升至33.8。

主要结果或产业意义

• 与坐标接口相比，证据召回从最多8分提升至26–47分，幻觉率大致减半，而答案质量变化很小。
• 使用所提训练方法，无需区域级标注即可显著提升归因准确性。
• 表明存在一条实用路径：无需坐标接口且无需昂贵的区域级监督即可改善归因。

为什么重要

该研究揭示了当前VLM在视觉文档理解中归因失败的一个关键原因——坐标表达能力的限制，并提出了更自然、成本更低的替代方案，对构建可解释的文档AI系统具有实际指导意义。

局限与不确定性

• 具体实验设置（如数据集规模、模型版本、GRPO超参数）待核实。
• 语言接口对版面解析器的依赖程度、解析器在复杂版面上的表现未提及。
• 训练方法是否推广到更长文档或不同文档类型待核实。

可用于图书/PPT/简报的角度

• “告别坐标框：如何用自然语言引用大幅提升AI文档归因能力”
• “无需昂贵标注：GRPO让8B模型归因准确率提升50%以上”
• “视觉文档理解中的归因幻觉：原因、测量与解决方案”

原始材料

• 英文标题：Evidence Attribution in Visual Document Understanding without Coordinates or Region Labels
• 英文关键词：foundation-model, visual document understanding, evidence attribution, hallucination, GRPO
• 来源：arXiv:2607.24651v1, https://arxiv.org/abs/2607.24651v1

注：本文基于元数据生成，因无法抓取论文正文，所有定量结果和具体方法细节均源自摘要及元数据，需进一步核实全文。