知识卡片:PlotGround:基于真实科学图表与源数据的绘图数字化基准
一句话结论
PlotGround 用真实科学图表与作者源数据构建绘图数字化基准,发现多模态模型在 ±5% 相对误差容差下最佳准确率为 87.5%,但容差收紧到 ±2% 后所有模型下降 11–24 个百分点;在同一图-源表配对结构中,向 coding agent 提供源表而非图表,可把准确率从 90.0% 提高到 97.4%,并将成本降低 72%。
事件概述或研究问题
科学图表常编码定量结果,但这些结果未必以可机读形式存在,因此准确的 plot digitization 对验证和复用已发表发现很重要。现有基准多依赖合成图表,或只覆盖有限图表类型,导致“当前模型从真实科学图表恢复绘制值的准确度如何”仍不清楚。
作者提出 PlotGround,一个自动构建绘图数字化基准的 pipeline:把图表映射到源表,识别可重建的 panel,并生成带源数据参考值的定量问题。基于此构建 PlotGround-1k:来自 1,066 篇 bioRxiv 预印本、经人工验证的 1,119 个问题。研究评估了 16 个多模态模型。
方法/产品要点
- PlotGround pipeline:图表到源表的映射、可重建 panel 识别、带 source-grounded reference values 的定量问题生成。
- PlotGround-1k:1,119 个问题,来自 1,066 篇 bioRxiv 预印本,human-verified(人工验证)。
- 评测对象:16 个多模态模型。
- 评测设计:使用相对误差容差;利用配对图-源表结构,比较同一数值从图表和源表中被恢复的准确度。
- 对比实验:向 coding agent 提供源表而非图表,观察准确率与成本变化。
- 论文类别:cs.CL、cs.CV。
主要结果或产业意义
- 在 ±5% 相对误差容差下,最佳多模态模型达到 87.5% 准确率。
- 把容差收紧到 ±2% 后,所有模型准确率下降 11–24 个百分点,说明“近似视觉阅读”和“精确定量恢复”之间存在明显差距。
- 在配对图-源表结构中,给 coding agent 提供源表而不是图表,准确率从 90.0% 升至 97.4%,成本降低 72%。
- 产业意义:科研图表数字化、元分析自动化、结果复用和可复现性审计中,容差设置会显著影响对模型能力的判断;若源表可得,优先使用源表可能比让模型直接读图更准确、更便宜。
为什么重要
- 该工作把绘图数字化评测从合成图表推向真实科学图表和作者源数据,更贴近科研复用与验证场景。
- 结果提示:模型“大致读对图”不等于“数值可被严格复用”;报告绘图数字化能力时,需要明确误差容差。
- 对科研 agent 设计有直接启示:图-源表配对不仅能做评测,也能指导工作流选择,例如优先检索和解析源数据表,再回退到视觉读图。
- 与既有脉络的关系:已有“Data Analysis in the Wild”类卡片关注真实世界数据分析整体难度;本条增量在于聚焦真实科学图表中的定量值恢复,并引入图-源表配对、容差敏感性,以及源表替代图表对 coding agent 的影响。
局限与不确定性
- 本卡片仅依据材料中的摘要与元数据,未基于 PDF 全文展开。
- 16 个多模态模型的具体名单、问题类型分布、图表类型分布、人类验证协议与一致性指标:待核实。
- Pipeline 的误映射率、panel 识别错误率、问题生成质量:待核实。
- ±5% 与 ±2% 容差结果是否按图表类型、领域、模型家族分层:待核实。
- coding agent 的具体实现、成本计算口径、源表获取条件:待核实。
- 结果是否可泛化到 bioRxiv 之外的其他学科、期刊和图表风格:待核实。
- 是否经过同行评审、最终发表状态:待核实。
可用于图书/PPT/简报的角度
- 从合成图表到真实科学图表:绘图数字化评测为什么需要换基准。
- “差不多”与“够精确”:用 ±5% 到 ±2% 的容差变化说明 AI 读图的定量风险。
- 源数据优先:论文作者公开源表如何提升科研 AI 代理的准确率并降低成本。
- 图-源配对审计:面向可复现性和元分析的自动化检查工作流。
- Benchmark 自动构建:如何用真实图表和源数据规模化生成定量评测问题。
- 科研 agent 工作流:先找源表,再读图;把视觉估计作为回退方案。
原始材料
- 英文标题:PlotGround: Grounding Plot Digitization in Real Scientific Figures and Their Source Data
- 英文关键词(据标题与摘要提取):plot digitization; scientific figures; source data; benchmark; multimodal models; bioRxiv; relative-error tolerance; coding agent
- 原始来源:https://arxiv.org/abs/2610.06825v1
- PDF 来源:https://arxiv.org/pdf/2610.06825v1
- arXiv ID:2610.06825v1
- 作者:Yaohui Zhang, Binxu Li, Haoyi Duan, Jiacheng Miao, Yixin Wang, Xinran Du, Chenyue Li, Shilong Liu, Kevin Wu, James Zou
- 标注发布时间:2026-10-05T17:57:19Z;更新时间:2026-10-05T17:57:19Z
- Primary category:cs.CL
- Categories:cs.CL, cs.CV
- 用户给定 Track/Topics:academic / foundation-model
发现内容有误?
免登录提交,管理员审核并完成修正后才会公开修订说明。
值得关注
该工作把绘图数字化评测从合成图表推向真实科学图表和作者源数据,更贴近科研复用与验证场景。 结果提示:模型“大致读对图”不等于“数值可被严格复用”;报告绘图数字化能力时,需要明确误差容差。 对科研 agent 设计有直接启示:图-源表配对不仅能做评测,也能指导工作流选择,例如优先检索和解析源数据表,再回退到视觉读图。 与既有脉络的关系:已有“Data Ana…
相关主题
对应的教材知识点
教材知识点匹配尚未完成。