知识卡片：ParseBench——首个面向AI代理的文档解析基准

一句话结论

ParseBench是一个包含约2,000页人工验证企业文档、超过167,000条测试规则的开源基准测试，评估AI代理文档解析的五个关键维度，发现LlamaParse Agentic模式以84.9%整体得分领先，但图表解析仍是主要难点。

事件概述或研究问题

现有文档解析基准（如OmniDocBench）存在两个不足：1）主要使用学术论文或网络内容，缺少企业文档（如保险、金融、政府文件）；2）使用文本相似度指标（BLEU、ROUGE等）无法捕捉语义错误（如表格标题错位、图表被降级为原始OCR文本、删除线被忽略）。为此，LlamaIndex推出了ParseBench，专门衡量文档解析的语义正确性，确保解析输出保留足够结构和含义以支持下游代理决策。

方法/产品要点

数据集：约2,000页来自真实公开企业文档（保险、金融、政府等），经自动标注和人工验证两轮流程生成ground truth。
评估维度：五个能力维度——1）表格（使用TableRecordMatch新指标，以记录集合方式评估，容忍无害列重排但严惩关键错误）；2）图表（每图标注最多10个抽查数据点，有确切值标签的必须精确匹配，从轴读取的允许1%容差）；3）内容忠实度（通过167K+条规则检测遗漏、幻觉、阅读顺序错误）；4）语义格式（识别删除线、上标、粗体、标题层级等携带含义的格式）；5）视觉定位（评估解析元素能否追溯到页面源位置，结合定位、分类、归因）。
评测方法：14种方法，涵盖通用VLM（GPT-5 Mini、Haiku 4.5、Gemini 3 Flash、Qwen 3 VL、Dots OCR 1.5）、专用文档解析器（Textract、Azure Document Intelligence、Google Cloud Document AI、Reducto、Docling、Extend、LandingAI）以及LlamaParse（成本效益模式和代理模式）。

主要结果或产业意义

整体表现：LlamaParse Agentic模式以84.9%整体得分超过所有其他方法；成本效益模式（<0.4¢/页）在较低成本下与Gemini最小思考模式相当。
关键发现：
- 图表是最大分水岭，仅4个提供者得分超过50%，大多数专用解析器低于6%。
- 内容忠实度基本解决，最优方法约90%，但仍有10%页面存在有意义遗漏或幻觉。
- 格式广泛被忽略，多数解析器将删除线、上标、粗体视为装饰并剔除，得分范围1.0%（Docling）至85.2%（LlamaParse Agentic）。
- 视觉定位方面，通用VLM（GPT-5 Mini、Haiku）得分低于8%，而基于布局检测的传统文档解析器得分55-80%。
质量-成本权衡：向VLM投入更多计算收益递减，Gemini从最小思考到高思考提升约5分但成本4倍；LlamaParse处于OCR前沿，代理模式约1.2¢/页。

为什么重要

在AI代理需要正确读取企业文档（如保险索赔审批、财务报告分析、合同条款提取）的背景下，现有OCR基准无法衡量代理所需的语义正确性。ParseBench提供了针对真实企业文档、多维度的严格评估，帮助开发者和企业选择最适合的解析方案，并暴露现有方法在图表、格式、视觉定位等方面的不足。

局限与不确定性

材料未提及明显局限。待核实。

可用于图书/PPT/简报的角度

企业AI代理部署时，文档解析是关键第一步，ParseBench提供了选型参考。
图表解析仍是技术瓶颈，值得重点投资。
语义格式（如删除线、上标）的保留对合同、财务等场景至关重要。
质量-成本权衡分析：LlamaParse在高性价比方面突出。

原始材料

URL: https://www.llamaindex.ai/blog/parsebench
Track: academic
Topics: benchmark-evaluation, agent
Manual title: Introducing ParseBench: The First Document Parsing Benchmark for AI Agents
英文标题: ParseBench: The First Document Parsing Benchmark for AI Agents
英文关键词: benchmark, document parsing, AI agents, OCR, tables, charts, content faithfulness, semantic formatting, visual grounding, LlamaParse