知识卡片：ExtractBench Pro：文档抽取的长尾挑战

一句话结论

LlamaIndex 发布 ExtractBench Pro，用 100 份完全合成、源自真实客户长尾文档的样本来暴露 schema-based 文档抽取的盲点：相比原版 ExtractBench，LlamaExtract 各档位的 Value F1 下降 18.5 至 47.0 个百分点，说明当基准趋向饱和时，真正的难点转移到了“长尾”。

事件概述或研究问题

ExtractBench 于两个月前发布，用于衡量和改进基于 schema 的文档抽取；其经验被用于 LlamaExtract v2.5，连最低成本档位的值 F1 也超过 93%。但作者指出原基准存在盲区：一些真实客户带来的复杂文档与 schema 是原 370 份文档从未覆盖的，这正是“文档抽取的长尾”，也是抽取问题尚未解决的原因。

ExtractBench Pro 的定位就是针对这些真实长尾文档的扩展基准，覆盖六个新挑战，每个挑战都来自真实客户“打破”团队假设的方式。研究问题是：当文档依赖图表、内部术语、跨页规则、超长窄页等格式时，现有抽取系统（抽取 API、编码智能体、LlamaExtract 各档位）还能否适配。

方法/产品要点

• 数据合成：ExtractBench Pro 全部 100 份文档均由完全确定性管道从零生成。单个 seed 加配置文件即可组合合成内容与来自网络及客户真实困难文档的格式风格。合成化既匿名化了来源，又保证了覆盖取值抽取与 grounding 的高质量 ground truth 标注。
• 作者称在原版 370 份文档中有 45 份采用类似做法；此次在数据变换的保真度与多样性上有大幅提升，以代表长尾数据的挑战广度。合成文档跨页编织数据依赖、绘制复杂图表，并加入照片与多页拼接等感知挑战。
• 六个挑战类别（各类样本数见结果表格）：Document conventions（22）、House vocabulary（14）、House counting rules（12）、Drawn relations（20）、Charts inside documents（25）、Long chart sheets（7）。
  • Document conventions：文档某处包含图例或规则，影响其余部分如何解读（符号、单位、修订、过滤条件），文档越长越接近大海捞针。
  • House vocabulary：面对组织内部术语，需要先找到特定定义（例如什么算“bulk”），而非套用公共语料中的通用理解。
  • House counting rules：期望返回由多段信息聚合推导出的值，需要智能体读取 schema 与文档中的定义来计算计数与求和。
  • Drawn relations：组织架构、流程、电路等关系以图示线条表达，抽取值依赖线条而非字面值，可构成多步推理链。
  • Charts inside documents：图以人类友好的方式表达密集时间序列，需要精确视觉分辨细线与交点；schema 把连续刻度拆成与轴刻度对齐的区间，要求抽取器预测某点所在区间。
  • Long chart sheets：井log、时间-位置图等竖直数据序列被压缩进极长极窄的页面，打破视觉模型对宽高比的预期；schema 可能要求数百个点的取值。
• 评测设置：测试 12 个系统——4 个抽取 API、5 个编码智能体、LlamaExtract 三档（Cost-Effective、Agentic、Agentic Plus）的最新版本。与原版 ExtractBench 一致，每份文档限时 30 分钟，失败或超时者 Value 与 Grounded F1 记 0。
• 新指标：作者观察到许多文档上 Value F1 呈双峰分布——一部分抽取器接近 100%，另一部分在同一文档上分数远低，即“文档在被攻克之前都是难的”。因此新增“Value F1 为完美（100%）的文档比例”这一指标，以公平衡量通过的挑战比例。
• 附带总表维度：% Perfect、Value F1、Grounded F1，按全部挑战与六类挑战分列，并区分线性/对数坐标、LlamaExtract/编码智能体/抽取 API、30 分钟限制/无限制。

主要结果或产业意义

• 长尾确实很难：相比 ExtractBench，LlamaExtract 各抽取器的 Value F1 下降 18.5 至 47.0 个百分点，Grounded F1 下降 22.9 至 30.4 个百分点。部分抽取器在 ExtractBench Pro 上一份完美文档都没有。
• 低成本前沿：在每页低于 25 美分的区间，LlamaExtract 各档位在完美文档比例、Value F1、Grounded F1 上构成整体成本-性能前沿；只有在成本高得多时才会被最贵的编码智能体超越。但作者承认在 drawn relations 与 long chart sheets 上仍有巨大改进空间。
• 编码智能体强但贵：它们在 ExtractBench Pro 上取得最高的 Value F1 与 Grounded F1，但前沿图显示其按页烧 token 的速率（Opus 每页 41 美分、Astra 每页 95 美分）会击穿大多数真实文档抽取客户的预算，且 Claude 常常超过 30 分钟时限。
• 值抽取强不等于 grounding 强：LlamaExtract 通常两者都不错；而一些编码智能体和抽取 API 在从 Value F1 切换到更严格的 Grounded F1（要求正确标注取值在文档中的出处）时分数急剧下滑。
• 总体判断：给系统更多资源、更通用的工具和更强的通用智能，它就越能适配文档抽取的长尾。作者表示将把这一经验用于下一代 LlamaExtract。

为什么重要

• 它把“基准饱和”与“问题解决”区分开来：原 ExtractBench 分数逼近饱和，但客户真实文档仍能打破假设，说明基准覆盖度本身是瓶颈。
• 长尾的来源被具体化为六类机制（跨页规则、内部术语、聚合规则、图示关系、图内取值、超长窄页），为后续评测与产品设计提供了可操作的问题分解。
• 引入“完美文档比例”指标，回应了 Value F1 双峰分布带来的度量偏差，对如何比较抽取系统提供了方法论增量。
• 成本-性能前沿与 grounding 退化的发现，对产业选型有直接含义：编码智能体虽强但按页成本高且常超时；值抽取能力不能替代出处可追溯能力。
• 与既有卡片的关系：本卡片延续“长尾/长尾分歧”的研究脉络（如 ElephantBench 关注同一事实多版本时模型的认知短视、OpenLongTail 关注长尾驾驶数据生成式扩展），但增量在于把长尾落在文档抽取任务上，且长尾的界定来自真实客户文档的格式与规则复杂性，而非模型对分歧知识的记忆偏差；同时提供了确定式合成管道与新指标的组合方案。

局限与不确定性

• 六类挑战在 ExtractBench Pro 中的样本量不均（如 Long chart sheets 仅 7 份、Document conventions 22 份），按类别比较时的统计稳健性待核实。
• 结果表格的具体数值、各系统配置与版本细节在材料中未完整给出，待核实。
• 合成管道虽由真实文档格式风格驱动，但“真实长尾”与“合成长尾”之间的分布差距未在材料中量化，待核实。
• 30 分钟时限的设置依据、以及“无限制”条件下的对比结论，材料仅提及存在该对比，未给出结果细节，待核实。
• 数据集发布渠道仅提到“与原版 ExtractBench 相同渠道”，具体许可与访问方式待核实。

可用于图书/PPT/简报的角度

• “基准饱和不等于问题解决”：用 ExtractBench 分数攀升与 ExtractBench Pro 分数骤降的对比开场。
• “长尾的六种破法”：把六类挑战作为产品/研究路线的路线图，配以每类的一句客户式提问示例。
• “完美文档比例”：讨论评测指标如何塑造优化方向——当 F1 呈双峰，平均分掩盖了通过率。
• “成本-性能前沿”：用每页美分 vs Value/Grounded F1 的二维图说明编码智能体与低成本抽取器的取舍。
• “值抽取 ≠ grounding”：用一个抽取 API 或编码智能体在两项指标上落差巨大的例子，说明出处引用为何是独立能力。
• “确定性合成数据”：介绍用 seed + 配置生成高保真困难文档、同时获得精确 ground truth 的工程思路。

原始材料

• 标题：ExtractBench Pro: The Long Tail of Document Extraction
• 来源：LlamaIndex Blog（Product / Insights），2026 年 10 月 15 日
• 作者：Boyang Zhang、Justin Xu
• URL：https://www.llamaindex.ai/blog/introducing-extractbench-pro
• 关键词（英文原文）：ExtractBench Pro、ExtractBench、LlamaExtract、schema-based document extraction、long tail、Value F1、Grounded F1、% Perfect、coding agents、extraction APIs、grounding、synthetic documents
• 相关发布：ExtractBench（两个月前发布）、LlamaExtract v2.5、ExtractBench Pro 数据集（与原版 ExtractBench 相同渠道发布）