知识卡片：ContractScrub：法律合同终审基准

• 一句话结论：ContractScrub 是首个专门评估大语言模型（LLM）对法律合同进行终审（scrubbing）能力的基准；测试显示前沿模型在该任务上表现意外地差，仅一个模型达到 0.75 宏平均召回率，说明现有模型的实际能力与通用基准所暗示的水平存在明显落差。

• 事件概述 / 研究问题：法律工作高度依赖大量文本处理，被视为最可能受 LLM 冲击的领域之一。合同终审——对交易协议进行最终审查以发现错误和不一致——是一项常规但繁琐、需要对长文档保持细致关注的工作，且与前沿 LLM 的长上下文推理、一致性检查和命名实体识别能力天然契合。然而此前没有正式评估 LLM 执行合同终审的基准。ContractScrub 填补了这一空白。

• 方法/产品要点：

  • ContractScrub 是第一个用于评估合同终审能力的基准（据摘要）。
  • 由经验丰富的律师手工制作合同，覆盖多种错误类别，如定义术语误用、错误引用、语言不一致等（据摘要）。
  • 任务形式为合同“scrubbing”，即对交易协议进行最终审查，查找错误和不一致（据摘要）。

• 主要结果或产业意义：

  • 前沿模型表现“令人惊讶地差”，仅一个模型达到 0.75 的宏平均召回率（具体模型名称待核实）。
  • 这些模型在看似相关的通用基准上表现强劲，但在合同终审任务上暴露实际局限（据摘要）。
  • 产业意义：合同终审具有经济价值和自动化潜力，但当前模型尚不足以支撑可靠的自动终审；需要针对性更强的领域基准来度量真实世界影响。

• 为什么重要：

  • 这是第一个专门针对合同终审的基准，为衡量 LLM 在法律合同审查领域的实用能力提供了标尺。
  • 增量信息：与已有的国家标准文件审查基准 GB/T-Bench 不同，ContractScrub 聚焦合同终审（scrubbing），强调长文档一致性检查、定义术语误用和引用错误，而非结构化条款审查。它进一步证明：即使模型在通用能力评测上表现强，领域特定基准仍能揭示明显短板。

• 局限与不确定性：

  • 本卡片仅基于 arXiv 元数据，未能抓取正文；所有细节来自摘要，具体实验设置、模型清单、错误类别细节和评估指标解释待核实。
  • “仅一个模型达到 0.75 宏平均召回率”中，该模型的身份以及其余模型的具体分数未在摘要中透露，待核实。
  • 基准中手工合同的规模、多样性以及是否覆盖真实合同类型，待核实。

• 可用于图书/PPT/简报的角度：

  • 用“大模型法律文本审核：看似简单，为何翻车？”切入，引入 ContractScrub 结果。
  • 展示领域专用基准的必要性：通用基准的高分不能代表专业任务的可用性。
  • 讨论 LLM 在长文档、一致性检查、专业知识结合方面的瓶颈。

• 原始材料：

  • 英文标题：ContractScrub: A benchmark for final review of legal contracts
  • 英文关键词：contract scrubbing; benchmark; legal contracts; large language models; evaluation（待核实自原摘要）
  • 来源：arXiv:2608.20204v1, https://arxiv.org/abs/2608.20204v1