知识卡片：IndicIPR-QA——印度知识产权法抽取式问答基准

一句话结论

IndicIPR-QA 是覆盖印度全部七部知识产权法案的抽取式问答基准，包含 4,462 个问答对；在该基准上，BM25 的 token 级 F1 仅 20.21，而微调后的 InLegalBERT 达到 85.02，说明单纯词匹配远不足以应对此类法律问答。

事件概述或研究问题

• 针对法定文本的法律问答（Legal QA）要求答案精确且以法律条文为依据，在低资源、法律体系复杂的场景下尤为困难。
• 作者指出，据目前所知，尚无现有抽取式问答基准能从全部七部印度知识产权（IPR）法案的法定文本中给出精确答案片段。
• 为此提出 IndicIPR-QA，用于印度 IPR 法律的抽取式问答评测。

方法/产品要点

• 数据规模：4,462 个问答对，来自七部法案的 1,116 个法定上下文。
• 构建方式：问题与答案由 GPT-4o 生成。
• 质量验证：九项自动质量检查、单模型与多模型 LLM 评估，以及 200 对问答的人工审计。
• 数据划分：采用章节级（section-level）划分，避免训练/验证/测试集之间出现源上下文重叠。
• 分析维度：答案片段长度、词汇重叠度、多子句结构，并在整体语料与各单部法案层面分别考察。
• 评测设置：BM25 与微调的 InLegalBERT 在统一的滑动窗口推理协议下对比。

主要结果或产业意义

• BM25 的 token 级 F1 为 20.21；微调 InLegalBERT 达到 85.02。
• 两者之间的巨大差距表明，简单的词面匹配不足以回答这些法律问题。
• 性能在七部法案之间存在差异，说明不同法案的答案抽取难度差异显著。

为什么重要

• 为印度 IPR 法律这一低资源法律领域提供了带精确答案片段的抽取式问答评测集，填补了跨全部七部 IPR 法案的基准空白。
• 章节级划分策略有助于减少上下文泄漏带来的评测虚高，对法律问答基准设计具有参考价值。
• 结果提示：法律问答系统的效果高度依赖领域适配的预训练模型（如 InLegalBERT），而非通用检索式基线。
• 与既有卡片的关系：已有卡片分别涉及主动智能体基准（UniClawBench）、临床时序问答推理（ClinPRISM）和工程图纸合规 RAG（PlanSightRAG），本条则聚焦低资源法律文本的抽取式问答基准，属于评测基准与法律 NLP 方向的新增脉络，未重复上述事实。

局限与不确定性

• 问答对由 GPT-4o 生成，虽经自动检查、LLM 评估与 200 对人工审计，但人工审计规模相对全量数据较小，整体标注质量边界待核实。
• 仅报告 BM25 与 InLegalBERT 两类方法的结果，其他模型或方法的对比情况待核实。
• 各法案间性能差异的具体原因（条文结构、答案长度分布等）在摘要中未展开，待核实。
• 数据集与代码的公开获取方式待核实。

可用于图书/PPT/简报的角度

• 作为“低资源法律 NLP 基准”案例：说明领域专用预训练模型相对词法检索基线的显著优势。
• 作为“合成数据+多层质检”流程案例：GPT-4o 生成 + 自动检查 + LLM 评估 + 人工抽审的组合范式。
• 作为“基准设计防泄漏”案例：章节级划分如何避免训练/测试上下文重叠。
• 作为“跨法案难度不均衡”案例：提示法律问答系统落地需按法案/领域分别评估。

原始材料

• Title: IndicIPR-QA: A Benchmark for Extractive Question Answering on Indian IPR Laws
• Authors: M. Mohaiminul Islam, Muhammad Abulaish
• arXiv ID: 2610.40518v1（Primary category: cs.CL）
• Published/Updated: 2026-10-29T17:26:39Z
• Abstract URL: https://arxiv.org/abs/2610.40518v1
• PDF URL: https://arxiv.org/pdf/2610.40518v1