知识卡片：真实标注如何塑造检索分数——乳腺病变 RAG 系统的证据感知评估

一句话结论

在乳腺病变管理文献的 RAG 系统中，检索分数高度依赖标注覆盖范围：扩充证据标注能提高被识别的证据数量与目标块数量，却不改变检索排名，说明评估结果对“真实标注”的构造方式敏感。

事件概述或研究问题

该研究描述了一套“证据感知”（evidence-aware）的临床检索增强生成（RAG）评估协议，针对乳腺病变管理文献，核心问题是检索分数对标注覆盖度（annotation coverage）的依赖。研究使用 18 篇文档构成的语料库和 18 条查询的开发基准，每篇文档对应一个 Yes/No 或 WH 问题。

方法/产品要点

• 检索组合：稠密嵌入（dense embeddings）+ BM25 + cross-encoder 重排序（reranking）。
• 参数扫描：块大小 128 至 1024 tokens，重叠 0 至 20%，评估四种检索器配置。
• 相关性定义：以证据片段（evidence spans）映射到所有包含它的块，重叠块若含等价证据则视为相关。
• 检索指标：R-Precision、Recall@K、MRR、nDCG@K。
• 生成评估：在 512-token 索引、K=1 至 5 上，使用 DeepEval 声明级（claim-level）指标，以 deepseek-v4-pro 作为 LLM 评判者，并配合 BLEU/ROUGE 指标。

主要结果或产业意义

• 选定的混合检索器（384-token 块、20% 重叠）在 18 条查询中的 17 条里，将可接受证据检索到前三结果。
• Recall@3、R-Precision、MRR@3、nDCG@3 均达到 0.94。
• 真实标注整理（ground-truth curation）将证据片段从 25 增至 37，可接受块目标从 36 增至 51，但检索排名不变。
• 结论指出 cross-encoder 重排序取得最高检索分数；扩充相关性标注增加了被识别的证据却不改变排名，凸显标注敏感性。

为什么重要

检索评估分数并非“客观常数”，而是随标注覆盖度变化的量。对于临床 RAG 这类高风险场景，若只报告分数而不说明标注构造过程，可能高估或误读系统能力。该研究提示：评估协议应显式记录证据标注的粒度与覆盖范围，并把“排名稳定性”与“证据识别量”分开报告。

局限与不确定性

• 开发集规模小（18 文档、18 查询），结论需独立验证。
• 标注整理过程受检索结果影响（retrieval-informed curation），存在循环性偏差风险。
• 尚缺放射科医生对证据充分性的评估（原文明确指出需纳入）。
• 生成评估所用 LLM 评判者与具体指标细节的稳健性待核实。

可用于图书/PPT/简报的角度

• “检索分数不是绝对值”：用标注扩充前后排名不变、证据数上升的对照，说明评估对 ground truth 的依赖。
• 临床 RAG 评估清单：块大小/重叠、证据片段映射、排名指标与生成指标分离报告。
• 小样本开发基准的典型局限与验证路径（含专家评审）。

与既有脉络的关系

既有卡片多关注 RAG 的检索策略学习（DynaKRAG）、生成端话语传递（温度影响）与教育场景应用（Earthquaker-AI）；本卡片补充的是“评估侧”视角——真实标注的构造方式如何改变检索分数，属于对 RAG 评估方法论的增量讨论。

原始材料

• 标题：How Ground Truth Shapes Retrieval Scores: Evidence-Aware Evaluation of a Retrieval-Augmented Generation System for Breast Lesions
• 作者：Miguel Mochizuki Silva, Samuel Ismael, Mateus C. Dias, Thaís Gaudêncio, Yuri Malheiros, Barufaldi
• arXiv ID：2610.31606v1（cs.CL, cs.AI）
• 发布/更新：2026-10-22
• 摘要页：https://arxiv.org/abs/2610.31606v1
• PDF：https://arxiv.org/pdf/2610.31606v1