知识卡片:通过子序列关联过滤与广度感知选择来追踪与驯服 LLM 查询扩展中的幻觉词
一句话结论
SAFE-QE 是一种无需训练、与检索器无关的查询扩展方法,利用“子序列关联”幻觉机制过滤不可靠扩展词,并用广度感知选择控制保留数量;在 TREC 与 BEIR 上,其 nDCG@10 与生成式/语料引导式扩展在统计上难以区分,但每查询注入的无支持扩展词显著更少(4.3 对 Query2doc 的 27.8 与 HyDE 的 57.5)。
事件概述或研究问题
LLM 已成为查询扩展词的常规来源,但会幻觉出不存在的实体与离题词,给排序引入噪声,甚至损害强检索器。既有补救(语料接地、互相验证、偏好对齐)把幻觉词当作无差别噪声,用一致性启发式过滤,缺乏对“某个词为何出现”的机制性解释,也缺乏“应保留多少词”的原则性标准。本文提出 SAFE-QE,并引入查询侧忠实性指标 Hallucinated Expansion Term Rate(统计无相关文档支持的注入扩展词数)。
方法/产品要点
- 子序列关联视角:将幻觉归因于主导性的子序列关联;据此对候选扩展词打分。
- 跨上下文可复现性打分:以语料为条件,考察词在随机化查询上下文下是否反复出现;若反复出现但在伪相关集中缺乏支持,则标记为主导幻觉关联的产物并降权。
- 广度感知选择:把语言生成刻画为一致性(无幻觉)与广度(覆盖)之间的权衡,将词选择形式化为对伪相关集的约束覆盖最大化,保留近似广、且一致、在重采样下稳定的词集合。
- 无需训练、检索器无关:方法不依赖特定检索器,也不需要训练。
- 新指标:Hallucinated Expansion Term Rate,查询侧忠实性度量。
主要结果或产业意义
- 在 TREC 与 BEIR 基准集合上评估。
- nDCG@10 与生成式、语料引导式扩展统计上不可区分。
- 注入的无支持词更少:SAFE-QE 每查询 4.3 个,对比 Query2doc 27.8、HyDE 57.5。
- 在强学习型稀疏检索器上,所有扩展方法都出现回退(regress)。
- 结论:忠实性可在不造成可测排序质量损失的前提下获得。
为什么重要
查询扩展长期面临“扩得越多越可能引入噪声”的两难,尤其在强检索器上扩展反而可能拖累效果。SAFE-QE 的价值在于把幻觉从“无差别噪声”转为可机制化打分与可约束选择的量,并给出查询侧忠实性指标,使“少注入无支持词”成为可测量目标。对本卡片脉络而言,它延续了近期关于 LLM 输出可控性与可信性的关注,但聚焦检索查询扩展场景,且强调忠实性提升不以排序质量为代价。
局限与不确定性
- 在强学习型稀疏检索器上,所有扩展方法(含本文方法)均出现回退,具体幅度与原因待核实。
- 论文声称 nDCG@10 与基线“统计上不可区分”,具体统计检验细节与置信区间待核实。
- 方法依赖伪相关集构造,其对不同检索器与语料的敏感性待核实。
- Hallucinated Expansion Term Rate 的定义中“相关文档支持”的判定标准与人工/自动实现细节待核实。
- 作者列表、发表信息以来源为准:Amit Kumar Jaiswal, Sagar Uprety, Prayag Tiwari;arXiv:2610.13810v1,2026-10-09。
可用于图书/PPT/简报的角度
- “扩展不等于更好”:用 SAFE-QE 在强稀疏检索器上的回退说明扩展策略的适用边界。
- 幻觉的机制化拆解:从“无差别噪声”到“子序列关联产物”,可作为解释 LLM 幻觉成因的教学案例。
- 忠实性与效用可兼得:4.3 vs 27.8/57.5 的对比适合说明“不牺牲排序质量也能降低幻觉注入”。
- 度量先行:Hallucinated Expansion Term Rate 作为查询侧忠实性指标,可引出“先定义可测目标再优化”的方法论。
- 一致性与广度的权衡:约束覆盖最大化的表述适合用于讲解生成/检索中的多目标权衡。
原始材料
- 标题:Tracing and Taming Hallucinated Terms via Subsequence-Association Filtering and Breadth-Aware Selection for LLM Query Expansion
- arXiv ID:2610.13810v1
- 作者:Amit Kumar Jaiswal, Sagar Uprety, Prayag Tiwari
- 发布:2026-10-09T16:22:16Z(更新同)
- 主分类:cs.IR;分类:cs.IR, cs.CL
- Abstract URL:https://arxiv.org/abs/2610.13810v1
- PDF URL:https://arxiv.org/pdf/2610.13810v1
发现内容有误?
免登录提交,管理员审核并完成修正后才会公开修订说明。
值得关注
查询扩展长期面临“扩得越多越可能引入噪声”的两难,尤其在强检索器上扩展反而可能拖累效果。SAFE-QE 的价值在于把幻觉从“无差别噪声”转为可机制化打分与可约束选择的量,并给出查询侧忠实性指标,使“少注入无支持词”成为可测量目标。对本卡片脉络而言,它延续了近期关于 LLM 输出可控性与可信性的关注,但聚焦检索查询扩展场景,且强调忠实性提升不以排序质量为代价。
相关主题
对应的教材知识点
根据卡片内容自动匹配,点击查看已审核的教材讲解: