知识卡片：检索到却排不到前面：从数学题到智能体轨迹的结构检索中的表面形式偏差

一句话结论

当“表面措辞”和“底层结构”被刻意拆开时，嵌入检索会更依赖字面 token 而非结构。竞赛数学最重改写档中严格 Hit@1 为 0.0%，但正确项几乎总在 Top-10；智能体轨迹中若答案需换物体/容器，检索接近或低于随机。词法重排和 LLM 重排只能部分恢复，数学恢复里有记忆成分，且下游评测中“oracle 检索”与“坏检索”没有可测差异。

事件概述或研究问题

• 研究问题是“结构检索”：检索目标与 query 共享底层结构，但不共享字面表述。
• 两个无关领域在同一协议下测试：
  • 竞赛数学：MathNet-Retrieve；500 queries，117,088 条语料。
  • 具身智能体轨迹：ALFWorld 衍生；118 queries，336 条轨迹。
• “检索到正确项但排不到第一名”是全文贯穿的现象。

方法/产品要点

• 构造不同“改写/伪装档”，把表面形式与结构含义拉开。
• 评估嵌入检索；数学部分提到两个生产级 embedder，轨迹部分提到三个 embedder（模型名待核实）。
• 设词法重排对照（lexical reranker）和 LLM 重排器；LLM 重排用了 3 个 judge。
• 下游配对实验：210 个 query；评分者一致率 96–99%；比较 oracle retrieval 与 adversarial bad retrieval。

主要结果或产业意义

• 数学：
  • 最重伪装档中，生产 embedder 的严格 Hit@1 = 0.0%（bootstrap 95% CI [0.0, 0.0]）；但正确项几乎总在 Top-10。
  • 95.2–99.8% 的未命中样本中，排第一的项比正确答案在字面上更像 query。
• 轨迹：
  • 金标准需换物体时，模型处于或接近“超几何随机”水平。
  • 金标准需同时换物体和容器时，三个被测 embedder 全部低于随机。
• 词法重排的方向：
  • 数学中起反作用；轨迹中有帮助，把差距缩小 26–36%（CI 不含 0）。
  • 提示“表面变化是对抗性的还是附带性的”可据此判断。
• LLM 重排：
  • 数学恢复 5–63% 差距，轨迹恢复 43–76%；方向在 3 个 judge 间一致，但效应量和画像随领域变化。
  • 数学收益集中在知名竞赛题（+19.8 分，CI [+6.7, +33.2]），说明部分恢复来自记忆，而非通用结构推理。
• 下游：
  • Oracle 检索与对抗性差检索无显著差异（McNemar p = 0.678）。
  • 求解器 69.5% 零样本准确率在原文中被描述为“截断代理”（finished answers 上 97–100%）；这为检索改进留下的 headroom 很小。此句的“截断代理”具体机制待核实。
• 产业意义：RAG、数学解题检索、智能体轨迹/经验检索都需要避免只看 Hit@Top-k；排序质量、记忆污染和下游任务收益必须一起评估。

为什么重要

• 两个差异巨大的领域出现同一系统性偏差，说明这不是某个 benchmark 的偶然问题，而是嵌入检索的一般风险。
• “Top-10 常命中、Hit@1 为 0”提示：检索阶段不是瓶颈，排名/重排才是。
• 词法重排的正负号可作为基准设计工具；LLM 重排的高恢复需要做反事实/记忆检查。
• 与已有智能体轨迹类卡片相比，本条增量信息是：在轨迹库的结构检索环节，嵌入模型已对“物体/容器”层面的结构任务失效；这会影响智能体“复用旧轨迹”等上游能力。

局限与不确定性

• 未能抓取原文正文，以上主要依据候选摘要；模型名、改写档设计、统计细节、prompt、语料来源均待核实。
• “truncation proxy”的确切含义和测量方式需查原文。
• 结果能否推广到未测试模型、语言、领域未知。
• 原文中“all three embedders”相对于“both production embedders”的模型清单尚未完全对应，待核实。

可用于图书/PPT/简报的角度

• “Top-10 有，Hit@1 为 0”：用该反差引出“检索 vs 排序”的独立性。
• “词法重排的方向可以作为数据集诊断器”：简单基线有时是用来理解数据，而不只是刷分。
• “LLM 重排的分数可能来自记忆”：评估结构理解时需要排除知名题库记忆。
• “先检查下游 headroom”：若 oracle 和随机坏检索没差异，检索优化不会改善最终结果。

与既有脉络的关系

• 已有卡片 STRACE/TrajDebug 聚焦长程智能体轨迹的内部错误定位与优化；本条补充“检索”这一更前端的问题。
• 已有卡片不涉及“数学结构检索的词汇偏好”这一现象，因此本条在数学侧构成独立新话题。

原始材料

• 英文标题：Retrieved but not ranked: surface-form bias in structural retrieval, from mathematics to agent trajectories
• 英文关键词（据标题/摘要整理）：surface-form bias; structural retrieval; embedding retrieval; lexical reranking; LLM reranking; competition mathematics; agent trajectories
• 原始来源：https://arxiv.org/abs/2609.01556v1
• Track: academic；Topic: foundation-model
• 备注：源页面未被成功抓取，仅根据候选摘要生成；涉及原文细节均待核实。