知识卡片：关键词匹配式评测会“默认放行”：面向小模型工具调用主张的廉价诊断阶梯

说明：本卡片生成时未能抓取 arXiv 正文，仅有元数据与候选摘要。下文带具体数值的内容均来自候选摘要，尚未与论文正文逐条核对，凡涉及数字、定义、实验规模者一律标注“待核实”。

一句话结论

基于关键词匹配的宽松工具调用指标可能把“从未真正发出工具调用”的小模型判为合格；一组只需数分钟 CPU 时间的严格廉价诊断步骤（逐字复现、首 token 探针、嵌入漂移检查等）可以在采信小模型的工具调用主张之前把这类假阳性筛出来（全部细节待核实）。

事件概述或研究问题

• 论文英文标题：Keyword Harnesses Fail Open: A Cheap Diagnostic Ladder for Tool-Use Claims in Small Language Models。
• 拟研究的核心问题（据候选摘要）：当评测框架以关键词匹配等方式判定“模型是否调用了工具”时，是否会给出假阳性——即模型输出看似包含工具调用格式，实际并未真正执行或泛化出正确调用？
• 该工作据称在一对“匹配架构”的西班牙语安全领域语言模型上记录到了这种假阳性，并提出一套严格但廉价的诊断阶梯（diagnostic ladder）作为把关手段。
• 待核实：论文是否给出“fail open”的正式定义、诊断阶梯的完整步骤清单与判定阈值。

方法/产品要点

以下均据候选摘要，待核实：

• 对照模型对（匹配架构）
  • 661.6M 参数模型：训练数据约 65% 为代码/技术文本，无专门 SFT。
  • 1,109M 参数模型：以网页文本为主的多阶段课程训练，含 6B token 的工具 SFT。
  • 二者共享 decoder、tokenizer 与特殊 token，因此可比性较强。
• 宽松指标下的表现：两者在宽松工具调用指标上几乎相同（B4：0.660 vs. 0.650）。B4 的具体定义待核实。
• 逐字复现检查（verbatim-reproduction checks）：在训练样例上做严格复现，二者被完全分开——600M 在 6/6 个样例上给出带泛化参数的有效工具调用；1B 在 0/6 上做到（跨 checkpoint 均如此）。
• 首 token 探针：把 1B 的失败定位为“先验缺失”——<|tool_call|> 上的概率约为 $10^{-4}$–$10^{-5}$，该先验被认为在网页为主的训练阶段被抹掉。
• 定向 SFT 修复配方：多样化语料、学习率提高 5 倍、2,202 步、约 3.3 GPU 小时；所用 token 量比失败的训练阶段少三个数量级。
• 嵌入漂移检查：修复后触发 token 的 tied embedding 未发生移动，bf16 词表中约 97.7% 保持逐位相同，说明变化发生在周边网络而非触发 token 本身。

主要结果或产业意义

据候选摘要（待核实）：

• 修复效果
  • 在全部 269 条语料行上，有效发射率从 0.100 升到 0.959；600M 基线为 0.926。
  • 在 238 条未见提示上，修复后的 1B 通过率 0.536，高于 600M 的 0.428（$p = 0.004$）。
• 仍未解决的问题：过度触发。两个模型都倾向于“该不调用时也调用”，在没有工具调用的负面提示上很少直接作答：600M 为 0.09，修复后 1B 为 0.17（该数值越低说明越常见地绕过负面提示，具体口径待核实）。
• 因子分析：所有修复配置都能装上工具调用格式；但“多样化语料是否带来抑制收益”仍只是假设，因受随机种子敏感性影响。
• 成本对比：诊断阶梯据称只需数分钟 CPU 时间，却可以先行把关工具调用主张。

为什么重要

• 评测效度风险：如果宽松的关键词类指标会“默认放行”，那么小模型在榜单或内部评测中的工具调用得分可能系统性高估真实能力，进而影响选型与部署决策。
• 训练课程顺序的反直觉副作用：论文把 1B 的失效定位到特殊 token 先验被网页为主的阶段抹掉，这提示“多加数据、多加阶段”不一定单调增益，格式性能力（如工具调用触发符）可能被覆盖。
• 修复可以很便宜，诊断更便宜：若 3.3 GPU 小时的定向 SFT 即可修复，且分钟级 CPU 诊断即可发现问题，那么团队没有理由跳过这类门槛检验（成本数字待核实）。
• 能力的位置：嵌入表近乎逐位不变而行为大幅改变，说明修复发生在“周边网络”而非触发 token 表征本身，对理解小模型行为编辑有参考价值。

与既有脉络的关系

与既有卡片同属“评测能否真正测出目标能力、失败如何归因”这一脉络：Grip on LLMs 关注多维度评估框架与成本—质量的张力，VLM 失败归因卡片关注“看不见还是不知道”的错误类型划分。本条卡片的增量在于：不提出新的评估维度，而是给出一套廉价、可在小模型上直接跑的诊断顺序，用于在采信工具调用主张之前排除假阳性。三者是否可互相引用、是否共享同一评测效度问题，待核实。

局限与不确定性

• 最大不确定性：生成时未能抓取正文，全部具体数值、实验设置与结论均来自候选摘要，需以论文原文逐条核对。
• 外推性：样本为“一对”西班牙语安全领域、匹配架构的小模型；是否能推广到其他语种、更大模型、其他工具调用格式，待核实。
• 统计强度：6/6 与 0/6 的逐字复现检查样本量很小；$p=0.004$ 所对应的检验方法、样本量与多重比较校正待核实。
• 未解决的行为缺陷：过度触发（负面提示下仍发起调用）在修复后依然存在，甚至比 600M 更严重；该问题不在本次修复范围内。
• 机制假设未定：“多样化语料带来抑制收益”被作者自己标为假设，受种子敏感性影响。
• 指标定义：B4、有效发射（valid emission）、通过（pass）、过度触发比率的具体计算口径均待核实。
• 时间成本：“数分钟 CPU 时间”的硬件、批大小与测量方式待核实。
• 评审状态：arXiv 版本是否已同行评审、是否有后续修订，待核实。

可用于图书/PPT/简报的角度

1. “得分一样，能力不一样”：用 0.660 vs. 0.650 与 6/6 vs. 0/6 的强烈反差，说明单一宽松指标为何不可作为采信依据。
2. 评测算法的 fail-open 现象：类比安全领域的“失效即放行”，讲清评测设计中的默认通过偏差。
3. 课程/数据顺序的隐藏代价：网页为主的大阶段训练可能抹掉特殊 token 先验，作为“数据配比不是越多越好”的案例。
4. 廉价诊断阶梯的工程范式：先做分钟级严格复现与首 token 探针，再谈昂贵的全面基准。
5. 修复成本的不对称：三个数量级更少的 token、约 3.3 GPU 小时即可修复，对比失败阶段 6B token 的投入。
6. “改动不在嵌入里”：97.7% bf16 表逐位相同却在行为上大幅改变，适合讲模型编辑与可解释性。
7. 诚实呈现未解问题：过度触发在修复后依旧存在，可用于讨论“修复一个失败模式是否会放大另一个”。

原始材料

• 英文标题：Keyword Harnesses Fail Open: A Cheap Diagnostic Ladder for Tool-Use Claims in Small Language Models
• 英文关键词/主题：foundation-model（来源仅给出 Topic；论文自有关键词列表待核实）
• Track：academic
• 原始来源：https://arxiv.org/abs/2610.02142v1 （arXiv:2610.02142v1）
• 抓取状态：未能抓取正文；本卡片基于已知元数据与候选摘要生成，正文相关细节一律待核实。