知识卡片：幻影增益——对照测量基线审计自我改进

一句话结论

语言模型“自我改进”的判断若只看平均准确率或单次解码的题目级变化，极易被测量伪影误导；本文用冻结控制组贯穿同一训练流程，识别出七类测量失败，并提出一种无需新增实验的逐问题精确检验作为替代 null。

事件概述或研究问题

论文题为 Phantom Gains: Auditing Self-Improvement Against a Measured Null，关注的是：如何可靠地判断一个语言模型是否真的在“自我改进”。作者认为，当前越来越多人不是看平均准确率，而是看模型在哪些具体题目上获得或失去能力；但这类题目级转换意味着对两次有噪声的估计做差分，很容易把测量噪声误认为真实能力变化。研究试图为“自我改进”报告建立一套更严格的审计方法。

方法/产品要点

对 Qwen3-8B 进行三轮 rank-32 LoRA 自训练，并设置一个经过完全相同流程但参数冻结的对照组。
将“有自训练”与“无自训练”的差异分解到具体题目层面的获得/失去，构建“账本”（ledger）与“扩展统计量”（expansion statistic）。
识别出七个测量失败（measurement failures），每一项在缺少对照组时都会反转报告结论，且其中一些已是常见做法。
提出逐问题精确检验（per-problem exact test），针对合并基线（pooled baseline）做检验，并用错误发现率（FDR）控制多重比较。
构建一个在数据流、数量和评估方式上匹配的“梯子”式实验臂，比较外部蒸馏和多种自训练形式。

主要结果或产业意义

仅用单次贪心解码构建的账本，会在一个未训练模型上制造出“能力变化”，其中大部分是推断批处理（inference batching）带来的伪影；该扩展统计量给未训练模型分配了 0.280 的“获取率”。
一个“自然的阈值修复”在复制中不成立：在冻结对照组自身包含的比较中估计，该 null 仍显著非零。
用新的逐问题精确检验在保留复制上没有检测到任何显著改进；该结果在不同多重检验规则、错误率和池大小下保持一致。
应用审计后发现：外部蒸馏能改善基础模型很少能答对的问题，而三种自训练形式均不能；回归分析表明这种不对称不是蒸馏整体增益更大造成的副产物（p < 10⁻⁸）。
在基础模型从未达到的“更难”问题集上，证据不足以做出结论；但自训练会以显著高于测量底线的比例破坏原本已能答对的问题。
产业意义：若模型报告“自训练后能力提升”但未做对照审计，结果可能完全来自测量伪影；“已解决问题的破坏率”也应成为评估自我改进的重要指标。

为什么重要

这项工作把“自我改进”的论证从效果展示转向计量审计。它提示：没有独立测量的 null，任何题目级收益或损失都可能只是噪声；而 null 不必额外花钱做实验，可以从多臂研究已有的基线重复中构建。与既有“递归自我改进”讨论相比，本文不强调改进回路是否可行，而是提醒如何证明“改进发生了”，为自我改进研究提供了方法学基石。

局限与不确定性

本文无法抓取正文，以上内容均基于候选摘要转述，具体实验细节、七类测量失败的具体名称、检验构造方式等需要核实原文。
摘要中未披露所用数据、训练步数、评估集规模等，因此外部蒸馏与自训练比较的适用范围尚不清楚。
作者指出“不是从像大多数研究那样少的重复”中构建 null，说明该方法对基线重复数量有要求；具体最低重复数未见。
在“基础模型从未达到”的困难子集上，证据不充分；因此审计方法对高难问题的判决力仍有限。

可用于图书/PPT/简报的角度

“你以为模型变强了，可能只是批次顺序变了”：用一张漫画式例子说明单次解码的伪影。
类比医学随机对照试验：AI 自我改进也需要“安慰剂组”（冻结控制组）。
审计清单：报告自我改进时需要哪些最小控制条件？
从“平均分上涨”到“逐题翻转”：哪些测量坏习惯会制造幻影增益？

与既有脉络的关系

已有卡片覆盖了自我改进的分类学（有界自我精炼 vs. 开放式 RSI）、系统实现（Frontis-MA1/OpenMLE）和基准（PAST-Bench）。本卡片补充的是审计与测量层：即使系统能改进、基准能评测，任何“改进”结论还需要排除测量伪影。本文提供的“内置 null”思路，可视为对 PAST-Bench 对照实验方法在语言模型自训练场景下的进一步严格化。

原始材料

英文标题：Phantom Gains: Auditing Self-Improvement Against a Measured Null
英文关键词：self-improvement; auditing; measurement artifacts; language models; LoRA; control group; false discovery rate; transition-level auditing
来源 URL：https://arxiv.org/abs/2608.20290v1
状态说明：原始网页未能抓取正文，本卡片仅基于已知元数据与候选摘要生成，文中具体数字（0.280、p < 10⁻⁸、三轮 rank-32 LoRA 等）均来自该摘要，实际细节待核实。