知识卡片：清洁工程，不稳定测量：共享端点上黑盒LLM观测者的预注册可靠性失败

一句话结论

在共享服务端点上，模型名称不是冻结的测量仪器；预注册评估必须在冻结任何判定门槛前先测量该仪器的可靠性。该预注册研究的两个活动均在“仪器验证”阶段失败：同窗口内重复排名的 Spearman 一致性为 0.400（要求 0.90），字节完全相同的次日重演一致性为 0.78（要求 0.99）。【数字与结论均来自摘要元数据，原文待核实】

事件概述或研究问题

语言模型裁判（LLM judges）现在被用于筛选训练数据、为生成结果打分、驱动排行榜；此时裁判本身就是测量仪器。这种做法隐含一个很少被言说的假设：向同一个模型名称发送同一个请求，明天会得到同样的读数。本研究用预注册设计审计了这一假设。

方法/产品要点

• 预注册审计：两个预注册活动，所有阈值在开始前固定。
• 数据规模：52,988 次审计请求尝试。
• 机制分析：发现三种与差距有关的机制：
  1. 标签到意义的映射对读数产生的偏置强度可与信号本身相当；
  2. 候选项之间的间隔低于仪器自身噪声底线达七个数量级；
  3. 字节相同的输入仍返回不同排名，这种噪声又被精确置换（exact-permutation）的读数方式放大。
• 修复尝试：在所测试的网格上，替换指标和采样都没有修复问题。

主要结果或产业意义

• 预设的两个门槛均不可达：同窗口排序一致性 0.400 对 0.90；次日字节重演一致性 0.78 对 0.99。
• 预注册追踪限制了问题的边界：
  • 等待无帮助（0.805 对比 0.800，并在另外五天重复）；
  • 更换提供商无帮助（四家提供商的中位数 0.74–0.88，无法由它们公开的元数据字段预测）；
  • 在“批量不变核”（batch-invariant kernels）上自托管只在服务器空闲时有用；
  • 对已知差距的人造错误，读数区分度随错误类型而非错误大小变化。
• 约 2% 调用量的预试点即可提前暴露这两个不可达门槛。
• 产业意义：依赖共享端点上黑盒 LLM 观测者的评估管道可能不满足可靠性要求；模型名称不能视为不变的测量仪器。

为什么重要

本研究把“同一模型名 = 同一测量仪”这一隐式假设变成可检验的对象，并在大规模外部测量中记录到失败。已有相关卡片分别关注 LLM 后训练的数据件工程和黑盒学习器在半参数估计中的理论性质；本条卡的增量在于：黑盒 LLM 作为“观测者/裁判”时，即使模型名不变，共享端点上的测量行为也可能不稳定，因此在设计评估门槛前需要先做仪器验证。

局限与不确定性

• 因未能抓取原文，本卡所有数字、机制与结论均以 arXiv 摘要元数据为准，完整方法、统计细节和具体实验配置待核实。
• Candidate summary 中未解释的内容，如 0.805/0.800 具体对应什么、四家提供商是哪些、batch-invariant kernels 与自托管的细节、“错误类型”如何定义等，均待核实。
• 结果仅涉及共享服务基础设施上的外部可测行为，未必推广到其他部署方式。
• “Clean Engineering”在原文中的具体定义与所指待核实。

可用于图书/PPT/简报的角度

• 金句：用 LLM 当尺子，先量尺子本身；同一个模型名不一定是同一台测量仪器。
• 数据锚点：52,988 次请求、同窗 Spearman 0.400（门槛 0.90）、次日字节重演 0.78（门槛 0.99）、更换四家提供商无效。
• 方法提醒：预注册不等于可靠，门槛要设在“已通过仪器验证”之后；约 2% 调用量的试点就能暴露不可达门槛。
• 对比视角：从训练数据筛选、给分、排行榜到评估本身，LLM 的测量属性需要像任何科学仪器一样被校准。

原始材料

• 原始来源：https://arxiv.org/abs/2609.04198v1
• 英文标题：Clean Engineering, Unstable Measurement: A Preregistered Reliability Failure of Black-Box LLM Observers on Shared Endpoints
• 英文关键词：black-box LLM observers; shared endpoints; preregistered reliability failure; measurement stability; LLM-as-a-judge（根据标题与摘要拟定，原文关键词待核实）
• Track: academic
• Topics: foundation-model