知识卡片：超限设计效应：聚类条件下阈值的有效样本量

一句话结论

当机器学习系统用校准集的分位数设定阈值时（如共形预测、弃答门控、安全过滤），如果校准样本因共享提示、文档或推理链而具有聚类相关性，实际可靠性会远低于表观样本量；论文证明阈值场景需要一种不同于传统平均场景的“设计效应”修正，且有效样本量随阈值位置变化。

事件概述或研究问题

许多机器学习系统在校准集的分位数上设定阈值：共形预测器用校准集的第90百分位数作为截断以承诺90%覆盖率；弃答门控在模型分数低于校准集第10百分位数时拒绝回答；安全过滤器阻止分数高于参考集第99百分位数的输出。这些承诺都假设校准样本独立，但现代流水线中样本通常不独立——它们共享提示、文档或推理链。调查统计学自1965年起就知道如何用“设计效应”折扣相关数据，但那只适用于平均值。本文研究的是：阈值场景需要不同的有效样本量计数。

方法/产品要点

• 研究对象：所有在校准集分位数上设阈值的系统，包括共形预测、弃答门控、安全过滤器。
• 传统工具：调查统计中的设计效应（design effect）可用于相关数据，但仅针对平均值。
• 本文方法：证明阈值需要不同的计数；该计数取决于聚类分数落在阈值同一侧的概率，而这个概率随阈值位置改变。
• 关键性质：分数数值上的相似性不进入该计数；论文给出了有效样本量和部署时实际覆盖率的离差（spread）的闭式律。

主要结果或产业意义

• 共形预测文献中目前使用的修正是错误的量，可能向任一方向偏离真实值。
• 一个数据集没有单一的有效样本量；对于每个阈值水平，都有一个对应的有效样本量。
• 这种损失在多次运行的平均覆盖率中不可见，但单次部署者会完全承受。
• 在一个已发布的25,028个示例校准集上，作者测得可靠性约为1,300（该语境下指阈值层面的有效样本量）。

为什么重要

该结果直接冲击依赖校准集分位数设定阈值的AI系统：非独立校准数据会让声称的覆盖率、拦截率或参考区间失真。与已有“有限样本覆盖审计”相关卡片关注的认证与学习理论设计不同，本条从聚类相关数据出发，指出平均覆盖率视角会掩盖单次部署风险，并给出了阈值场景下新的理论修正。对安全过滤、选择性问答、共形预测等系统具有实际校准意义。

局限与不确定性

• 摘要未给出理论成立的具体条件，如聚类规模、相关性结构、阈值范围等，待核实。
• 作者在25,028个示例上测得的“约1,300”具体计算方式、置信区间和数据集名称未在摘要中说明，待核实。
• 闭式律是否适用于重尾分布、多级聚类或分布漂移等情形，摘要未提供，待核实。

可用于图书/PPT/简报的角度

• 用“25,028个校准样本，实际可靠性只有约1,300”作为开场案例，说明非独立样本对阈值式系统的欺骗性。
• 用“同一个数据集没有一个固定有效样本量，而是随阈值位置改变”来纠正常见直觉。
• 用“平均值掩盖风险、单次部署承险”来解释为什么不能只看多次运行的平均覆盖率仿真。

原始材料

• 英文标题：The Exceedance Design Effect: Effective Sample Size for Thresholds under Clustering
• 英文关键词：Exceedance Design Effect; Effective Sample Size; Clustering; Threshold; Conformal Prediction; Calibration
• 来源：arXiv:2608.21262v1 [stat.ML, cs.LG]
• 作者：Adam Noonan
• 发布时间：2026-08-21
• URL：https://arxiv.org/abs/2608.21262v1