知识卡片：面向免重训隐私审计的移位感知分数迁移

一句话结论

论文针对“观测式隐私审计”场景（审计者不能插入金丝雀、不能控制数据纳入、不能重训模型），提出用可得的分布外（OOD）非成员估计反事实的分布内非成员分数分布，并通过保守校正缓解分布移位带来的审计偏差，在多个含分布移位的数据集上给出更稳定的隐私估计与更紧的下界。

事件概述或研究问题

隐私审计通过成员推理攻击（membership inference attacks）为隐私损失建立经验下界。本文关注一种观测式审计设置：审计者只能使用固定的已知成员与非成员集合，无法插入 canaries、无法控制数据是否被纳入训练、也无法重训目标模型；该设置适用于已部署的大模型，或重训受算力/访问权限限制的情形。此时可用于审计的非成员可能与训练数据分布不同，分布移位会使成员推理分数产生偏斜，从而影响审计结论。

方法/产品要点

• 问题设定：在无法干预训练过程的条件下，用固定成员/非成员集合做隐私审计；核心障碍是可用非成员为 OOD，导致成员推理分数偏移。
• 核心思路：用可得的 OOD 非成员估计“反事实的分布内非成员分数分布”，即学习数据表示与成员推理分数之间的关系，并将其迁移到目标协变量分布。
• 保守校正：考虑到外推或条件不变性不完美时迁移可能不可靠，作者引入一种保守校正，直接校准到名义上的迁移后隐私水平。
• 校准任务构造：利用可用非成员数据构造受控校准任务，估计表示空间位移会在多大程度上抬高审计结果，并用该估计修正迁移引起的审计误差。

主要结果或产业意义

摘要在多个含分布移位的数据集上报告：该方法给出显著更稳定的隐私估计，同时相比基线保留更紧的下界。产业意义上，这为“无法重训/无法干预数据”的大规模已部署模型提供了一种更贴近实际访问约束的隐私审计思路，减少因非成员分布不匹配导致的审计偏差。

为什么重要

隐私审计通常依赖可干预的实验条件（如插入金丝雀、控制训练数据），但真实部署场景往往不允许这些操作；本文把审计问题转化为在分布移位下对成员推理分数分布进行迁移与校正的问题，补足了“观测式审计”这一受限但常见的场景。其增量在于：不仅指出 OOD 非成员会造成分数偏斜，还给出可操作的迁移加保守校正流程，并用校准任务量化表示空间位移导致的审计膨胀。

局限与不确定性

• 摘要未给出具体数据集名称、模型规模、攻击方法细节与定量提升幅度，相关数值待核实。
• 方法依赖“从 OOD 非成员学习表示—分数关系并迁移到目标协变量分布”的假设；在强外推或条件不变性不成立时的可靠性由保守校正缓解，但校正后的保守程度与下界紧致性之间的权衡待核实。
• 观测式审计下无法插入金丝雀，是否会影响下界的可比较性与审计结论的强度，材料未展开，待核实。
• 论文发表于 arXiv 2026-10-22（cs.LG），同行评审状态与复现实验细节待核实。

可用于图书/PPT/简报的角度

• “不能重训也能审计”：把隐私审计从干预式实验转向观测式推断的动机与边界。
• 分布移位如何污染成员推理分数：用“非成员分布不匹配→分数偏斜→审计偏差”的因果链做图示。
• 迁移+保守校正的两段式设计：先估计反事实分布内分数分布，再校准表示空间位移造成的审计膨胀。
• 与既有 OOD 校准/迁移话题的对照：同为分布移位下的分数校准问题，但本文目标是隐私审计下界而非 OOD 检测或预报迁移。

与既有脉络的关系

已有卡片分别讨论持续学习中的 OOD 分数校准（TOOD）、隐私感知课堂事件识别的轻量运动推理、以及数据有限下 PM2.5 预报的移位感知迁移学习；本卡片聚焦“免重训隐私审计”中的分布移位校正，与上述工作在“分布移位下的分数/模型迁移与校准”上有方法气质上的邻近，但应用目标（隐私损失下界）与审计约束（不可干预、不可重训）不同，不重复其事实陈述。

原始材料

• Title: Shift-aware score transport for privacy auditing without retraining
• arXiv ID: 2610.31549v1
• Authors: Yaohong Yang, Gauri Pradhan, Qi Chen, Samuel Kaski, Antti Honkela
• Published: 2026-10-22T16:54:11Z
• Primary category: cs.LG
• Abstract URL: https://arxiv.org/abs/2610.31549v1
• PDF URL: https://arxiv.org/pdf/2610.31549v1
• 关键词：privacy auditing; membership inference attacks; observational auditing; distribution shift; out-of-distribution non-members; score transport; conservative correction; without retraining