知识卡片：基于偏好反馈的差分隐私稀疏奖励估计

一句话结论

本文首次为 Bradley-Terry-Luce（BTL）模型下、由成对偏好反馈进行的差分隐私稀疏奖励估计建立了完整理论框架，证明估计误差可依赖稀疏度 $s^*$ 而非模型维度 $d$，并在 Sample-DP 与 Label-DP 两种设置下给出上界、下界及实验验证。

事件概述或研究问题

RLHF 已成为对齐大语言模型的核心范式，但其依赖的偏好数据敏感，需要严格的差分隐私（DP）保证以防用户信息泄露。现有隐私对齐方法通常假设稠密奖励参数化，导致估计误差界随环境模型规模 $d$ 多项式增长；在 $d$ 极大的现代过参数化模型中，这种依赖不可接受。本文研究“隐私稀疏 RLHF”问题：假设人类偏好（奖励模型）仅由 $s^* \ll d$ 个相关特征决定，从而规避对 $d$ 的依赖。

方法/产品要点

• 问题设定：BTL 模型下的成对偏好反馈，奖励由 $s^* \ll d$ 个相关特征控制（稀疏假设）。
• 提出首个针对该问题的差分隐私稀疏奖励估计理论框架，覆盖两类隐私设置：
  • $(\varepsilon,\delta)$-Sample-DP（样本级差分隐私）；
  • 基于随机化响应（randomized response）的 $\varepsilon$-Label-DP（标签级差分隐私）。
• 为两种设置分别设计高效算法。
• 误差度量：平方 $\ell_2$ 参数估计误差；$n$ 为训练数据规模。

主要结果或产业意义

• 上界：
  • Sample-DP：$\widetilde{O}(s^/n + {s^}^2/(n^2\varepsilon^2))$；
  • Label-DP（随机化响应）：$\widetilde{O}(s^/n + s^/(n\varepsilon^2))$。
• 下界：
  • 证明 Sample-DP 速率接近最优；
  • 证明所提 Label-DP 方法在随机化响应框架内的保证无法进一步改进；
  • 另给出 Label-DP 问题的一般下界。
• 实验：在情感生成与安全对齐基准上优于稠密基线，隐私-效用权衡显著更优。

为什么重要

现代对齐模型参数量巨大（$d$ 极大），稠密隐私奖励估计的误差界随 $d$ 多项式增长而不可用。本文通过稀疏假设把误差界从依赖 $d$ 转为依赖 $s^*$，在理论上首次刻画了隐私稀疏 RLHF 的可学习性边界（含近最优性与框架内不可改进性），在实践上给出了更优隐私-效用权衡的对齐方案。与既有卡片中“LEMUR 多目标偏好对齐”相比，本文的增量在于引入严格 DP 保证并利用稀疏性攻克维度依赖，而非多目标平衡；与“DP-GRAMS 差分隐私非参数模态学习”相比，本文聚焦 RLHF 奖励估计而非模态恢复，任务与模型假设不同。待核实：本文与上述两项工作之间是否存在直接的方法继承或引用关系（材料未说明）。

局限与不确定性

• 稀疏假设（奖励仅由 $s^$ 个特征决定）是强假设，真实偏好是否满足、$s^$ 如何选取，材料未讨论，待核实。
• Label-DP 的“框架内不可改进”结论限定于随机化响应框架；框架外是否有更优方法，材料未涉及。
• 实验仅在情感生成与安全对齐基准上报告，其他对齐任务与真实大模型规模下的表现待核实。
• 论文发表于 arXiv（cs.LG），同行评审状态待核实。

可用于图书/PPT/简报的角度

• “隐私对齐的维度困境”：为何稠密 DP 奖励估计在过参数化模型下失效，稀疏假设如何破局。
• 一张对比表：Sample-DP 与 Label-DP 的上界、下界、算法与隐私语义差异。
• 隐私-效用权衡曲线：稀疏方法 vs 稠密基线的实验示意。
• 理论贡献分层：首个框架 → 上界 → 近最优性 → 框架内不可改进性 → 一般下界。
• 与 RLHF 对齐流程结合的示意：偏好数据 → 稀疏隐私奖励估计 → 策略优化。

原始材料

• 标题：Differentially Private Sparse Reward Estimation with Preference Feedback
• 作者：Meng Ding, Mingxi Lei, Jie Zhang, Jinyan Liu, Di Wang
• arXiv ID：2610.30099v1（cs.LG；cs.AI）
• 发布/更新：2026-10-21T17:45:42Z
• 摘要页：https://arxiv.org/abs/2610.30099v1
• PDF：https://arxiv.org/pdf/2610.30099v1
• 关键词：Differentially Private, Sparse Reward Estimation, RLHF, Preference Feedback, Bradley-Terry-Luce, Sample-DP, Label-DP, Randomized Response