知识卡片：子空间推断使基于偏好的主动奖励学习更高效

英文标题：Subspace Inference Enables Efficient Active Reward Learning from Preferences

英文关键词：PreferenceEKF; active reward learning; RLHF; Bayesian filtering; subspace inference

一句话结论

根据论文摘要，PreferenceEKF 通过将主动偏好学习视为顺序贝叶斯滤波问题，并在低维参数子空间内进行推断，提升了奖励模型在偏好学习中的样本效率、运行时间、可扩展性和校准表现；具体数值与详细实验结论待核实。

事件概述 / 研究问题

基于人类反馈的强化学习（RLHF）通过人类偏好来学习奖励模型，但样本效率较低。主动学习需要有效的不确定性量化来合成信息量高的偏好查询，而对大型神经网络奖励模型而言，这种不确定性量化仍有挑战。该论文提出 PreferenceEKF，将主动偏好学习构建为顺序贝叶斯滤波问题。

方法 / 产品要点

• 将奖励模型不确定性跟踪问题建模为顺序贝叶斯滤波。
• 避免在完整神经网络参数空间上进行计算上不可行的后验推断，改为在低维参数子空间内使用扩展卡尔曼滤波（Extended Kalman Filter）进行顺序推断。
• 随着新偏好查询不断到达，持续更新奖励模型的后验。
• 该方法支持可扩展的神经网络参数采样，从而高效计算主动学习所需的采集函数（acquisition functions）。

主要结果或产业意义

根据摘要，在 D4RL 和 V-D4RL 基准上，PreferenceEKF 相比其他贝叶斯深度学习方法在样本效率、运行时间、可扩展性和校准方面均表现更好；学到的奖励模型能够带来具有竞争力的离线强化学习策略性能。该工作展示了可扩展贝叶斯方法在 RLHF 偏好奖励建模中的潜力。

为什么重要

现有相关卡片主要关注优化器和检索方法，本条涉及 RLHF 中奖励模型学习的主动学习与不确定性量化。PreferenceEKF 的增量信息在于：它没有依赖完整贝叶斯深度后验推断，而是用“低维参数子空间 + 扩展卡尔曼滤波”的方式在线更新奖励模型不确定性，从而为偏好查询的高效选择提供一条实用路径。

局限与不确定性

由于未能抓取论文正文，本卡片的全部内容仅基于 arXiv 元数据中的摘要。低维子空间的具体构造方式、基准测试细节、与全参数贝叶斯方法的性能差距等均待核实。

可用于图书/PPT/简报的角度

• 用“状态估计”理解 RLHF：奖励模型的主动学习可以像卡尔曼滤波一样进行在线更新。
• 在神经网络中做贝叶斯推断很难，低维子空间可能是一种务实折中。
• 示例切入：当偏好查询预算有限时，如何用不确定性信号决定“该问用户什么问题”。

原始材料

• 英文标题：Subspace Inference Enables Efficient Active Reward Learning from Preferences
• 来源 URL：https://arxiv.org/abs/2609.04066v1
• 代码地址（来自元数据）：https://github.com/yutaizhou/bnn_pref