AI消息速览

扩散偏好对齐的潜奖励寄存器

事件日期 2026-08-04 · 学术前沿 · 已接受

返回列表 打开来源
事件日期2026-08-04
信息日期2026-08-04
入库日期2026-08-06
通道学术前沿
状态已接受
来源arXiv 论文

知识卡片：扩散偏好对齐的潜奖励寄存器

  • 英文标题：Latent Reward Registers for Diffusion Preference Alignment
  • 英文关键词：Latent Reward Registers; Diffusion Preference Alignment; Dense Reward; Diffusion Transformer; Reward-Guided Sampling
  • 原始来源：https://arxiv.org/abs/2608.03929v1

一句话结论

本文提出潜奖励寄存器（Latent Reward Registers），通过在冻结的 Diffusion Transformer（DiT）输入序列前添加可学习、位置无关的寄存器 token，直接从中间噪声潜变量估计最终样本的偏好奖励，从而为整个去噪过程提供密集、可微的奖励信号；并据此设计了训练端策略 RG-OPD 与推理端策略 RGS，分别实现更省算力的偏好对齐和无训练引导下的新最先进效果。

事件概述或研究问题

扩散模型与人类偏好对齐通常依赖最终生成样本上的稀疏终端奖励，这在多步去噪过程中带来严重的时间信用分配问题。本文研究的问题是：能否从中间噪声潜变量直接估计终端偏好，以提供密集奖励信号，并降低对齐成本。

方法/产品要点

  • Latent Reward Registers：在冻结的 Diffusion Transformer 输入序列前添加可学习的、位置无关的寄存器 token，从中间噪声潜变量中读出奖励证据；该机制不改变生成器的隐藏状态或速度场，属于独立读出机制。
  • 密集可微奖励：整个去噪过程都能获得密集、可微的奖励信号，缓解稀疏终端奖励造成的时间信用分配问题。
  • RG-OPD（Reward-Gradient On-Policy Distillation）：训练阶段沿同策略轨迹蒸馏奖励引导的更新，避免标准策略梯度方法中计算昂贵的 rollout。
  • RGS（Reward-Guided Sampling）：推理阶段无需参数更新，通过幅度匹配的奖励梯度引导采样轨迹。

主要结果或产业意义

  • 在高噪声水平（u = 0.8）下，潜奖励寄存器在评估的潜奖励模型中达到最高成对准确率。
  • RG-OPD 超越在线强化学习基线，同时最多减少 33 倍 GPU 小时。
  • RGS 在无训练方法中达到新的最先进水平，并同时提升对齐指标和感知指标。
  • 代码和权重已公开：https://github.com/Guanys-dar/latent-reward-register

产业意义上，该方法可能降低扩散模型偏好对齐的训练算力需求，并提供无需训练的推理时引导；但具体部署影响和成本收益在材料中未展开，待核实。

为什么重要

它针对扩散模型对齐中的稀疏奖励与时间信用分配难题，提供了一种不修改生成器参数的密集奖励读出机制。与已有的 AURORA-LM（扩散语言建模）、PointDiT（单目几何估计）、Align4D（X-to-4D 生成）等卡片不同，本条聚焦于扩散模型的偏好对齐奖励设计，增量信息在于：用寄存器 token 直接从中间噪声潜变量预测终端偏好，并同时支持训练期的高效蒸馏与推理期的无训练引导。

局限与不确定性

  • 摘要未提供数据集、基线配置、评估指标等实验细节，方法的适用范围和稳定性待核实。
  • “u = 0.8”所代表的噪声水平定义及选择依据在材料中未说明，待核实。
  • “最多减少 33 倍 GPU 小时”是特定任务与配置下的结果，其泛化性待核实。
  • 该方法基于冻结 Diffusion Transformer，是否适用于其他扩散架构（如 U-Net）待核实。
  • 寄存器 token 本身引入的额外计算开销和内存占用未在材料中量化，待核实。

可用于图书/PPT/简报的角度

  • 用“稀疏奖励 vs 密集奖励”对比引入：扩散模型对齐为什么困难。
  • 用“冻结生成器 + 可学习寄存器”解释即插即用的奖励读出机制，类似不干扰生成器的“外挂”奖励模型。
  • 展示同一个机制如何派生两种应用：训练阶段的高效蒸馏（RG-OPD）和推理阶段的无训练引导（RGS）。
  • 突出算力节省（最多 33 倍 GPU 小时）和无训练引导的新 SOTA，注意标注具体场景。

原始材料

  • 标题：Latent Reward Registers for Diffusion Preference Alignment
  • arXiv ID：2608.03929v1
  • 作者：Yuanshen Guan, Zipeng Feng, Zhiwei Xiong, Peiqin Sun
  • 发布/更新：2026-08-04T17:00:52Z
  • 分类：cs.LG, cs.CV
  • 摘要：Aligning diffusion models with human preferences usually relies on a sparse terminal reward evaluated on the final generated samples, presenting a severe temporal credit-assignment challenge across the multi-step denoising process. We propose Latent Reward Registers, a mechanism that estimates terminal preference directly from intermediate noisy latents by prepending learnable, position-free register tokens to the input sequence of a frozen Diffusion Transformer (DiT). This independent readout mechanism extracts latent reward evidence without altering the generator's hidden states or velocity field. The resulting dense, differentiable reward signal throughout the full denoising process facilitates two alignment strategies. For training, Reward-Gradient On-Policy Distillation (RG-OPD) distills reward-guided updates along on-policy trajectories, bypassing the computationally expensive rollouts of standard policy gradients. For inference, Reward-Guided Sampling (RGS) steers trajectories via magnitude-matched reward gradients without parameter updates. Empirically, at high noise levels (u = 0.8), the registers reach the highest pairwise accuracy among the evaluated latent reward models. Furthermore, RG-OPD outperforms online reinforcement learning baselines while reducing GPU hours by up to 33x, and RGS establishes a new state-of-the-art among training-free methods, strictly enhancing both alignment and perceptual metrics. Code and weights are available at https://github.com/Guanys-dar/latent-reward-register
  • URL：https://arxiv.org/abs/2608.03929v1