GSBR 提出一种对预训练基策略“支撑集距离”进行惩罚的正则化方法,试图在在线 RL 微调中既不把 actor 拉向完整的基策略分布、也不硬性禁止支撑集外的改进,据摘要称在四个机器人基准的 19 个任务上把平均成功率从基策略的 33% 提升到 95%(待核实,正文未抓取)。
值得关注:直接针对在线 RL 微调中“稳定性 vs. 可改进性”的经典权衡,避免行为克隆式正则项对次优模式的过度保留。 只需采样访问基策略,兼容 diffusion / flow-matching 等难以给出显式密度的生成式基策…