QF3(Fast Flow RL with Filtered Q-Gradients)是一种在线离策略强化学习算法,用流匹配训练流策略,并结合评论家的动作梯度与“过滤 Q 梯度”机制提升更新可靠性;作者报告其可首次以离策略流 RL 从零训练人形机器人运动策略并零样本迁移到硬件,同时相较 FPO++ 取得约 10 倍墙钟加速。
值得关注:它将流匹配策略与离策略强化学习结合,指向一条比在线策略流 RL 更高效的训练路径。 “过滤 Q 梯度”针对评论家梯度与一步预测的可靠性问题,提供了控制更新范围的方法思路。 若零样本人形运动迁移与操作策略微调结果可复现,…