SPO++ 提出一种面向异步智能体强化学习的流对齐策略优化方法,通过将优势标准化从轨迹级改为动作- token 测度下,并按策略事件组织提示证据,在 ALFWorld(两个模型规模)和 Math-TIR 上相对于 SPO 提升了在线学习效率;具体提升幅度与实现细节待核实。
值得关注:与依赖同提示兄弟轨迹的组相对 RL 不同,SPO++/SPO 这类方法避免同步等待,适合异步智能体训练。 相比 SPO,SPO++ 的增量在于:指出轨迹级中心化与 token 均值 actor loss 之间的测度错配…