知识卡片：贝尔曼策略优化（BPO）

一句话结论

BPO 是一种从 Policy Mirror Descent（PMD）推导出的无 critic 强化学习方法：针对带终端奖励的自回归生成，它用 Bellman 方程把 PMD 改写为轨迹级目标，避免估计中间状态价值，并声称在数学推理基准上有效；具体实验数值与理论条件待核实。

事件概述或研究问题

材料显示，Reinforcement Learning with Verifiable Rewards（RLVR）可提升大语言模型（LLM）的推理能力。论文提出 Bellman Policy Optimization（BPO），研究问题是：在自回归生成且只有终端奖励的设定下，能否不依赖 critic、不估计中间状态价值，仍从 PMD 原则得到可用的策略优化目标？作者称 BPO 改写后的目标与原 PMD 目标具有相同唯一最优解。

方法/产品要点

• 方法名：Bellman Policy Optimization（BPO）。
• 定位：无 critic（critic-free），由 Policy Mirror Descent（PMD）派生。
• 场景：autoregressive generation with terminal rewards，即带终端奖励的自回归生成。
• 关键改写：使用 Bellman equations 将 PMD 重述为 trajectory-level objective。
• 避免：估计 intermediate state values，即中间状态价值。
• 理论：证明该改写目标与原 PMD 目标具有相同 unique optimal solution。
• 实用损失：通过近似该目标得到 BPO loss。
• 权重设计：mismatch-correction weight 是 complementary token probabilities 的 smoothed ratio，即互补 token 概率的平滑比值。
• 实验：在 mathematical reasoning benchmarks 上展示有效性。

主要结果或产业意义

材料仅称 BPO 在数学推理基准上“有效”，未提供基准名称、模型规模、对照方法或具体数值。若结果可复现，其潜在意义在于为 LLM 的 RLVR/推理训练提供一条不依赖 critic、且不估计中间状态价值的策略优化路径；具体效率、稳定性与可扩展性收益待核实。

为什么重要

已有相关卡片中，β-OPSD 关注策略优化族与自蒸馏的数学推理训练，SPO++ 关注异步智能体 RL 的流对齐策略优化，APO 关注原子结构预测的无监督策略优化。BPO 的增量在于：它把 PMD 与 Bellman 方程连接起来，针对带终端奖励的自回归 LLM 生成构造轨迹级目标，并声称理论等价于 PMD。这为“无 critic 的 RLVR”提供了一个与上述卡片不同的推导路线；是否形成互补或竞争关系，待原文对比。

局限与不确定性

• 实验细节：模型、基准、训练数据、对照方法、提升幅度、方差等均待核实。
• 理论细节：唯一最优解的条件、证明假设、近似误差界待核实。
• 方法边界：是否仅适用于终端奖励、是否可扩展到过程奖励或中间奖励，待核实。
• 权重机制：mismatch-correction weight 的具体定义、平滑方式与稳定性分析待核实。
• 工程成本：虽然避免中间状态价值估计，但整体计算/显存开销是否更低待核实。
• 复现与发表状态：代码、超参、预印本同行评审状态待核实。
• 关键词：材料未单列官方英文关键词，本卡片所列关键词为摘要术语整理。

可用于图书/PPT/简报的角度

• 用一页解释“Bellman 方程如何把序列生成中的 PMD 改写成轨迹级目标”。
• 对比“有 critic / 无 critic”的 LLM RLVR 路线，突出 BPO 不估计中间状态价值。
• 把 BPO 放入策略优化谱系：PMD、BPO、β-OPSD、SPO++ 等，但只做差异框架，不引用未核实数值。
• 讨论“终端奖励 + 自回归生成”这一设定为何适合 Bellman 视角。
• 作为数学推理基准上的 RLVR 方法案例，提示读者核查原文实验表。

原始材料

• 英文标题：Bellman Policy Optimization
• 英文关键词（据摘要术语整理，材料未单列）：RLVR; Bellman Policy Optimization (BPO); Policy Mirror Descent (PMD); critic-free; large language models (LLMs); mathematical reasoning.
• 作者：Zhuoqing Song, Haotian Xu, Xikun Zhang, Lidong Bing
• arXiv ID：2609.15987v1
• 发布/更新：2026-09-14T17:59:47Z
• 分类：cs.LG; cs.LG, cs.CL, math.OC
• Abstract URL：https://arxiv.org/abs/2609.15987v1
• PDF URL：https://arxiv.org/pdf/2609.15987v1
• 来源：上述 arXiv 摘要与元数据。