知识卡片：不要掩蔽环境——观测监督改变智能体在强化学习中的探索方式

一句话结论
标准 SFT 通常只对智能体产生的动作 token 计算损失，把环境观测仅当作上下文；ActObs 额外监督轨迹中已有的观测 token，在不增加数据、参数、序列 token 或前向次数的情况下，改变后续 GRPO 的探索行为，并在部分基准上提高 pass@k、保留更高熵、减少策略漂移。

事件概述或研究问题
论文标题为 Don't Mask the Environment: Observation Supervision Changes How Agents Explore Under RL。它提出的问题是：标准监督微调（SFT）只对 agent-authored action tokens 施加损失、将 environment observations 作为上下文但不作为预测目标，这种惯例是否能为后续强化学习提供最佳初始化。
智能体轨迹记录“智能体做了什么”以及“接下来发生了什么”；ActObs 则进一步监督每条轨迹中已经存在的 observation tokens。

方法/产品要点

• ActObs：在 SFT 中不仅监督动作 token，也监督轨迹里已有的观测 token。
• 部署时智能体并不会自己生成观测，但学习预测观测可促使策略建模动作后果。
• 材料称该方法不增加数据、参数、序列 token 或前向次数。
• 后续使用 GRPO 进行强化学习评估；涉及模型包括 Qwen3-4B、Qwen3-8B；基准包括 Terminal-Bench 2.0 与 aider-polyglot。
• 分析指出：在 SFT 中，动作梯度与观测梯度迅速变得正交；仅动作训练会留下较大的残差观测梯度，并使环境预测退化到低于基础模型。联合监督可防止单侧特化，保留后果预测能力。

主要结果或产业意义

• 方法在 SFT 后表现相似，但在 GRPO 后出现分化。
• 在 Qwen3-4B 上，从 ActObs 出发的 GRPO 在 Terminal-Bench 2.0 的每个评估采样预算上，pass@k 均高于仅动作对照。
• 在 Qwen3-8B 上，它牺牲部分 pass@1 可靠性，换取更高 pass@k：pass@16 提升 +3.4 pp，并解决更多不同任务。
• 在 aider-polyglot 的跨域代码编辑上，4B 模型的 pass@1 提升 +4.2 pp，而这些任务在 SFT 和 RL 中均未见过。
• ActObs 在 RL 期间保留更多熵，同时需要更少策略移动，使最终策略更接近其 SFT 初始化。
• 产业意义：SFT 的 loss mask 设计不只是工程细节，而可能影响后续 RL 的探索质量、后果建模与跨域迁移。

为什么重要
本条关注的是基础模型训练目标层面的问题：SFT 是否应该掩蔽环境观测。与已有相关卡片相比，它不重复 SENTINEL-RL 的智能体架构卸载、SovereignPA-Bench 的用户主权评估，或验证孪生网络阈值方法；增量在于指出“观测监督”会改变 RL 探索动态，并可能以低成本改善智能体初始化。
如果该结论可复现，它会挑战“只监督智能体动作 token”的常规做法，并为 tool-use、终端操作、代码编辑等智能体训练流程提供新的设计变量。

局限与不确定性

• 本卡片依据摘要与元数据，未读全文；数据集规模、超参数、统计显著性、重复次数、计算成本等实验细节待核实。
• 适用范围待核实：其他模型、其他 RL 算法、其他智能体环境与观测模态是否同样受益。
• 部署时智能体不会生成观测，因此“预测观测”在真实任务中的因果作用仍需更多验证。
• pass@1 与 pass@k 之间的权衡可能任务依赖；安全、鲁棒性、事实性等影响待核实。
• 是否会对观测格式或观测分布过拟合，待核实。

可用于图书/PPT/简报的角度

• “不要掩蔽环境”：SFT 的掩码策略决定 RL 的起点。
• 观测预测作为轻量后果建模：不生成观测，但学习预测观测。
• 单侧专业化 vs 联合监督：仅动作训练可能损害环境预测。
• 熵与策略移动：ActObs 保留更多熵、需要更少策略移动。
• 跨域迁移证据：在 SFT 和 RL 未见任务上的 aider-polyglot 提升。
• 智能体训练 pipeline 设计：SFT 目标与 RL 探索之间存在可干预联系。

原始材料

• 英文标题：Don't Mask the Environment: Observation Supervision Changes How Agents Explore Under RL
• 英文关键词（据材料整理）：SFT; observation supervision; ActObs; GRPO; pass@k; Terminal-Bench 2.0; aider-polyglot; Qwen3-4B; Qwen3-8B; entropy; policy movement; action-only; observation gradients
• 作者：Juzheng Zhang, Disha Makhija, Manoj Ghuhan Arivazhagan, Vinayshekhar Bannihatti Kumar, Rashmi Gangadharaiah
• arXiv ID：2609.20715v1
• 分类：cs.LG; cs.AI; cs.CL
• 发布/更新：2026-09-17T17:11:29Z
• Abstract URL：https://arxiv.org/abs/2609.20715v1
• PDF URL：https://arxiv.org/pdf/2609.20715v1