标准 SFT 通常只对智能体产生的动作 token 计算损失,把环境观测仅当作上下文;ActObs 额外监督轨迹中已有的观测 token,在不增加数据、参数、序列 token 或前向次数的情况下,改变后续 GRPO 的探索行为,并在部分基准上提高 pass@k、保留更高熵、减少策略漂移。
值得关注:本条关注的是基础模型训练目标层面的问题:SFT 是否应该掩蔽环境观测。与已有相关卡片相比,它不重复 SENTINEL-RL 的智能体架构卸载、SovereignPA-Bench 的用户主权评估,或验证孪生网络阈值方法;…