知识卡片：多轮长程规划的物理——从预训练到后训练的单教师与多教师在线策略蒸馏

一句话结论：显式世界模型构建（CoT状态转换建模）能提升长程泛化，少量长程数据即可促成组合泛化，而次优轨迹会严重损害性能；后训练中，OPD在低质量和长程设定下优于GRPO，多教师蒸馏（MOPD）通过收敛到共享规划模式实现跨环境泛化或持续学习，但完全冲突模式会导致严重干扰。

事件概述或研究问题：现有基础模型智能体训练依赖不可控且不透明的互联网数据，难以厘清多轮长程规划能力如何获取、塑造和整合。本文引入统一可控的多轮环境，系统研究了规划能力在预训练阶段的获取、后训练阶段的塑造（通过GRPO和OPD）以及通过多教师在线策略蒸馏（MOPD）的整合。

方法/产品要点：

• 预训练阶段：考察数据格式、分布和质量。显式世界模型构建（通过CoT状态转换建模）带来更强的长程泛化；仅靠原子技能不足以实现组合泛化，但加入少量长程数据即可奏效；次优轨迹会严重损害性能，因为错误随长程放大。
• 后训练阶段（单教师）：通过互信息区分通用规划模式与任务特定规划知识。识别出后训练的三种应用区域：不必要的、有效的、不支持的。在低质量和长程设定下，OPD比GRPO具有更宽的有效区域，因为它提供更一致的更新方向。对于规划知识，从知识不同的教师蒸馏未见过程可能损害学生先前的世界模型，且未能完全建立新知识。
• 后训练阶段（多教师）：MOPD通过收敛到跨环境的共享规划模式来整合能力。兼容模式实现跨环境泛化，部分共享模式支持持续学习，完全冲突模式导致严重干扰。

主要结果或产业意义：为提升基础模型智能体的长程规划能力提供了系统化的分析框架和蒸馏策略选择依据。OPD在低质量数据场景下优于GRPO，MOPD可处理多教师知识冲突，对实际部署中的模型后训练（如机器人控制、对话系统）有指导意义。

为什么重要：该工作是首篇在统一受控环境下从预训练到后训练全程解析长程规划能力底层机制的研究，区分了规划模式与规划知识，并展示了多教师蒸馏中模式兼容性对能力整合的决定性作用。与已有卡片“直接策略蒸馏实现从弱到强泛化”相比，本文强调了数据质量、长程数据占比以及多教师知识冲突的影响，补充了不同蒸馏策略（GRPO、OPD、MOPD）在长程规划中的适用边界。

局限与不确定性：所有结论基于作者设计的可控多轮模拟环境，未在真实复杂任务或大规模互联网数据上验证；摘要未提供具体环境细节和定量比较指标，部分发现（如“少量长程数据”的具体比例、“三个应用区域”的边界条件）待核实；蒸馏未见过程损害世界模型的现象是否普遍存在于其他任务类型中，尚需进一步实验。

可用于图书/PPT/简报的角度：

• “长程规划能力三阶段：获取、塑造、整合”——图解每个阶段的关键因素（数据质量、蒸馏策略、教师兼容性）。
• “单教师 vs 多教师蒸馏：什么时候用OPD，什么时候用MOPD？”——对比GRPO、OPD、MOPD的效果和适用条件。
• “小心次优轨迹：长程规划中错误放大的教训”——适合机器学习教学中的案例分析。

原始材料

• 英文标题：The Physics of Multi-Turn Long-Horizon Planning: From Pre-training to Post-training via Single- and Multi-Teacher On-Policy Agentic Distillation
• 英文关键词：foundation-model, multi-turn long-horizon planning, agentic distillation, GRPO, OPD, MOPD
• URL：https://arxiv.org/abs/2607.24720v1
• arXiv ID：2607.24720v1
• 完整摘要：见上文Fetched text excerpt部分