知识卡片:WildAWM —— 面向通用计算机使用智能体的可扩展环境与任务合成管线
一句话结论
WildAWM 提出了一条完全由开源模型驱动的可扩展管线,用于合成同时支持 GUI、模型上下文协议(MCP)服务与命令行界面的可执行环境及长程任务,仅用合成世界训练的两个 Qwen 模型在 8 个分布外基准上均取得显著提升,表明“在合成世界中交互学习”可泛化到未见过的计算机使用任务。
事件概述或研究问题
- 智能体学习正从“从人类数据中学习”转向“通过与世界交互学习”,但直接在真实计算机系统中扩展这种学习困难且可能带来显著安全风险。
- 现有方法通常只针对单一智能体交互接口(如仅 GUI 或仅 CLI)专门化,缺乏能同时覆盖多种交互方式的训练环境。
- 任务合成中存在三个反复出现的挑战:确保任务可解(solvability)、维持足够难度、以及产生可靠的验证器(verifier)。
- 论文提出 WildAWM,试图以可扩展方式合成可控环境与任务,用于训练通用计算机使用智能体(CUA)。
方法/产品要点
- 多接口可执行环境:构建的可执行环境联合支持图形用户界面(GUI)、模型上下文协议(MCP)服务与命令行界面(CLI),使智能体能够灵活组合视觉交互、工具调用与代码执行。
- 完全开源模型驱动:WildAWM 完全由开源模型驱动,论证了无需专有前沿模型也能生成高质量计算机使用环境。
- 基于执行的质量门控:为应对可解性、难度与验证器可靠性三个挑战,引入基于执行的质量门控,结合异构智能体 rollout、交叉评审一致性检查(cross-judge consistency checks)以及对判断鲁棒性的反事实探测(counterfactual probes)。
- 合成规模与难度:管线合成 341 个长程环境-任务对,解决某些任务可能需要超过 100 个智能体步骤;即使对前沿模型也仍具挑战性。
- 训练验证:仅在合成世界中训练两个不同规模的 Qwen 模型,并在覆盖 web、claw 与 computer-use 智能体的 8 个分布外基准上评估。
- 代码开放:代码公开于 https://github.com/MSR-Orchard/WildAWM 。
主要结果或产业意义
- 合成的 341 个长程环境-任务对中,GPT-6-Astra 仅解决 60%,说明任务对前沿模型仍具挑战性。
- 仅在 WildAWM 合成世界中训练的两个不同规模 Qwen 模型,在 8 个分布外基准(跨度 web、claw、computer-use 智能体)上均取得显著增益。
- 结果表明在 WildAWM 合成世界中的学习可广泛泛化到未见过的计算机使用任务,支持“合成环境+交互学习”作为扩展 CUA 训练的可替代路径。
- 产业意义上,提供了一条不依赖专有前沿模型、可控制且规避真实系统安全风险的环境与任务生成方案。
为什么重要
- 把智能体训练的数据来源从人类示范转向可控合成环境中的交互,绕开了在真实计算机系统上大规模试错的安全风险。
- 多接口联合支持(GUI + MCP + CLI)贴近真实计算机使用的复合形态,比单一接口环境更可能培养可迁移的通用能力。
- 完全开源模型驱动 + 代码公开,降低了高质量 CUA 训练环境构建的门槛,具备较强的可复现与可扩展价值。
- 基于执行的质量门控为“任务可解、难度足够、验证可靠”这三个合成任务的共性难题提供了可操作的工程思路。
局限与不确定性
- 材料未给出两个 Qwen 模型的具体规模、训练细节与各基准的具体增益数值,待核实。
- “claw”基准的具体所指与评测设置,材料未展开,待核实。
- 341 个环境-任务对的领域覆盖范围、环境复杂度分布与合成成本,材料未说明,待核实。
- 质量门控中异构 rollout、交叉评审与反事实探测的具体实现与消融效果,材料未提供,待核实。
- GPT-6-Astra 的评测条件(尝试次数、提示设置等)材料未说明,待核实。
可用于图书/PPT/简报的角度
- 范式转变:从“学习人类数据”到“在合成世界中交互学习”,可作为智能体训练范式演进的章节引子。
- 安全与可扩展的平衡:真实系统试错的安全风险 vs. 可控合成环境的工程化方案,适合做对比图示。
- 多接口融合:GUI + MCP + CLI 的联合支持,可作为“通用计算机使用智能体”能力拼图的示意。
- 质量工程:把“可解性、难度、验证器可靠性”作为任务合成的三道质量门,适合做成流程图或质量门控示意。
- 开源可行性:完全开源模型驱动生成环境,可作为“不依赖前沿闭源模型”的案例。
- 泛化证据:仅合成数据训练即在 8 个 OOD 基准提升,可用于讨论合成数据的迁移价值。
原始材料
- 标题:Agent World Model in the Wild: Computer-Use Agent Environment Synthesis
- arXiv ID:2610.26828v1
- 作者:Zhaoyang Wang, Qianhui Wu, Haorui Wang, Simon Yu, Baolin Peng, Canwen Xu, Hao Cheng, Wenlin Yao, Boyi Liu, Yite Wang, Jianfeng Gao, Huaxiu Yao
- 发布/更新:2026-10-19T17:55:35Z
- 主分类:cs.AI;交叉分类:cs.CL, cs.LG
- Abstract URL:https://arxiv.org/abs/2610.26828v1
- PDF URL:https://arxiv.org/pdf/2610.26828v1
- 代码:https://github.com/MSR-Orchard/WildAWM
- 关键词:Computer-Use Agents; Environment Synthesis; Task Synthesis; Agent World Model; Open-Source Models; Out-of-Distribution Generalization
发现内容有误?
免登录提交,管理员审核并完成修正后才会公开修订说明。
值得关注
把智能体训练的数据来源从人类示范转向可控合成环境中的交互,绕开了在真实计算机系统上大规模试错的安全风险。 多接口联合支持(GUI + MCP + CLI)贴近真实计算机使用的复合形态,比单一接口环境更可能培养可迁移的通用能力。 完全开源模型驱动 + 代码公开,降低了高质量 CUA 训练环境构建的门槛,具备较强的可复现与可扩展价值。 基于执行的质量门控为“任…
相关主题
对应的教材知识点
根据卡片内容自动匹配,点击查看已审核的教材讲解: