知识卡片：MintAct：面向数字环境的统一视觉代理

一句话结论

MintAct 提出一个统一视觉代理模型家族，试图用同一套 vision-language models 覆盖 UI grounding、移动/桌面/Web 多步导航和 visual tool use，并配套可扩展环境与异步强化学习基础设施；摘要称其在可比模型规模下达到多个基准的 state-of-the-art，其中 OSWorld-Verified 得分为 48.9。

事件概述或研究问题

英文标题为 MintAct: A Unified Visual Agent for Digital Environments。该工作关注数字环境中的通用视觉代理：如何统一此前可能按领域拆分的 UI 定位、跨平台多步导航和视觉工具调用能力，并让 2B、4B、8B 规模的统一模型匹配各领域专家模型。当前信息主要来自 arXiv 摘要，全文实验设置与复现细节待核实。

方法/产品要点

• 模型：MintAct 是一族 vision-language models，提供 2B、4B、8B 三个参数规模。
• 能力范围：统一 UI grounding、多步导航（mobile、desktop、web）和 visual tool use。
• 训练设计：摘要称通过环境、数据和训练 recipe 的设计，使统一模型匹配 per-domain specialists。
• 环境基础设施：托管数百个并发实例，跨异构 per-domain backends，用于轨迹数据收集和 online RL。
• RL 基础设施：异步框架显式控制 cross-domain training distribution，并声称在 noisy environment feedback 与 off-policy drift 下保持稳定。
• 结果：摘要报告在广泛基准上取得 state-of-the-art；OSWorld-Verified 得分为 48.9，且处于可比模型规模。

主要结果或产业意义

• 摘要中唯一明确数值是 OSWorld-Verified 48.9。
• 摘要声称在可比模型规模下跨多个基准达到 state-of-the-art，并匹配 per-domain specialists；具体 benchmark 列表、对比基线、各能力得分和 specialist 配置待核实。
• 若可复现，统一视觉代理加在线 RL 训练基础设施可能降低为移动、桌面、Web 分别维护专用代理的成本，并有利于跨域数据复用与迁移。产业影响需以全文、代码、权重和环境可用性为准。

为什么重要

• 数字环境代理通常面临平台碎片化：移动、桌面、Web 的 UI 结构、动作空间和工具接口不同。MintAct 的增量在于尝试用一个模型家族和一套训练/环境基础设施统一这些能力，而不是只做单一领域 specialist。
• 异步 RL 与跨域训练分布控制若成立，可能为大规模、多域在线训练提供工程参考，尤其是环境反馈噪声和 off-policy drift 下的稳定性问题。
• 与既有“MM-ToolSandBox：统一评估视觉工具调用代理的框架”卡片相比，本卡关注的是模型与训练/环境基础设施侧，而非评估框架；二者是否共享任务、指标或工具集待核实。与“Masked Visual Actions”等世界模型/控制接口卡片相比，本卡面向数字 UI 环境而非机器人或视频世界模型，属于不同问题域。

局限与不确定性

• 以上信息主要来自 arXiv 摘要，未呈现全文细节：训练数据规模、环境数量、任务分布、动作空间、工具定义、奖励设计、超参数、计算资源等均待核实。
• “match performance of per-domain specialists”缺少具体对比数字和统计显著性；哪些领域、哪些 specialist、是否同参数量级待核实。
• OSWorld-Verified 48.9 的具体评测协议、是否使用外部工具、是否多次运行取平均、方差等待核实。
• 异步 RL 在 noisy environment feedback 和 off-policy drift 下的稳定性声明，需要实验范围和消融支持；目前无法从摘要确认。
• 模型、代码、数据或环境是否开源/可复现待核实。

可用于图书/PPT/简报的角度

• “一个模型家族统一移动、桌面、Web 代理”作为数字代理从专用走向通用的案例。
• “环境与 RL 基础设施”作为代理能力背后的工程系统：并发实例、异构后端、轨迹收集、在线 RL。
• “跨域训练分布控制”和“异步 RL 稳定性”作为多域代理训练的工程挑战。
• “OSWorld-Verified 48.9”作为可视化指标，但需注明来自摘要、待全文核实。
• “统一模型能否匹配 per-domain specialists”作为通用 vs 专用的讨论切口。

原始材料

• 英文标题：MintAct: A Unified Visual Agent for Digital Environments
• 英文关键词（材料未单独列出，据摘要提取）：UI grounding; multi-step navigation; visual tool use; vision-language models; reinforcement learning; OSWorld-Verified
• arXiv ID：2609.22083v1
• 作者：Mingfei Gao, Rui Tian, Haiming Gang, Bohan Zhai, Le Zhang, Yuanzheng Gong, Di Feng, Ege Özsoy, Kaixin Ma, Vishwesh Kirthivasan, Oğuzhan Fatih Kar, Roman Bachmann, Anders Boesen Lindbo Larsen, Afshin Dehghan
• 发布日期：2026-09-18T17:59:34Z；更新日期：同
• 主分类：cs.CV；分类：cs.CV
• 摘要链接：https://arxiv.org/abs/2609.22083v1
• PDF：https://arxiv.org/pdf/2609.22083v1