知识卡片：Plover：通过以计划为中心的交互引导 GUI 代理

一句话结论

Plover 通过将任务计划外化为可检查、可修改的工件，使 GUI 自动化代理的运行更加透明、可控和可适应，用户可以在计划可见、干预局部化的前提下有效修复代理的失败行为。

事件概述或研究问题

真实世界中的 GUI 自动化面临动态布局、意外对话框和界面状态演变等挑战，导致自主代理容易偏离用户意图。现有基于视觉的多模态代理虽然通过直接操作截图和自然语言指令提高了灵活性，但其规划与适应过程往往内部化（internal），用户无法检查、监督或纠正系统行为。Plover 针对这一问题提出以计划为中心（plan-centric）的交互方案。

方法/产品要点

• 规划-执行架构：将任务计划（plan）外化为持久、可检查、可修改的工件。
• 明确监督与局部修正：支持用户监督执行过程，通过可编辑计划进行局部修正。
• 自然语言引导与截图干预：用户可输入自然语言指令或基于截图进行干预，同时保留修复期间的已有进度。
• 形成性研究：6 名参与者参与交互设计。

主要结果或产业意义

• 通过基准失败案例修复（benchmark failure-case repair）和场景化工作流分析（scenario-based workflow analyses）进行评估。
• 结果显示：当计划保持可见且干预局部化时，许多自主 GUI 代理的失败在结构上是可修复的；显式重新规划使 GUI 自动化更透明、可控和可适应。

为什么重要

现有视觉多模态代理将规划与适应视为内部过程，用户无法介入纠偏。Plover 首次系统性地将计划外化并支持局部修复，弥补了用户监督与代理自主性之间的鸿沟，为构建可信、可交互的 GUI 自动化系统提供了新思路。

局限与不确定性

待核实。摘要中未提及具体局限。

可用于图书/PPT/简报的角度

• 可解释的 GUI 自动化：如何让代理的“思考过程”可见并接受用户编辑。
• 用户参与的代理控制：从“全自动”到“人机协同”的 GUI 操作范式。
• 实证案例：基准失败案例的修复效果展示。

原始材料

• 英文标题：Plover: Steering GUI Agents through Plan-Centric Interaction
• arXiv ID: 2607.15193v1
• URL: https://arxiv.org/abs/2607.15193v1
• 英文关键词：GUI automation, vision-based multimodal agents, plan-centric interaction, planner-executor architecture