知识卡片：UniClawBench：面向真实世界任务的主动智能体通用基准

一句话结论

UniClawBench 是首个基于能力驱动设计的基准，用于在动态真实环境中评估主动智能体（proactive agents），并通过细粒度逐步检查点、闭环评估策略以及多框架对比，揭示了基础模型能力与代理框架设计如何共同影响真实世界任务表现。

事件概述或研究问题

大型语言模型和多模态大语言模型的快速发展催生了能够操作日常工具并协助用户的主动智能体。然而，现有基准大多依赖沙盒环境和单轮评估范式，且基于场景的任务分类将多种模型能力混杂在同一任务类别中，难以定位智能体失败的根源。该研究旨在解决这一评估困境，提出一种能有效拆解和测量主动智能体关键能力的新基准。

方法/产品要点

• 能力驱动设计：围绕五种基础模型能力构建——Skill Usage（技能使用）、Exploration（探索）、Long-Context Reasoning（长上下文推理）、Multimodal Understanding（多模态理解）、Cross-Platform Coordination（跨平台协作）。
• 任务规模：设计 400 个双语（中/英）真实世界任务。
• 动态评估环境：在实时 Docker 容器中执行任务，使用细粒度、逐步完成的检查点进行评分，取代静态预录答案。
• 闭环评估策略：包含执行智能体（executor agent）、隐藏监督智能体（hidden supervisor agent）和用户智能体（user agent），模拟真实多轮人类反馈，且不泄露评分标准。
• 模型与框架解耦：在多种代理框架下评估多个最先进模型，以区分基础模型能力和框架设计选择的影响。

主要结果或产业意义

• 通过跨模型和跨框架的全面比较，揭示了基础模型能力与代理框架设计共同塑造真实环境中的性能。
• 提供了公开的基准测试和代码（https://github.com/HKU-MMLab/UniClawBench），为后续主动智能体研究提供标准化评估工具。
• 能力驱动的分类方式有助于精准识别智能体失败的根因，为模型和系统改进提供明确方向。

为什么重要

现有基准无法有效评估主动智能体在复杂动态环境中的表现，UniClawBench 填补了这一空白。其基于能力的分解方法、实时 Docker 评估和闭环多轮反馈机制，更贴近实际部署场景，能够推动更可靠、更实用的主动智能体研发。

局限与不确定性

待核实：原文未明确讨论该基准的局限（例如：400 个任务是否覆盖所有真实场景类型、Docker 环境模拟与真实物理世界之间的差距、双语任务的语言平衡性等）。

可用于图书/PPT/简报的角度

• 主动智能体评估困境与 UniClawBench 的创新解决方案
• 从场景驱动到能力驱动：基准设计范式转变
• 如何通过闭环多智能体模拟实现公平的自动评估
• 模型与框架解耦分析的实践价值

原始材料

• 英文标题：UniClawBench: A Universal Benchmark for Proactive Agents on Real-World Tasks
• 英文关键词：UniClawBench, proactive agents, benchmark, capability-driven, real-world tasks
• 原始来源：arXiv: 2607.08768v1 (2026-07-09) | https://arxiv.org/abs/2607.08768v1
• 代码仓库：https://github.com/HKU-MMLab/UniClawBench