知识卡片：WorldAuditBench：用多模态智能体审计交互式3D世界

一句话结论

WorldAuditBench 将“交互式 3D 世界审计”作为评测多模态智能体能否耦合行动与视觉推理的任务；根据摘要，在固定探索预算下，五个前沿模型成功率仅为 6.6%–42.3%，远低于人类表现 83.4%。

事件概述或研究问题

根据摘要，交互式 3D 世界越来越多用于研究智能行为，因此需要高效发现模拟环境中的异常，例如悬浮物体、可穿越墙壁、与周围场景不一致的物体。核心问题是：VLM 和 VLA 等多模态 AI 系统能否把“行动”（在 3D 世界中导航并系统、高效地搜索异常）和“视觉推理”（从多模态观察中理解环境并识别异常）紧密耦合。摘要称这一点“largely unexplored”，论文因此提出 WorldAuditBench。

方法/产品要点

• 基准包含 213 个异常任务，覆盖 13 个环境；这些环境由 Unreal Engine 5 和 Three.js 构建，并跨越五类异常族（five anomaly families）。
• 评估五个前沿模型（five frontier models），在固定探索预算（fixed exploration budget）下比较两种审计范式：
  1. 先用 VLA 探索，再用 VLM 识别异常：VLA-based exploration followed by VLM-based anomaly identification；
  2. 端到端 VLM 智能体：视觉推理直接指导行动选择（end-to-end VLM agent in which visual reasoning directly guides action selection）。
• 具体模型名单、固定探索预算数值、五类异常族的完整分类、任务评分标准与实现细节：待核实。

主要结果或产业意义

• 在参与评估的模型和两种范式下，成功率范围为 6.6%–42.3%，显著低于人类表现 83.4%。
• 摘要指出，WorldAuditBench 可作为测试平台，研究多模态智能体如何在交互式 3D 环境中耦合行动与视觉推理，同时凸显当前智能体在探索过程中收集和解释证据的能力局限。
• 各模型、各范式分别的成功率与失败模式：待核实。是否公开代码、数据与排行榜：待核实。

为什么重要

• 它把 3D 世界质量检查/异常检测从单帧视觉识别，推进到“主动探索并验证异常”的交互式评测。
• 对具身智能、VLA/VLM 智能体和模拟环境质量保障都有直接评测意义：模型不仅要“看懂”，还要“走到能看懂的地方”并判断证据是否充分。
• 与既有相关卡片相比，Puffin-World 偏重原生 3D 世界状态建模，多玩家交互世界模型偏重实时交互生成，CAIRN 偏重跨房间 3D 场景理解；本卡片的增量在于“交互式世界审计”这一评测任务，强调行动—推理耦合和异常证据收集，而非生成或一般场景理解。

局限与不确定性

• 材料未给出五个前沿模型的具体名称与版本，待核实。
• 材料未列出五类异常族的完整名称，仅举例悬浮物体、可穿越墙壁、与周围场景不一致的物体，待核实。
• 固定探索预算的具体数值、成功判定规则、任务难度分布，待核实。
• 人类表现 83.4% 的评估协议、参与者数量与任务抽样方式，待核实。
• 13 个环境中 Unreal Engine 5 与 Three.js 各自承担的比例，待核实。
• 结论能否推广到真实 3D 场景、其他模拟器或开放世界，待核实。

可用于图书/PPT/简报的角度

• “在 3D 世界里找茬”：智能体必须同时解决导航搜索与视觉判断，类似主动式异常检测。
• 对比两种范式：VLA 探索 + VLM 识别，与端到端 VLM 直接指导行动，各自可能暴露的能力瓶颈。
• 用 6.6%–42.3% 对比人类 83.4%，说明当前多模态智能体在证据收集与解释上的差距。
• 讨论模拟环境质量保障、具身智能评测、多模态智能体行动—推理耦合。

原始材料

• 英文标题：WorldAuditBench: Interactive 3D World Auditing with Multimodal Agents
• 英文关键词：WorldAuditBench; Interactive 3D World Auditing; Multimodal Agents; Vision-Language Models (VLMs); Vision-Language-Action Models (VLAs); Unreal Engine 5; Three.js; anomaly families; fixed exploration budget
• arXiv ID：2609.40325v1
• Authors：Ziyan Jiang, Jingbo Yang, Jiabao Ji, Yujian Liu, Qiucheng Wu, Tommi Jaakkola, Yang Zhang, Shiyu Chang
• Published：2026-09-30T17:55:29Z
• Primary category：cs.AI；Categories：cs.AI
• Abstract URL：https://arxiv.org/abs/2609.40325v1
• PDF URL：https://arxiv.org/pdf/2609.40325v1