知识卡片：AA-3D——交互式3D体验生成基准

一句话结论

AA-3D 是 Artificial Analysis 于 2026 年 10 月 12 日发布的基准测试，通过盲测人类偏好投票（Elo 排名）衡量 AI 模型将文字简报转化为可运行 three.js 交互式 3D 场景的能力；Claude Sonnet 5.5 以 1194 Elo 居首，但与三家 Anthropic/OpenAI 模型统计上并列。

事件概述或研究问题

• 发布方：Artificial Analysis
• 发布时间：2026 年 10 月 12 日
• 核心问题：AI 模型能否把一段书面简报转化为人们愿意探索的交互式 3D 场景？
• 评估方式：每个模型作为离线沙箱中的代理运行，将简报转化为一个 three.js 网页；招募的评审小组对同一简报下不同模型的场景进行两两盲测比较（不知道哪个模型生成），按 Elo 排名。

方法/产品要点

• 运行环境：离线沙箱，包含 Blender、Rapier 物理引擎、Python、无头浏览器以及 CC0 素材库。
• 工作流程（4 步）：Build（构建）→ Check（检查）→ Vote（投票）→ Rank（排名）。
• 代理循环：模型获得一份交互场景的书面简报，加上所有任务共享的交付合约；它编写代码、渲染场景、查看自己的截图并进行修改。
• 运行限制：单次运行在 3 小时或 250 轮后停止，输出为可在浏览器中运行场景的 index.html 页面。
• 投票机制：评审小组比较同一简报下两个场景，不知道制作者；投票结果用于 Elo 排名。
• 任务领域：地标与真实地点、机械、自然现象、生命体、游戏/运动/驾驶、太空、故事与奇幻等。

主要结果或产业意义

排行榜（v1.0，截至 2026 年 10 月 12 日）

• Claude Sonnet 5.5 最高 Elo 1194，但前四名统计上并列（95% 置信区间均与 Claude Sonnet 5.5 重叠），全部来自 Anthropic 和 OpenAI。
• Meta 的 Muse Spark 1.3 第七（1035）。
• 最佳开放权重模型 Kimi K3（982）和 MiMo-V2.6-Pro（977）分列第 11、12 名，落后 200 分以上。

成本

• 单场景成本从 $0.20 到 $32.08 不等；GPT-6 Luna 最便宜，Claude Fable 5.1 最贵。
• 输入占总支出 69%（因代理每轮重发整个上下文）。
• 前五名中 GPT-6 Sol 单场景最省（$3.46）；Claude Sonnet 5.5 是其 4.4 倍，Claude Fable 5.1 是 9.3 倍。
• GPT-6 Luna 单场景 $0.20 仍排第八，构建了全部 55 个场景；Kimi K3 单场景花费是其 68 倍，Elo 相近。

关键发现

• 早期视觉自检与 Elo 高度相关：前五名首次查看自己场景图像的中位轮次为 10–13 轮，第 14–20 名则等到 15–40 轮；19 个具备图像查看能力的模型中，早期查看与 Elo 的 Spearman 相关系数为 0.82。查看频率不如查看时机重要（MiniMax-M3 每场景查看 54 次但排第 19）。
• 细节丰富的场景赢得更多投票：每任务中细节最高的五分之一场景截图体积是低细节组的两倍（168 KB vs 84 KB），空白少三分之一（22% vs 60%），赢得 63% 的选票（低细节组仅 31%）。
• 通用智能指数与 AA-3D Elo 高度相关（Pearson 0.92，每点 Intelligence Index 约值 18 Elo）。GPT-6 系列（Luna、Sol、Astra）超出趋势线最多；GLM-5.3 低于趋势线最多（197 分），部分因其无法查看图像。
• 资产库使用与排名正相关（Spearman 0.53），但使用库的场景并不会比同模型其他场景赢得更多投票。
• 输出 token 数和轮次与 Elo 无显著关联。
• 代理 82% 的工具时间用于浏览器测试页面；写代码仅占工具时间的 6%。
• UI 控件数量与 Elo 高度相关（Pearson 0.90）：前五名中位显示 15–20 个按钮/控件，后三名仅 6–8 个。
• 速度不区分模型：所有模型的中位帧 GPU 时间低于 1.3 ms，远低于 60 fps 所需的 16.7 ms。

为什么重要

• AA-3D 是首个以盲测人类偏好（而非自动化指标）衡量 AI 模型生成交互式 3D 体验能力的基准。
• 揭示了"早期视觉自检"和"细节丰富度"与最终人类偏好的强关联，为代理式 3D 生成提供了可操作的工程洞察。
• 区分了"生成成本"与"生成质量"：高成本不等于高排名（如 GPT-6 Luna 低成本仍排第八；Kimi K3 高成本却相近 Elo）。
• 与既有 AA 系列基准（如 AA-Briefcase 评估长周期知识工作代理能力）形成互补，AA-3D 聚焦于空间/视觉/交互式的代理构建能力。

局限与不确定性

• 数据仅反映发布时（2026 年 10 月 12 日）的 AA-3D v1.0 结果。
• 细节与投票的因果关系无法从数据确定：较强模型倾向于生成更详细的场景，但细节本身是否导致更多投票无法确认（同模型内细节效应仅约 1.5 个百分点）。
• 86 个场景度量中仅 11 个通过校正检验，且没有一项能使投票率变动超过 4 个百分点。
• Inkling 因缺少代表性缓存命中率而未纳入成本图表。
• GLM-5.3 和 Nemotron 3 Ultra 为纯文本模型，无法查看图像。
• 投票页面上 23 个场景（共 1,008 个）因损坏被排除。
• 待核实：AA-3D 后续版本（v1.1+）的更新情况、评审小组的规模与构成细节、Elo 计算方法的具体参数。

可用于图书/PPT/简报的角度

• "AI 如何学会看自己的作品"：早期视觉自检与最终人类偏好的强相关——类比人类设计师的迭代工作流。
• "成本 vs 质量并非线性"：AI 代理生成 3D 场景的经济学——最便宜的不一定最差，最贵的不一定最好。
• "AI 生成 3D 的现状"：从文字到可交互 three.js 场景的完整代理工作流展示。
• "代理行为画像"：82% 工具时间用于测试页面——AI 代理像人类开发者一样"先跑起来再说"。
• "盲测人类偏好"：如何用 Elo 系统评估主观的 3D 体验质量。
• "通用智能差距"：为什么无法查看图像的模型（GLM-5.3）排名大幅落后。
• "UI 控件数量与排名"：交互丰富度作为 3D 体验质量的可量化指标。

与既有脉络的关系

本卡片延续 Artificial Analysis 系列基准评估脉络。与 AA-Briefcase（长周期知识工作代理能力）和 ParseBench（文档解析）不同，AA-3D 首次将评估维度拓展到交互式 3D 空间构建，填补了"代理能否生成人们愿意探索的视觉交互体验"这一评测空白。其增量信息在于：引入了盲测人类偏好投票与 3D 场景生成相结合的新方法论，并揭示了视觉自检时机、细节丰富度、UI 控件数量等与人类偏好的量化关联。

原始材料

• 标题：Announcing AA-3D: a benchmark for AI models building interactive 3D experiences
• 来源：Artificial Analysis
• URL：https://artificialanalysis.ai/articles/aa-3d
• 发布日期：2026 年 10 月 12 日
• 关键链接：AA-3D leaderboard（实时结果）、AA-3D Voting（试用投票）、methodology（方法论）
• 关键词：AA-3D, benchmark, interactive 3D, three.js, Elo, blind pairwise votes, agent, Artificial Analysis, Claude Sonnet 5.5, GPT-6, 3D scene generation