AI消息速览

4DCodeBench——动态场景逆图形的智能体基准

事件日期 2026-10-02 · 学术前沿 · 已接受

事件日期2026-10-02
信息日期2026-10-02
入库日期2026-10-05
通道学术前沿
状态已接受
来源arXiv 论文

知识卡片:4DCodeBench——动态场景逆图形的智能体基准

英文标题:4DCodeBench: Benchmarking Agents on Inverse Graphics of Dynamic Scenes
英文关键词(据标题与摘要提取,非官方关键词列表):4D inverse graphics; code generation; dynamic scenes; agents; physical simulations; deformation; fluid flow; fracture
原始来源:arXiv:2610.03715v1;https://arxiv.org/abs/2610.03715v1;https://arxiv.org/pdf/2610.03715v1;https://github.com/4DCodeBench/4DCodeBench

一句话结论

4DCodeBench 提出一个通过代码生成评估智能体进行 4D 逆图形的基准:智能体需从视频重建动态场景并输出可执行图形程序;摘要称对前沿模型的广泛评测显示,强静态重建能力尚未转化为对复杂动态的可靠重建。

事件概述或研究问题

研究问题是:智能体能否把视频中的视觉观察转化为紧凑的场景结构与动态表示,并通过实现物理模拟等抽象,以可执行图形程序复现复杂行为?该基准面向 4D 逆图形,以代码生成作为评测路径。

方法/产品要点

  • 任务形式:智能体从视频重建动态场景,结果表示为可执行图形程序。
  • 能力要求:将视觉观察翻译为场景结构与动态的紧凑表示;实现物理模拟等抽象以复现复杂行为。
  • 数据与场景:整理真实世界视频,并构建合成场景,覆盖形变、流体流动、断裂等多种物理现象。
  • 评测对象:摘要称对前沿模型进行了广泛基准测试。
  • 开源地址:https://github.com/4DCodeBench/4DCodeBench。
  • 具体任务数量、评价指标、模型清单、分数与人类基线:待核实。

主要结果或产业意义

摘要给出的主要发现是:强静态重建能力尚不能可靠迁移到复杂动态重建。该基准被定位为跟踪“能通过代码解释世界动态”的智能体进展的测试平台。具体排行榜、指标值及产业对比结论:待核实。

为什么重要

  • 它把动态世界理解评测放在“代码生成 + 逆图形”链路中,而不仅是静态重建能力。
  • 若智能体要可靠重建形变、流体、断裂等动态现象,可能需要程序化抽象与物理模拟,而非仅拟合外观。
  • 与已有动态世界/科学智能体基准(如 EarthVerse)相比,本条的增量信息在于:评测视频到可执行图形程序的逆图形能力,并将形变、流体、断裂等物理现象纳入代码生成基准;任务定义与评测协议不同。

局限与不确定性

  • 当前可确认信息主要来自摘要;具体数据规模、任务定义、评测协议、指标、模型表现分数、人类基线等均待核实。
  • “4D”在材料中未给出明确定义;按摘要语境可能指三维空间加时间,但需以论文正文为准,待核实。
  • GitHub 仓库虽已给出,但数据、代码、许可证是否完整公开及可复现程度待核实。
  • 合成场景与真实视频的配比、难度分布、是否存在数据泄漏或评测偏差,待核实。

可用于图书/PPT/简报的角度

  • “静态重建强 ≠ 动态理解强”:用该基准讨论智能体在动态场景中的能力缺口。
  • “代码作为世界模型的一种接口”:从视频到可执行程序,观察智能体如何用物理模拟等抽象复现复杂行为。
  • 逆图形与 4D 场景理解的评测设计:真实视频与合成物理现象的组合。
  • 动态物理现象覆盖:形变、流体、断裂等为何比静态物体重建更具挑战。
  • 基准跟踪作用:为“通过代码解释世界动态”的智能体进展提供测试平台。
  • 与动态世界/科学智能体基准的对照:可与其他基准并列为“动态环境可靠性”主题,但需注意任务定义不同。

原始材料

  • 英文标题:4DCodeBench: Benchmarking Agents on Inverse Graphics of Dynamic Scenes
  • 作者:Ruihong Shen, Žiga Kovačič, Peter Kulits, Xingrui Wang, Zizhang Li, Joshua B. Tenenbaum, Alan Yuille, Jieneng Chen, Jiajun Wu
  • arXiv ID:2610.03715v1
  • 发布/更新:2026-10-02T17:58:49Z(发布与更新同时间)
  • 主分类:cs.CV;分类:cs.CV, cs.AI, cs.GR
  • arXiv 摘要页:https://arxiv.org/abs/2610.03715v1
  • PDF:https://arxiv.org/pdf/2610.03715v1
  • 代码/基准仓库:https://github.com/4DCodeBench/4DCodeBench
  • 摘要原文(节选):We introduce 4DCodeBench, a benchmark for 4D inverse graphics through code generation, in which agents reconstruct dynamic scenes from video as executable graphics programs. ... We perform extensive benchmarking of frontier models, finding that strong static reconstruction capabilities do not yet translate into reliable reconstruction of complex dynamics. 4DCodeBench provides a testbed for tracking progress toward agents that can interpret the dynamics of the world through code.

发现内容有误?

免登录提交,管理员审核并完成修正后才会公开修订说明。

值得关注

它把动态世界理解评测放在“代码生成 + 逆图形”链路中,而不仅是静态重建能力。 若智能体要可靠重建形变、流体、断裂等动态现象,可能需要程序化抽象与物理模拟,而非仅拟合外观。 与已有动态世界/科学智能体基准(如 EarthVerse)相比,本条的增量信息在于:评测视频到可执行图形程序的逆图形能力,并将形变、流体、断裂等物理现象纳入代码生成基准;任务定义与评测…

相关主题

对应的教材知识点

教材知识点匹配尚未完成。