知识卡片：AEON：统一视频与3D世界模型

一句话结论

AEON 提出一个统一框架，在文本或图像条件化的视频潜空间中生成可渲染的 4D Gaussian Splatting（4DGS）显式表示，从而试图同时获得视频生成模型的真实感与 3D 生成模型的几何一致性。

事件概述或研究问题

当前面向显式世界模拟的世界模型大致分为两条路线：视频生成模型（如 Sora）外观真实但难以保持 3D 一致性；3D 生成模型（如 Marble）几何一致但观测往往静态、真实感较弱。AEON 的研究问题是能否将两者桥接，在一个框架内兼得视频级真实感与可渲染的 4D 显式世界表示。

方法/产品要点

• 核心思路：生成模型运行在文本或图像条件化的视频潜空间中，但输出的是可渲染的 4D 图形基元，即 4D Gaussian Splatting（4DGS），作为显式世界表示。
• 4D 解码器初始化：训练一个 4D 重建模型，从单目视频预测 4DGS 与相机位姿，作为初始化的 4D 解码器。
• 域适配器：设计 domain adapter，通过在视频 VAE 上的蒸馏过程，把生成式视频潜变量转换为重建式 4D 潜变量。
• 两类应用：在预测的相机轨迹上渲染 4DGS，即支持基于视频的世界建模；同时可构建带场景动态的持久 4D 环境，用于真实感世界模拟。
• 据摘要，在标准基准上取得 state-of-the-art 性能（具体基准与指标待核实）。

主要结果或产业意义

摘要称 AEON 在标准基准上达到当前最优，并支持多样化的世界建模应用；但摘要未列出具体数据集、对比方法与数值，相关细节待核实。产业意义上，若该方法可复现，则意味着世界模型可以同时输出“看起来真实”的视频与“几何上可编辑、可渲染”的 4D 场景，对仿真、内容生成与具身智能中的环境建模具有潜在价值。

为什么重要

它针对的是世界模型领域一个长期张力：视频路线与 3D 路线各自牺牲了一部分能力。AEON 的增量在于不放弃视频潜空间的生成能力，而是通过蒸馏把生成潜变量对接到重建式 4D 潜变量，并用 4DGS 作为统一输出接口。与已有卡片相比：SolarWM 关注长时程视频世界模型的开放数据与训练规模；4Director 用刚性三维几何作为视频世界模型的控制条件；PixWorld 在像素空间统一三维生成与重建。AEON 的差异点在于以 4DGS 为显式表示、以视频潜空间为生成入口，属于“视频—3D 统一”脉络中的另一条技术路径。

局限与不确定性

• 摘要未给出具体基准名称、对比对象与量化指标，state-of-the-art 声明待核实。
• 4DGS 表示的内存与渲染开销、对长时程动态场景的扩展性，材料中未说明，待核实。
• 域适配器的蒸馏过程依赖视频 VAE，其泛化性与对不同生成骨干的适用性待核实。
• 单目视频训练 4D 重建模型在遮挡与动态区域的表现，材料未涉及，待核实。

可用于图书/PPT/简报的角度

• 作为“世界模型两条路线走向融合”的案例：视频生成 vs. 3D 生成，AEON 用 4DGS 做交汇点。
• 解释“潜空间对齐”思路：生成式视频潜变量 → 重建式 4D 潜变量的蒸馏桥接。
• 与世界模型显式表示演进（NeRF → 3DGS → 4DGS）结合讲述。
• 与 4Director、PixWorld 并列，构成“几何/像素/4D 基元”三种统一路径的对比页。

与既有脉络的关系

本条延续“视频世界模型与显式几何结合”的脉络：4Director 提供刚性三维控制接口，PixWorld 在像素空间统一生成与重建，AEON 则以 4DGS 为显式世界表示、以视频潜空间为生成入口，补充了“4D 图形基元作为统一输出”的路线。增量信息在于域适配器与 4D 重建解码器的组合设计，而非单纯提升视频质量或几何精度。

原始材料

• 标题：AEON: Unifying Video and 3D World Models
• arXiv ID：2610.28631v1
• 作者：Weiqi Zhang, Wenyuan Zhang, Yu-Shen Liu, Junsheng Zhou
• 发布：2026-10-20T17:59:51Z
• 主分类：cs.CV
• Abstract URL: https://arxiv.org/abs/2610.28631v1
• PDF URL: https://arxiv.org/pdf/2610.28631v1
• Project Page: https://weiqi-zhang.github.io/AEON