知识卡片：SonoWorld4D——从单视频生成4D视听场景

一句话结论

SonoWorld4D 提出“Video-to-4DAVScene”新任务，能从单目视频生成可探索、随时间变化的4D视听场景，并通过双空间音频扩散同步合成与场景几何一致的物理化空间音频。

事件概述或研究问题

此前视觉场景生成已从静态3D扩展到动态4D，但声音虽与动态物体和事件天然耦合，在已有工作中仍基本未被建模。本文要解决的问题是：如何仅凭一段单目视频，同时重建动态视觉场景与对应的空间声场，使生成结果支持新视角观看和空间音频渲染。

方法/产品要点

• 任务定义：Video-to-4DAVScene，将视频转为可探索、时变的4D视听场景。
• 视觉部分：生成360度静态背景；重建动态且发声的前景物体的显式运动轨迹。
• 音频部分：通过“双空间音频扩散同步”合成多声源间一致、物理化的声场。
• 渲染能力：所得4D场景支持实时新视角视觉渲染与空间音频渲染。
• 评估：在真实世界动态场景上评测，并辅以用户研究。

主要结果或产业意义

摘要称评测与用户研究显示，SonoWorld4D 生成的4D视听场景具有感知上真实、物理化且与场景几何和视觉内容一致的空间音频。具体量化指标未在摘要中给出，待核实。产业上，该方向可指向沉浸式内容制作、VR/AR场景重建与空间音频生成等应用。

为什么重要

已有4D场景生成工作多聚焦视觉（如4DAnyone、MV-Forcing等），声音长期缺位。本条将“声音”纳入4D场景生成闭环，提出视听联合的4D场景任务与框架，是对既有视觉主导脉络的补充与扩展。

局限与不确定性

• 摘要未给出具体数据集规模、量化指标与对比基线，待核实。
• “实时”渲染的具体硬件条件与帧率未说明，待核实。
• 双空间音频扩散同步的技术细节（如两空间定义、同步机制）在摘要中未展开，待核实。
• 仅基于摘要与元数据，方法实现与泛化能力待核实。

可用于图书/PPT/简报的角度

• 4D场景生成从“纯视觉”走向“视听一体”的演进线索。
• 单目视频作为低成本4D内容入口的潜力。
• 空间音频与场景几何一致性作为沉浸式体验的关键指标。
• 扩散模型在跨模态（视觉+音频）同步生成中的角色。

与既有脉络的关系

既有卡片中4DAnyone聚焦单目视频的4D人体重建、MV-Forcing聚焦多视角长视频生成，均为视觉侧工作；本条增量在于引入声音维度，提出视听联合的4D场景任务与音频扩散同步方法。

原始材料

• 标题：SonoWorld4D: From One Video to a 4D Audio-Visual Scene via Diffusion Synchronization
• 作者：Derong Jin, Xiyi Chen, Ming C. Lin, Ruohan Gao
• arXiv ID：2610.40640v1（cs.CV, cs.SD）
• 发布：2026-10-29
• 摘要页：https://arxiv.org/abs/2610.40640v1
• PDF：https://arxiv.org/pdf/2610.40640v1