知识卡片：WorldSonus：为世界模型带来声音

一句话结论

WorldSonus 是一个面向世界模型的交互式视频到音频框架，尝试用流式因果自回归扩散、按音频块索引的提示调度，以及立体声/Ambisonic 监督，为生成的视觉世界实时合成可交互、空间对齐的声音。

事件概述或研究问题

材料指出，世界模型在视觉合成上越来越真实，但生成环境大多仍是“无声”的。为世界模型引入声音面临三项核心挑战：

1. 实时生成，以跟上交互式视频流；
2. 交互控制，以响应生成过程中的声音指令；
3. 空间对齐的立体声，以反映场景几何与相机运动。

WorldSonus 被提出为一个交互式 video-to-audio 框架，目标是面向世界模型做实时空间声音合成。

方法/产品要点

• 实时生成：采用 streaming causal autoregressive diffusion architecture，合成音频块；材料给出的实时因子（RTF）为 0.41。
• 交互控制：引入以音频为中心的 captioning pipeline，并结合 chunk-indexed prompt scheduling，使声音事件在生成过程中可被动态操控。
• 空间对齐：利用从多样 stereo 与 ambisonic 数据中整理的高质量立体声监督。
• 定位：框架针对 world models 设计，但材料称其也能泛化到 open-domain video-to-audio benchmarks。

主要结果或产业意义

材料称，广泛实验表明：WorldSonus 虽然是为世界模型定制，但在 open-domain video-to-audio benchmarks 上有效泛化，并在 acoustic quality 与 spatial alignment 两方面，匹配或超越 state-of-the-art bidirectional models。
产业落地、产品化或具体商业场景在材料中未给出，待核实。

为什么重要

世界模型若只生成视觉画面，仍缺少沉浸式交互所需的声音层。WorldSonus 的重要性在于把“实时、可交互、空间对齐”作为世界模型音频生成的三项约束同时提出，并给出一个可匹配开放域视频到音频基准的框架。
与已有相关卡片（MeanFlowNFT、HIL-UMI、从SRA到Self-Flow）不直接重复；本条增量在于 foundation-model / world models 方向中的 video-to-audio 与实时空间声音合成。

局限与不确定性

• 材料仅提供 arXiv 摘要页抓取内容，未提供全文；具体基准名称、数据集规模、训练配置、硬件条件、延迟测试、消融实验和主观听感评价均待核实。
• RTF 0.41 的测量环境、输入输出长度定义和是否包含全部预处理/后处理，待核实。
• 与 state-of-the-art bidirectional models 的具体比较对象、指标定义和统计显著性，待核实。
• 是否开源、模型许可、可复现性、安全与滥用风险，待核实。
• 对中文或非英语声音场景的支持情况，材料未说明，待核实。

可用于图书/PPT/简报的角度

• 多感官世界模型：从只生成视觉画面，走向同时生成可交互声音环境。
• 实时交互式生成：以 RTF 0.41、流式因果自回归扩散为例，讨论实时音频生成架构。
• 空间音频与相机运动：用 stereo / ambisonic 监督解释声音如何跟随场景几何。
• 中流可控性：chunk-indexed prompt scheduling 如何让声音事件在生成过程中被操控。
• 跨域泛化：为 world models 定制的系统，为何仍可用于 open-domain video-to-audio benchmarks。
• 评估难点：同时评价 acoustic quality 与 spatial alignment 的挑战。

原始材料

• 英文标题：WorldSonus: Bringing Sound to Worlds
• 英文关键词/术语：原始材料未提供独立关键词表；以下为摘要与分类中可保留的英文术语：world models; video-to-audio; real-time spatial sound synthesis; streaming causal autoregressive diffusion; interactive control; chunk-indexed prompt scheduling; stereo/ambisonic data; RTF 0.41。
• arXiv ID：2610.08760v1
• 作者：Pengjun Fang, Jingyi Fa, Kam Man Wu, Jiaming Wang, Haoyuan Huang, Yaguang Wu, Xiangjun Huang, Ziyang Ma, Weijia Chen, Hongyu Liu, Zeyue Tian, Qifeng Chen
• Published/Updated：2026-10-06T17:50:18Z
• Primary category：cs.SD
• Categories：cs.SD, cs.AI, cs.CV, eess.AS
• Abstract URL：https://arxiv.org/abs/2610.08760v1
• PDF URL：https://arxiv.org/pdf/2610.08760v1
• Project page：https://noizai.github.io/WorldSonus/