知识卡片：DreamX-Creator——原生音视频联合生成，2K分辨率民主化

一句话结论

DreamX-Creator 1.0 是一个以 7B 参数生成器为中心的原生音视频联合生成系统，能在给定首帧和文本提示的条件下联合去噪生成同步的音视频，并以 2K 分辨率输出，性能可与开源 SOTA 系统相竞争。

事件概述或研究问题

现有视频生成器往往忽略音频，或采用分离式两阶段合成，难以对视觉动态与声学事件进行相互建模。为此，DreamX-Creator 1.0 提出在一个紧凑模型中实现原生、同步的音视频联合生成。

方法/产品要点

• 基于 7B 参数生成器，条件为首帧 + 文本提示，联合去噪音频与视频流。
• 网络前一半独立处理模态专用流，后一半通过 Gated Cross-Modal Attention（门控跨模态注意力）耦合；其 token 级和 head 级输出门控制每个活跃跨模态注意力头输出。
• 统一音视频数据系统：构建并筛选时间连贯片段，生成结构化多模态标注，按能力导向组织数据池。
• 渐进式联合训练：两个音视频预训练阶段 + 高质量微调。
• 音视频强化学习：使用 Modality-Aware Multimodal Feedback，将视频、音频和跨模态反馈路由到对应流。
• 高清输出：Autoregressive 1-Step 2K Refinement 管线，将双向多步教师适配为自回归多步精炼器，并蒸馏为每个时间块只需一次去噪评估的学生模型。

主要结果或产业意义

• 实现原生、同步的音视频生成，性能与开源 SOTA 系统竞争。
• 发布紧凑 7B 生成器和 2K Refiner，旨在民主化原生音视频生成，为统一音视频生成建模提供可访问基础。

为什么重要

• 与已有视频生成卡片（如 OmniReasoner 的长音频-视频推理、几何互易定理的立体视频生成、MV-Forcing 的多视角视频生成）不同，本条聚焦于“音频 + 视频”的联合原生生成，而非后处理或外部工具辅助。
• 增量信息：采用联合去噪与门控跨模态注意力，而非分离式音频合成；公开紧凑模型，降低高性能音视频生成门槛。

局限与不确定性

• 关于模型架构细节、训练数据规模、具体评测指标、与 SOTA 对比的定量结果等，由于原始材料仅有摘要，均待核实。
• “2K 分辨率”在摘要中作为系统能力出现，但具体生成时长、推理速度、硬件需求等未知，待核实。
• 论文发表于 arXiv，但完整正文未抓取，作者信息、发布日期、代码仓库等待核实。

可用于图书/PPT/简报的角度

• 趋势：从“视频生成”到“原生音视频生成”的转变。
• 技术亮点：门控跨模态注意力如何实现模态间协同。
• 民主化：7B 紧凑模型 + 2K 精炼器，降低研究门槛。
• 训练策略：渐进式联合训练 + 强化学习反馈路由。

原始材料

• 英文标题：DreamX-Creator: Democratizing Native Audio-Video Generation at 2K Resolution
• 英文关键词：Audio-Video Generation, Joint Denoising, Gated Cross-Modal Attention, 2K Resolution, Reinforcement Learning
• 来源：https://arxiv.org/abs/2608.31106v1