知识卡片:Sand.ai开源全球首个千亿MoE视频生成模型MAGI-2-preview
一句话结论:Sand.ai 发布并开源了 MAGI-2-preview,据称是全球首个千亿参数级 MoE 视频生成模型,总参数 114B、激活参数约 6B,生成 10 秒 1080P 视频成本约 5 毛钱。
事件概述
据量子位 2026-08-05 报道,清华系团队 Sand.ai 推出了视频生成模型 MAGI-2-preview,并公开代码与权重。该模型采用 MoE 架构,总参数 114B,单次前向激活约 6B,被文章称为“全球首个千亿 MoE 视频生成模型”。
方法/产品要点
- 单流架构:文本、视频、音频进入同一个 Transformer,在每一层自注意力中直接交换信息,从底层联合建模音画关系,而非后期用交叉注意力拼接。
- 多头发射 MoE:采用 Multi-Head Latent MoE,将 3072 维隐藏表示拆成 12 个 256 维 head,每个 head 独立路由;36 层主体网络中每层有 3072 个专家单元,每个 token 在每个 head 内选择 6 个专家,合计激活 72 个小专家。
- 自研基础设施:自研 MagiMoE kernel 库,将路由、排序、专家计算整条链路压在一起,减少显存搬运;设计了 Head Parallel 并行策略,使通信量不随激活专家数波动;优化器采用矩阵参数用 Muon、专家参数用 AdamW 的混合方案。
- 数据策略:从“删减”转向“组织”,扩大有效数据规模,通过更精准的标注让模型学习场景、动作、声音的对应关系;预训练覆盖数据分布,后训练处理偏好对齐、可控性、安全性和产品适配。
- 开源:代码和权重已在 GitHub 开放:https://github.com/SandAI-org/MAGI-2-preview
主要结果或产业意义
- 按 8 卡 H100 当前行情估算,生成一段 10 秒 1080P 视频成本约 5 毛钱,约为行业主流模型的十分之一。
- 在 AA 视频生成榜单中排名第六,用约 6B 激活参数接近第一梯队效果。
- 首次将“千亿参数 + MoE + 开放权重”结合到视频生成模型上,为研究者提供了可解剖的千亿级视频 MoE 公开对象。
- 对企业而言,开源意味着多了私有化部署和行业微调选项,尤其利好金融、医疗、工业等数据敏感行业。
- 文章认为,开源模型在效果上持续逼近闭源后,视频生成可能走上语言模型的老路:闭源靠产品体验和服务稳定性,开源靠部署、控制和开发者生态。
为什么重要
- 视频生成模型的 Scaling 面临“模型更大、视频更长、成本可承受”的不可能三角,MAGI-2-preview 用 MoE 路线给出了一个可运行的系统级解法。
- 与单纯迁移语言模型 MoE 不同,视频 MoE 要解决超长序列、跨卡通信、音视频文本多模态协作等问题,Sand.ai 从底层重构了模型结构、通信机制、底层 infra 和数据体系。
- 团队背景是清华系技术团队,创始人曹越为清华大学特等奖学金获得者、Swin Transformer 共同一作,曾联合创办光年之外,并在智源研究院负责多模态与视觉研究;李开复曾称其为“AI视频生成界的DeepSeek”。
局限与不确定性
- MAGI-2-preview 仍是 preview 版本,文章称“还不是视频生成的最终答案”,正式版发布时间待核实。
- 6B 激活参数不等于 6B 稠密模型的实际成本,专家通信、路由、显存和部署方式仍会产生额外开销。
- 文章称其为“全球首个”并给出榜单排名,但具体榜单口径、评测条件和对比模型列表原文未详细披露,待核实。
- 开源协议的具体条款、训练数据规模与组成、推理部署的完整硬件要求等细节,原文未明确,待核实。
可用于图书/PPT/简报的角度
- 千亿开源视频模型出现,AI 视频生成进入“大模型 + MoE”时代。
- 视频生成 Scaling 与 LLM 的差异:动态世界建模、超长序列、多模态协同带来的新挑战。
- 开源 vs 闭源在视频生成领域的竞争维度变化:从单纯效果比拼,扩展到可继续训练、接口控制、部署生态。
- 成本下降趋势:10 秒 1080P 视频“5 毛钱”对影视、广告、AI 漫剧等内容产业的可能影响。
- 小团队通过底层系统创新(架构 + 通信 + 数据协同设计)实现大模型突破的案例。
原始材料
- 来源:量子位(QbitAI)
- 报道标题:114B参数、6B激活,Sand.ai刚刚开源全球首个千亿MoE视频生成模型
- 作者:鹭羽
- 发布时间:2026-08-05
- URL:https://www.qbitai.com/2026/08/466847.html
- 开源地址:https://github.com/SandAI-org/MAGI-2-preview
- 英文标题:待核实(原文未提供独立英文标题;模型名为 MAGI-2-preview)
- 英文关键词:Video Generation; MoE; Open Source; Multi-Head Latent MoE; MAGI-2-preview; Sand.ai