知识卡片:京东开源视听世界模型 EchoWM,支持自由探索
一句话结论
腾讯研究院 AI 速递 20260911 报道,京东探索研究院在 JDD 大会发布并开源 JoyAI-EchoWM(EchoWM),其卖点是在同一框架内生成视频与环境音、音乐、语音,并实时响应用户操作;在 158 个 WBench Navigation 案例中取得 81.7 的最高平均分,但尚无显式持久三维记忆,长时生成仍可能漂移。
事件概述或研究问题
- 事件:京东探索研究院在 JDD 大会发布并开源 JoyAI-EchoWM。
- 报道定位:支持自由探索的视听世界模型;可在同一框架内生成视频与环境音、音乐、语音,并实时响应用户操作。
- 材料未给出正式研究问题。从报道看,重点包括视听同步生成、统一交互控制,以及在导航类任务中的评测表现。
方法/产品要点
- 模型名称:JoyAI-EchoWM,报道标题称 EchoWM。
- 发布方式:发布并开源;开源许可证、代码/权重地址、模型规模等待核实。
- 生成能力:同一框架生成视频、环境音、音乐与语音;实时响应用户操作。
- 控制接口:采用统一“相机意图”表示;把键盘操作映射为连续 6-DoF 轨迹;第一人称与第三人称视角共用一套控制接口。
- 评测:在 158 个 WBench Navigation 案例中,取得 81.7 的最高平均分;一致性 89.8,交互性 87.2。
- 已知限制:尚无显式持久三维记忆,长时生成仍可能漂移。
主要结果或产业意义
- 关键结果:WBench Navigation 158 案例最高平均分 81.7,一致性 89.8,交互性 87.2。
- 产业意义:若材料所述能力可复现,视听一体化生成加实时交互控制,意味着世界模型正从单模态视频生成走向可操作、可探索的多模态仿真形态;开源发布可能降低研究者和开发者复现、改造与原型验证的门槛。
- 竞争意义:国内大厂在世界模型方向的开源动作增加,京东探索研究院以视听交互和导航评测切入,具体行业落地场景材料未说明,待核实。
为什么重要
- 世界模型的关键不只是“生成得像”,还包括能否实时响应操作、维持视听一致性,并支持第一/第三人称等不同探索视角。EchoWM 的“相机意图”与 6-DoF 控制接口是这类交互设计的具体案例。
- 在 WBench Navigation 上的高分与一致性、交互性指标,提供了观察世界模型评测维度的入口;但排行榜、基线和评测设置需回到原始材料核实。
- 与已有卡片脉络的关系:已有卡片多聚焦 AI 基础设施、治理与研究趋势;本条增量是具体国内大厂开源视听世界模型的发布、控制接口设计与 WBench Navigation 评测结果。
局限与不确定性
- 来源为腾讯研究院 AI 速递的二手摘要,非京东官方技术报告;官方发布页、论文、模型卡、代码仓库与许可证均待核实。
- 模型参数规模、训练数据、训练算力、推理延迟、实时运行硬件条件、音频生成质量与控制能力,材料未提供。
- WBench Navigation 的评测构成、对比基线、统计口径、“最高平均分”的排行榜范围与时间点,待核实。
- “一致性 89.8、交互性 87.2”的具体定义与计算方式待核实。
- 无显式持久三维记忆,长时生成可能漂移;这对需要长时间一致性的仿真、游戏或具身智能应用可能构成限制。
可用于图书/PPT/简报的角度
- 世界模型趋势:从视频生成到视听多模态、可交互、可自由探索。
- 交互接口设计:统一“相机意图”、键盘到连续 6-DoF 轨迹、第一/第三人称共用控制。
- 开源策略:大厂开源世界模型对研究社区与产业原型的影响。
- 评测框架:WBench Navigation、一致性、交互性指标如何衡量世界模型。
- 核心矛盾:实时交互与长时一致性/持久记忆之间的张力。
- 产业动态:京东探索研究院在 JDD 大会的发布可作为国内世界模型竞争案例。
原始材料
- 来源:腾讯研究院AI速递 20260911
- URL:https://m.sohu.com/a/1074463759_455313?scm=10001.325_13-325_13.0.0-0-0-0-0.5_1334&digest_item=2
- Parent digest:腾讯研究院AI速递 20260911
- Parent URL:https://m.sohu.com/a/1074463759_455313?scm=10001.325_13-325_13.0.0-0-0-0-0.5_1334
- 相关条目:二、京东开源视听世界模型EchoWM,支持自由探索
- 英文标题/模型名:JoyAI-EchoWM(EchoWM)
- 英文关键词:JoyAI-EchoWM, EchoWM, JDD, WBench Navigation, 6-DoF
发现内容有误?
免登录提交,管理员审核并完成修正后才会公开修订说明。
值得关注
世界模型的关键不只是“生成得像”,还包括能否实时响应操作、维持视听一致性,并支持第一/第三人称等不同探索视角。EchoWM 的“相机意图”与 6-DoF 控制接口是这类交互设计的具体案例。 在 WBench Navigation 上的高分与一致性、交互性指标,提供了观察世界模型评测维度的入口;但排行榜、基线和评测设置需回到原始材料核实。 与已有卡片脉络的关…
相关主题
对应的教材知识点
教材知识点匹配尚未完成。