AI消息速览

京东开源视听世界模型 EchoWM,支持自由探索

事件日期 2026-09-11 · 产业观察 · 已接受

事件日期2026-09-11
信息日期2026-09-11
入库日期2026-09-11
通道产业观察
状态已接受
来源腾讯研究院(搜狐同步)

知识卡片:京东开源视听世界模型 EchoWM,支持自由探索

一句话结论

腾讯研究院 AI 速递 20260911 报道,京东探索研究院在 JDD 大会发布并开源 JoyAI-EchoWM(EchoWM),其卖点是在同一框架内生成视频与环境音、音乐、语音,并实时响应用户操作;在 158 个 WBench Navigation 案例中取得 81.7 的最高平均分,但尚无显式持久三维记忆,长时生成仍可能漂移。

事件概述或研究问题

  • 事件:京东探索研究院在 JDD 大会发布并开源 JoyAI-EchoWM。
  • 报道定位:支持自由探索的视听世界模型;可在同一框架内生成视频与环境音、音乐、语音,并实时响应用户操作。
  • 材料未给出正式研究问题。从报道看,重点包括视听同步生成、统一交互控制,以及在导航类任务中的评测表现。

方法/产品要点

  • 模型名称:JoyAI-EchoWM,报道标题称 EchoWM。
  • 发布方式:发布并开源;开源许可证、代码/权重地址、模型规模等待核实。
  • 生成能力:同一框架生成视频、环境音、音乐与语音;实时响应用户操作。
  • 控制接口:采用统一“相机意图”表示;把键盘操作映射为连续 6-DoF 轨迹;第一人称与第三人称视角共用一套控制接口。
  • 评测:在 158 个 WBench Navigation 案例中,取得 81.7 的最高平均分;一致性 89.8,交互性 87.2。
  • 已知限制:尚无显式持久三维记忆,长时生成仍可能漂移。

主要结果或产业意义

  • 关键结果:WBench Navigation 158 案例最高平均分 81.7,一致性 89.8,交互性 87.2。
  • 产业意义:若材料所述能力可复现,视听一体化生成加实时交互控制,意味着世界模型正从单模态视频生成走向可操作、可探索的多模态仿真形态;开源发布可能降低研究者和开发者复现、改造与原型验证的门槛。
  • 竞争意义:国内大厂在世界模型方向的开源动作增加,京东探索研究院以视听交互和导航评测切入,具体行业落地场景材料未说明,待核实。

为什么重要

  • 世界模型的关键不只是“生成得像”,还包括能否实时响应操作、维持视听一致性,并支持第一/第三人称等不同探索视角。EchoWM 的“相机意图”与 6-DoF 控制接口是这类交互设计的具体案例。
  • 在 WBench Navigation 上的高分与一致性、交互性指标,提供了观察世界模型评测维度的入口;但排行榜、基线和评测设置需回到原始材料核实。
  • 与已有卡片脉络的关系:已有卡片多聚焦 AI 基础设施、治理与研究趋势;本条增量是具体国内大厂开源视听世界模型的发布、控制接口设计与 WBench Navigation 评测结果。

局限与不确定性

  • 来源为腾讯研究院 AI 速递的二手摘要,非京东官方技术报告;官方发布页、论文、模型卡、代码仓库与许可证均待核实。
  • 模型参数规模、训练数据、训练算力、推理延迟、实时运行硬件条件、音频生成质量与控制能力,材料未提供。
  • WBench Navigation 的评测构成、对比基线、统计口径、“最高平均分”的排行榜范围与时间点,待核实。
  • “一致性 89.8、交互性 87.2”的具体定义与计算方式待核实。
  • 无显式持久三维记忆,长时生成可能漂移;这对需要长时间一致性的仿真、游戏或具身智能应用可能构成限制。

可用于图书/PPT/简报的角度

  • 世界模型趋势:从视频生成到视听多模态、可交互、可自由探索。
  • 交互接口设计:统一“相机意图”、键盘到连续 6-DoF 轨迹、第一/第三人称共用控制。
  • 开源策略:大厂开源世界模型对研究社区与产业原型的影响。
  • 评测框架:WBench Navigation、一致性、交互性指标如何衡量世界模型。
  • 核心矛盾:实时交互与长时一致性/持久记忆之间的张力。
  • 产业动态:京东探索研究院在 JDD 大会的发布可作为国内世界模型竞争案例。

原始材料

  • 来源:腾讯研究院AI速递 20260911
  • URL:https://m.sohu.com/a/1074463759_455313?scm=10001.325_13-325_13.0.0-0-0-0-0.5_1334&digest_item=2
  • Parent digest:腾讯研究院AI速递 20260911
  • Parent URL:https://m.sohu.com/a/1074463759_455313?scm=10001.325_13-325_13.0.0-0-0-0-0.5_1334
  • 相关条目:二、京东开源视听世界模型EchoWM,支持自由探索
  • 英文标题/模型名:JoyAI-EchoWM(EchoWM)
  • 英文关键词:JoyAI-EchoWM, EchoWM, JDD, WBench Navigation, 6-DoF

发现内容有误?

免登录提交,管理员审核并完成修正后才会公开修订说明。

值得关注

世界模型的关键不只是“生成得像”,还包括能否实时响应操作、维持视听一致性,并支持第一/第三人称等不同探索视角。EchoWM 的“相机意图”与 6-DoF 控制接口是这类交互设计的具体案例。 在 WBench Navigation 上的高分与一致性、交互性指标,提供了观察世界模型评测维度的入口;但排行榜、基线和评测设置需回到原始材料核实。 与已有卡片脉络的关…

相关主题

对应的教材知识点

教材知识点匹配尚未完成。