知识卡片:Runway发布界面世界模型Solaris,界面像视频实时生成
英文标题:待核实(中文标题对应英文可译为:Runway Unveils Solaris, an Interface World Model That Generates UI in Real Time like Video)
英文关键词:Solaris; Interface World Model; Real-time UI Generation; Computer Use Agent
一句话结论:Runway公布首个界面世界模型Solaris,App与网页界面可像视频一样实时生成,用户点击、拖拽后模型直接生成下一帧,无需开发者预先写好代码;人类对比测试中,指令遵循与行为自然度偏好分别达61%和71%,明显高于代码方案。
事件概述:根据腾讯研究院AI速递20260902转述,Runway公布首个界面世界模型Solaris,核心特征是将App与网页界面视为视频进行实时生成。用户点击、拖拽后,模型直接生成下一帧,无需开发者预先编写代码。该模型基于Gen-4.5视频模型改造,采用逐帧自回归、少步蒸馏与自生成结果训练,在720p下实现实时交互。系统由语言模型负责推理、世界模型负责渲染。
方法/产品要点:
- 产品类型:界面世界模型(Interface World Model),面向App与网页界面。
- 生成方式:接受用户点击/拖拽输入,直接生成下一帧界面,替代传统代码编写。
- 技术基础:基于Gen-4.5视频模型改造;采用逐帧自回归、少步蒸馏、自生成结果训练。
- 实时性:在720p分辨率下实现实时交互。
- 架构分工:语言模型负责推理,世界模型负责渲染。
- 测试表现:人类对比测试中,指令遵循偏好61%,行为自然度偏好71%,均高于代码方案。
主要结果或产业意义:
- 人类对比测试显示Solaris在指令遵循和行为自然度上明显优于代码方案。
- 另一大用途是为Computer Use Agent提供泛化训练环境,即让计算机操作类智能体在可实时生成的界面中训练。
- 意味着界面生成从“写代码”转向“生成视频帧”,可能降低UI开发门槛。
为什么重要:
- 该条目延续“世界模型+Agent”脉络。与已有卡片相比,SIMA 2聚焦在3D虚拟世界中的通用代理;Cursor Design Mode是通过agent自动编辑底层代码来修改UI;Solaris则跳过代码,由世界模型直接渲染交互界面,并可为Computer Use Agent提供泛化的训练环境。这提供了一条“界面即视频”的新技术路线。
局限与不确定性:
- 原始英文标题未在材料中给出,上述英文标题为对应翻译,待核实。
- 材料未提供Solaris的具体发布时间、可用平台、开放范围、模型参数规模、基准测试等细节,待核实。
- 人类对比测试的具体规模、测试环境、基线“代码方案”的细节待核实。
- “逐帧自回归、少步蒸馏、自生成结果训练”为材料摘要表述,具体技术实现待核实。
可用于图书/PPT/简报的角度:
- “从代码到视频帧:界面生成的新范式”
- “世界模型在UI交互与Computer Use Agent训练中的角色”
- “实时界面世界模型如何改变人机交互和Agent训练数据生成”
原始材料:
- 来源:腾讯研究院AI速递 20260902(搜狐号)
- URL: https://m.sohu.com/a/1070665925_455313?scm=10001.325_13-325_13.0.0-0-0-0-0.5_1334