知识卡片：PhysStream——带结构化场景记忆与细粒度运动控制的流式物理落地视频生成

一句话结论

PhysStream 是一种自回归图像到视频模型，通过在线结构化场景记忆与稀疏速度增量信号，实现多物体桌面刚体场景的生成中途交互控制；材料称其相对最强基线将运动分布距离（FVMD）降低 33%、轨迹误差降低 12%，并在 in-the-wild 人类评估中获得超过 85% 偏好。

事件概述或研究问题

交互式视频生成的控制方式正从粗粒度提示转向更细粒度、具有物理意义的动态场景操作。现有可控方法存在两类限制：一类要求生成开始前就给出完整控制安排；另一类使用像素空间信号，主要指定物体位置，而不是表达物理动力学。PhysStream 试图解决这些问题，面向物理落地的图像到视频合成，支持生成中途的细粒度运动控制。

方法/产品要点

• 模型形式：自回归模型，用于物理落地的图像到视频合成。
• 结构化场景记忆：使用位置图与物体跟踪图，这些信息从先前生成的帧中在线推导。
• 运动控制信号：使用稀疏速度增量信号，编码物理量，使模型学习底层动力学。
• 两阶段训练：先以运动控制条件微调一个双向模型；再训练因果自回归模型，并加入结构化场景记忆，以进一步提升物理一致性。
• 交互能力：支持多物体桌面刚体场景中的生成中途交互控制；作者称此前方法不支持该能力。
• 项目网站：https://czzzzh.github.io/PhysStream

主要结果或产业意义

• 在合成基准上，PhysStream 相对最强基线将运动分布距离（FVMD）降低 33%，将轨迹误差降低 12%。具体基线名称、合成基准名称与指标定义待核实。
• 在 in-the-wild 比较中，人类评估者在超过 85% 的情况下偏好 PhysStream。具体比较对象、评估者数量与评估协议待核实。
• 产业意义：该方向可能对需要生成中途调整物体运动动态的交互式视频内容有价值；材料未展开具体产业落地、部署成本与实时性，待核实。

为什么重要

• 控制粒度从文本提示或像素位置，推进到编码物理量的速度增量信号，更接近物理动力学层面的操作。
• 支持生成中途控制，而不是只能预定义完整控制计划。
• 结构化场景记忆由已生成帧在线推导，可能有助于在自回归生成中保持场景状态；具体机制与效果强度待全文核实。
• 与已有 MV-Forcing 卡片同属自回归/长视频生成脉络；本条材料的增量信息是：目标从多视角几何一致性转向物理落地的交互式运动控制，并引入在线结构化场景记忆与稀疏速度增量信号。与 FlowMimic 的编辑数据生成/免掩码编辑重点不同。

局限与不确定性

• 本卡片仅依据 arXiv 摘要与元数据，全文方法细节、实验设置、基线选择与消融实验待核实。
• 场景范围：材料聚焦多物体桌面刚体场景；是否适用于非刚体、复杂物理、室外场景或更长视频，待核实。
• FVMD 的全称、计算方式、合成基准名称与轨迹误差定义待核实。
• 人类评估的样本量、评估者背景、比较方法与统计显著性待核实。
• 实时性、计算开销、长时生成稳定性、代码与数据开源情况待核实。
• 稀疏速度增量信号具体编码哪些物理量，以及其与真实物理引擎或物理规律的关系，待核实。

可用于图书/PPT/简报的角度

• 视频生成控制演进：粗提示 → 像素位置控制 → 物理量/动力学控制。
• 自回归流式生成与结构化场景记忆：如何利用已生成帧维护场景状态。
• 两阶段训练策略：先运动控制条件微调，再因果自回归加场景记忆。
• 评估三角：运动分布距离（FVMD）、轨迹误差、人类偏好。
• 与 MV-Forcing、FlowMimic 的脉络对比：几何一致性、编辑数据生成与物理运动控制的不同侧重。

原始材料

• 英文标题：PhysStream: Streaming Physics-Grounded Video Generation with Structured Scene Memory and Fine-Grained Motion Control
• 英文关键词（材料未列官方关键词，以下依据标题/摘要提取）：physics-grounded video generation; streaming video generation; structured scene memory; fine-grained motion control; velocity-increment signals; autoregressive image-to-video synthesis; tabletop rigid-body scenes
• 作者：Chuhao Chen, Peter Wonka, Chaoyang Wang, Chen Wang, Qiao Feng, Sergey Tulyakov, Lingjie Liu
• arXiv ID：2609.17521v1
• 发布/更新：2026-09-15T17:55:13Z
• 主分类：cs.CV；分类：cs.CV, cs.AI, cs.GR
• DOI：10.1145/3829340.3842176
• Abstract URL：https://arxiv.org/abs/2609.17521v1
• PDF URL：https://arxiv.org/pdf/2609.17521v1
• 项目网站：https://czzzzh.github.io/PhysStream