AI消息速览

DynaTokens:在测试时教相机可控视频模型学习动态

事件日期 2026-09-28 · 学术前沿 · 已接受

事件日期2026-09-28
信息日期2026-09-28
入库日期2026-09-30
通道学术前沿
状态已接受
来源arXiv 论文

知识卡片:DynaTokens:在测试时教相机可控视频模型学习动态

一句话结论

DynaTokens 用一组轻量、可学习的场景特定 token,通过 cross-attention 在测试时适配冻结的相机可控视频/世界模型,使其在新相机路径下同时表现相机运动与场景动态;摘要称其在 VBench2 和 WorldScore 上取得比 LoRA、block finetuning 和专用可训练层基线更好的动态-相机权衡(具体指标与提升幅度待核实)。

事件概述或研究问题

视频生成需要考虑两类运动来源:观察者相机路径导致的运动,以及场景自身动态。理想相机可控模型应允许用户移动相机,同时场景动态继续演化。摘要指出,当前模型在静态场景中的相机诱导运动表现较好,但在动态场景中会出现物体静止、运动错误或生成质量退化。DynaTokens 研究如何以轻量方式把动态能力教给已有相机可控世界模型。

方法/产品要点

  • 核心动机:相机运动对生成视图的影响是全局的,而物体动态是空间局部化的;两种运动来源存在不对称性。
  • DynaTokens 是一组可学习的、场景特定的 token。
  • 通过 cross-attention,用某场景的少量示例轨迹训练这些 token,同时保持基座模型冻结。
  • 训练后,模型可在新的查询相机路径下启用场景动态。
  • 项目网站:https://glab-caltech.github.io/dynatokens/
  • 英文标题:DynaTokens: Teaching Dynamics to Camera-Controlled Video Models at Test Time

主要结果或产业意义

摘要称 DynaTokens 在 VBench2 和 WorldScore 评估上,在动态与相机控制的同步权衡方面优于 LoRA、block finetuning 以及专门的可训练层基线。对 token attention、消融和运动时间性的分析提示:将可训练接口与学习目标的结构相匹配,对有效适配很重要。

若按摘要所述,其潜在产业意义是:对已冻结的相机可控视频/世界模型,用少量场景示例和轻量 token 做测试时定制,而不是大规模重训或全量微调;具体成本、延迟与部署可行性待核实。

为什么重要

这条工作延续了“测试时适配/冻结基座”的脉络,但对象从推理 harness、图像生成一致性或 VLA 几何动力学感知,转到相机可控视频世界模型。增量信息在于:用场景特定 token 作为可训练接口,通过 cross-attention 注入局部动态,并与全局相机运动控制共存;若结果可复现,将为动态场景视频生成提供一种参数高效的适配范式。

局限与不确定性

  • 摘要未给出 VBench2 与 WorldScore 的具体分数、提升幅度、评测协议和场景规模,待核实。
  • “少量示例轨迹”的具体数量、质量要求和覆盖范围未说明,待核实。
  • 跨场景泛化、长视频稳定性、复杂物体交互、不同基座模型可迁移性待核实。
  • 训练/推理开销、显存占用、是否开源代码与权重待核实。
  • 英文关键词由摘要内容提取,原文未单列关键词字段,待核实。

可用于图书/PPT/简报的角度

  • 测试时适配:冻结基座,只训练轻量接口。
  • 视频生成中的运动解耦:全局相机运动 vs 局部场景动态。
  • 参数高效适配方法对比:可学习 token vs LoRA vs block finetuning vs 专用可训练层。
  • 世界模型/可控视频生成:让用户移动相机的同时场景继续演化。
  • 设计原则:可训练接口应与学习目标的空间结构匹配。

原始材料

  • 英文标题:DynaTokens: Teaching Dynamics to Camera-Controlled Video Models at Test Time
  • 作者:Ziqi Ma, Hongqiao Chen, Georgia Gkioxari
  • 发布/更新:2026-09-28T17:42:57Z
  • 主分类/分类:cs.CV / cs.CV
  • arXiv ID:2609.35704v1
  • Abstract URL:https://arxiv.org/abs/2609.35704v1
  • PDF URL:https://arxiv.org/pdf/2609.35704v1
  • 项目网站:https://glab-caltech.github.io/dynatokens/
  • 英文关键词:camera-controlled video model; scene dynamics; test-time adaptation; learnable scene-specific tokens; cross-attention(由摘要提取;原文未单列关键词,待核实)

发现内容有误?

免登录提交,管理员审核并完成修正后才会公开修订说明。

值得关注

这条工作延续了“测试时适配/冻结基座”的脉络,但对象从推理 harness、图像生成一致性或 VLA 几何动力学感知,转到相机可控视频世界模型。增量信息在于:用场景特定 token 作为可训练接口,通过 cross-attention 注入局部动态,并与全局相机运动控制共存;若结果可复现,将为动态场景视频生成提供一种参数高效的适配范式。

相关主题

对应的教材知识点

教材知识点匹配尚未完成。