知识卡片：MosaiChunk：面向自回归视频生成的时空记忆合成

一句话结论

MosaiChunk 提出一种时空记忆机制，通过选择并合成历史 key-value（KV）条目，在固定记忆预算下提升自回归视频生成对远距离对象/场景的“回访一致性”；生成器保持冻结，仅训练轻量 router。

事件概述或研究问题

长时自回归视频生成受有限上下文窗口限制。当某个对象或场景离开上下文后，其细粒度视觉细节可能丢失，并在重新出现时难以恢复。材料提出的研究问题是：如何让生成器在对象/场景重现时仍能访问相关历史视觉细节，同时不重新训练完整视频生成器。

为此，作者提出 MosaiChunk，并引入 RememBench，用于评估长时回访场景下的生成一致性。

方法/产品要点

• 核心机制：MosaiChunk 是一种 spatio-temporal memory mechanism，跨空间和时间组合选定的历史 key-value（KV）条目，形成“mosaic”。
• 动机观察：材料称，一个冻结的 video generator 可以直接消费这种非连续的历史 KV，并恢复对应的视觉内容。
• 训练方式：保持生成器固定，只学习一个 lightweight router，在 fixed active-memory budget 下决定哪些历史片段进入 mosaic。
• 评测基准：RememBench，包含 prompt-driven text-to-video（T2V）和 camera-driven image-to-video（I2V）两个 split，面向 long-horizon revisits。
• 对比设置：在 matched memory budgets 下，与 sliding-window inference 和 whole-chunk retrieval 比较。

主要结果或产业意义

材料表示，MosaiChunk 在 T2V 和 I2V 两种设置下，均持续改善 revisit consistency，并优于滑动窗口推理和整段检索基线，且比较是在匹配记忆预算下进行。

产业意义上，这一路线可能对需要长时一致性的视频生成、交互式内容、虚拟拍摄、长视频生成和世界模型有价值；其“冻结生成器 + 轻量 router”的设计也可能降低适配成本。但具体推理开销、吞吐、部署可行性和成本收益仍待核实。

为什么重要

• 它将长时视频生成的瓶颈从“单纯扩大上下文窗口”转向“如何有效访问和合成历史记忆”。
• 它强调 revisit consistency，即对象/场景离开再返回后能否保持细节一致，这可能补充传统短片段质量评测。
• 它提供了一个可能的模块化方案：不改生成器，只学习历史 KV 的选择策略，在固定记忆预算下工作。
• 与既有脉络的关系：已有卡片中，MV-Forcing 关注 4D 几何桥接与时空自强迫，Point as Skeleton 关注点云骨架与 Reset-and-Roll。本条的增量在于：不依赖几何先验或点云条件，而是通过冻结生成器外挂 KV 路由/合成来保留历史细节，并用 RememBench 的 T2V/I2V 长时回访任务评估。

局限与不确定性

• 材料仅提供摘要级信息，具体指标数值、数据集规模、指标定义、router 架构、训练数据、算力需求和失败案例均待核实。
• RememBench 的构建方式、评价协议、样本来源和是否覆盖真实长视频复杂性待核实。
• 与基线的公平性、固定记忆预算的具体大小、是否使用相同生成器 backbone 等待核实。
• 论文标注发布时间为 2026-10-01（依材料），其可访问性、同行评审状态、代码/模型/数据是否开源均待核实。
• 该方法是否适用于非自回归生成、非视频模态或其他生成器，待核实。

可用于图书/PPT/简报的角度

• “有限上下文窗口不是唯一瓶颈：如何找回已离开视野的细节”
• “冻结生成器 + 轻量路由器：模块化记忆增强范式”
• “从滑动窗口到马赛克式 KV 记忆：长时视频一致性新路径”
• “RememBench：以回访一致性衡量长时视频生成”
• “几何先验、点云骨架与 KV 记忆检索：长时生成路线的对照”
• “产业应用：虚拟拍摄、长视频生成、交互式世界模型、内容再访一致性”

原始材料

• 英文标题：MosaiChunk: Compositing Spatio-Temporal Memory for Autoregressive Video Generation
• 英文关键词：autoregressive video generation; spatio-temporal memory; key-value (KV) entries; router; RememBench; text-to-video (T2V); image-to-video (I2V); revisit consistency
• 作者：Yiwen Zhang, Haocheng Xi, Michael Tian-Yue Liu, Alexei A. Efros, Hadar Averbuch-Elor, Qianqian Wang, Haiwen Feng
• arXiv ID：2610.02153v1
• 发布/更新：2026-10-01T17:51:05Z（依材料；可访问性与同行评审状态待核实）
• 主分类/分类：cs.CV; cs.CV, cs.GR
• Track：academic
• Topics：foundation-model
• Abstract URL：https://arxiv.org/abs/2610.02153v1
• PDF URL：https://arxiv.org/pdf/2610.02153v1