知识卡片：L3G-World：基于潜在三维高斯记忆的实时无限世界生成

一句话结论

L3G-World 用“潜在三维高斯记忆”（Latent 3D Gaussian Memory, L3G）替代随时间无限增长的序列上下文或显式三维记忆，让记忆规模随场景范围而非生成流长度增长，从而在 9 FPS 下实现长时程空间一致的实时世界生成。

事件概述或研究问题

交互式世界模型根据用户动作生成视觉内容，但要在实时条件下维持长时程探索中的空间一致性仍然困难。现有做法依赖时间上下文或显式三维记忆：前者记忆随生成流长度增长，后者需将 RGB 渲染重新编码后再条件化潜视频生成器，二者都难以兼顾规模与实时性。论文提出 L3G 与基于它的 L3G-World，试图同时解决“记忆可扩展性”和“实时生成”两个问题。

方法/产品要点

• Latent 3D Gaussian Memory (L3G)：结合前馈重建的效率与紧凑、可快速渲染的场景表示；每个高斯额外存储 VAE 潜在特征，使记忆可直接渲染进 DiT 的潜空间，无需 VAE 重编码。
• L3G-World 架构：记忆更新器（memory updater）与视频扩散 Transformer（DiT）自回归交替运行，生成空间一致的世界。
• 记忆增长方式：更新器在新观测区域生成高斯并细化已有高斯，因此记忆随场景范围增长，而非随生成流长度增长。
• 实时性关键：省去 RGB 渲染到 VAE 重编码的环节，直接以潜在特征对接 DiT。

主要结果或产业意义

摘要报告：相对每个指标下最高效的先前三维记忆基线，L3G-World 最多减少 38.6× 的三维基元数量、记忆更新快 3.2×、记忆渲染快 359×，并实现 9 FPS 的实时世界生成；同时取得当前最优的生成质量与长时程空间一致性。产业意义上，这指向可交互、可长时间探索的实时世界生成器，对游戏、仿真与交互式内容生产有潜在价值。

为什么重要

长时程空间一致性通常以记忆膨胀或离线重编码为代价，L3G-World 把“记忆增长”从流长度解耦到场景范围，并把记忆表示对齐到生成器的潜空间，从表示层面削减了实时化的主要瓶颈。与既有卡片中关注物理一致性（ELWM）、测试时几何引导或潜空间频谱对齐的工作不同，本条聚焦于实时交互式世界生成的记忆表示与推理效率，可作为“世界模型记忆机制”脉络中的效率侧补充。

局限与不确定性

• 摘要仅给出相对基线的加速与基元数量对比，未说明绝对生成分辨率、动作条件类型、评测场景与数据集；待核实。
• 9 FPS 的硬件配置、是否包含全部模块开销未在摘要中说明；待核实。
• “无限世界生成”的实际可探索范围、长期漂移与失败模式未在摘要中量化；待核实。
• 潜在特征存储的精度损失及其对生成质量的影响未在摘要中讨论；待核实。

可用于图书/PPT/简报的角度

• 记忆随场景而非时间增长：作为“世界模型记忆设计”的对比案例，与序列上下文记忆、显式三维记忆并列。
• 潜空间直连：跳过 RGB→VAE 重编码，是实时生成系统里“表示对齐省算力”的典型工程思路。
• 效率数字的呈现：38.6× 更少基元、3.2× 更快更新、359× 更快渲染、9 FPS，适合用来说明实时世界生成的瓶颈位置。
• 与物理一致世界模型的对照：本条解决“空间一致与实时”，既有 ELWM 卡片解决“物理一致”，可在同一章节形成互补叙事。

原始材料

• 标题：L3G-World: Real-Time Infinite World Generation with Latent 3D Gaussian Memory
• arXiv ID：2610.40614v1
• 作者：Jinhyeok Choi, JoungBin Lee, Jongmin Lee, Minkyeong Jeon, Jiyoung Kim, Kaeun Han, Yoonjin Yoon, Seungryong Kim
• 发布：2026-10-29T17:54:42Z
• 主分类：cs.CV
• 摘要页：https://arxiv.org/abs/2610.40614v1
• PDF：https://arxiv.org/pdf/2610.40614v1