知识卡片：4D 基础模型会记住所见吗？——PersistBench 基准

一句话结论

据论文摘要，当前 4D 基础模型虽能感知和重建动态环境，但只能维持短期一致性；一旦物体离开视野，记忆会显著退化。PersistBench 用 360° 视频作为“全知真值”，从 object permanence、motion continuity、appearance preservation 三个方面评估视觉记忆。

事件概述或研究问题

感知并记住视觉世界是导航和交互的基础。现有 4D 基础模型，如 camera-controllable video models 或 4D reconstruction models，可以感知和重建动态环境，但它们是否“记住”所感知内容仍是一个开放问题。

现有基准多依赖像素级指标，且物体离开视野后缺乏真值参考，因此无法以物体中心的方式评估视觉记忆。论文提出 PersistBench，试图填补这一空白。

方法/产品要点

• 提出 PersistBench：一个数据集与指标套件。
• 使用 360° 视频作为 omniscient ground truth，即“全知真值”。
• 提出三个评估方面：
  • object permanence，物体恒存性
  • motion continuity，运动连续性
  • appearance preservation，外观保持
• 对多种类别中的不同模型进行了评估。
• 数据集和代码见项目页：https://guangzhaohe.com/persistbench
• 具体指标算法、数据规模、模型清单和评估协议细节：待核实。

主要结果或产业意义

评估显示，当前模型只能保持短期一致性；当物体离开视野后，一致性显著退化。论文将此概括为能力与稳健视觉记忆之间的差距：“seeing is not remembering”。

这可能对需要持续视觉记忆的任务有启示，例如动态环境中的导航、交互、视频生成与 4D 重建。但材料未给出具体产业部署、量化收益或真实场景验证，相关产业影响：待核实。

为什么重要

这项工作的重点不是继续提升像素级重建或短时一致性，而是把评估推进到“物体离开视野后是否仍被记住”。这为 4D 基础模型提供了更贴近视觉记忆的评测维度，也暴露了当前模型在持久对象表示和跨视角记忆上的短板。

与已有基础模型评估卡片相比，本条不重复 MindTopo 的拓扑推理、RMISC 的时间序列语料库或 LLM 社科预测结论；其增量在于：聚焦动态视觉环境中的物体中心记忆，并引入 360° 全知真值与三方面记忆评估。

局限与不确定性

• 摘要未提供具体模型名称、模型数量、数据集规模和数值结果，待核实。
• 三个评估方面的具体指标定义与计算方式，待核实。
• “diverse categories”具体指哪些类别，待核实。
• 360° 视频作为真值的采集、标注、覆盖范围和偏差控制方式，待核实。
• 结论是否能推广到真实机器人、AR/VR 或交互系统，材料未验证，待核实。
• 项目页与代码的长期可用性、许可协议，待核实。

可用于图书/PPT/简报的角度

• 用“看见不等于记住”作为核心问题：区分感知/重建能力与视觉记忆能力。
• 对比页：像素级指标 vs 物体中心、全知真值评估。
• 方法页：PersistBench 的三大维度——物体恒存、运动连续、外观保持。
• 结果页：短期一致性尚可，物体离开视野后显著退化。
• 启示页：下一代 4D 基础模型需要更持久的对象表示与跨视角记忆。
• 注意：涉及具体图表、数值和模型排名时，需回到原文核实。

原始材料

• 英文标题：Can 4D Foundation Models Remember?
• 英文关键词：4D foundation models; visual memory; PersistBench; object permanence; motion continuity; appearance preservation; 360° videos; camera-controllable video models; 4D reconstruction models
• 作者：Guangzhao He, Hadar Averbuch-Elor, Wei-Chiu Ma
• 发布/更新：2026-09-17T17:59:50Z
• arXiv ID：2609.20819v1
• 主分类/分类：cs.CV / cs.CV
• Abstract URL：https://arxiv.org/abs/2609.20819v1
• PDF URL：https://arxiv.org/pdf/2609.20819v1
• 项目页：https://guangzhaohe.com/persistbench