知识卡片：SlotDiT：面向扩散 Transformer 的物体中心表征

一句话结论

摘要称，SlotDiT 把文本引导 Diffusion Transformer（DiT）放在基于 slot 的物体中心潜在空间中，以参考图像和语言指令为条件自回归去噪未来 slot 轨迹；在四个机器人数据集上，它取得有竞争力的视频生成质量并持续提升任务完成率，同时以更紧凑表示提供计算效率优势。

事件概述或研究问题

• 文本条件潜在扩散模型在视频生成中表现强，也被视为机器人应用的有前景骨干。
• 既有方法多依赖像素级或 VAE-based 潜在表示，缺乏显式语义结构；表示空间对 DiT 的影响尚未被充分探索。
• Slot-based object-centric 表示将场景分解为对象级 latent（slots），在 dynamics modeling 和 planning 中有成功先例，但摘要称其尚未被用于 diffusion-based generative modeling。
• 论文要研究的问题：在统一 DiT 框架内，系统比较 slot-based 表示与 VAE-based、semantics-aligned 替代方案。

方法/产品要点

• 输入：参考图像 + 语言指令。
• 表征：将场景分解为 object-centric slots，表示 individual entities。
• 生成/预测：条件于指令和观察到的场景上下文，自回归地去噪未来 slot 轨迹，以预测 scene dynamics。
• 架构：文本引导的 Diffusion Transformer，运行在 slot-based latent space。
• 实验设计：在统一 DiT 框架中对比 slot-based、VAE-based、semantics-aligned 潜在空间。
• 项目页：https://slot-dit.github.io/

主要结果或产业意义

• 摘要称，使用 slots 作为 DiT latents 可获得有竞争力的视频生成质量。
• 在四个机器人数据集上，摘要称其持续提升 task-completion rates。
• 摘要称，slot 表示更紧凑，为 VAE-based 和 semantics-aligned 潜在空间提供计算高效的替代方案。
• 总体结论：object-centric structure 是机器人环境中 diffusion-based generative modeling 的有力 inductive bias。
• 产业意义：机器人视频生成/动态建模骨干可能受益于对象级结构化潜在；但真实机器人部署、实时性与泛化能力待核实。

为什么重要

• 它把“潜在空间设计”提升为 DiT 的关键研究变量，而不仅是去噪架构或规模问题。
• 对机器人场景，对象中心结构可能把感知中的实体概念带入生成/预测过程，连接视频生成、动态建模与任务完成。
• 与已收录的 PointDiT 卡片相比，本条增量在于：PointDiT 讨论像素空间扩散用于单目几何估计；SlotDiT 讨论 slot 潜在空间、文本引导视频生成与机器人任务完成率，代表不同任务与表征路线，不重复同一事实。

局限与不确定性

• 仅依据摘要，无法确认具体数据集名称、基线、定量指标、统计显著性和消融细节。
• slot 的提取方式、是否端到端训练、DiT 规模、推理成本与训练成本：待核实。
• “competitive video generation quality”的比较对象与评价协议：待核实。
• “四个机器人数据集”的具体构成、仿真/真实环境、任务类型：待核实。
• “task-completion rates”的定义与评估方式：待核实。
• 项目页与 PDF 中的实现细节和补充结果：待核实。

可用于图书/PPT/简报的角度

• “扩散 Transformer 的表示空间选择”：像素、VAE、语义对齐、对象槽位的对比框架。
• “机器人基础模型中的结构化潜在”：object-centric slots 如何连接感知、生成与规划。
• “生成质量不等于任务能力”：从视频画质走向任务完成率的评估叙事。
• “计算效率与紧凑表征”：slot 潜在空间作为轻量替代的产业想象，具体收益待核实。
• “像素空间 vs 槽位潜在空间”：与 PointDiT 对照，展示扩散模型在不同表征层级的路线差异。

原始材料

• 英文标题：SlotDiT: Object-Centric Representations for Diffusion Transformers
• 英文关键词：原始材料未列出作者关键词字段；摘要核心英文术语包括 object-centric representations、slot-based latent space、Diffusion Transformer (DiT)、text-guided、robotic datasets。作者关键词待核实。
• arXiv ID：2609.17414v1
• 作者：Gjergj Plepi, Sven Behnke
• 发布/更新：2026-09-15T16:38:33Z
• 主分类/分类：cs.CV；cs.CV, cs.RO
• Abstract URL：https://arxiv.org/abs/2609.17414v1
• PDF URL：https://arxiv.org/pdf/2609.17414v1
• 项目页：https://slot-dit.github.io/
• Track：academic；Topics：foundation-model