知识卡片：Splat2Act：从捕获场景到个性化 VLA 操作

一句话结论

Splat2Act 提出了一条全自动的 real-to-sim-to-real 流水线，仅凭手机扫描和物体照片，就能把预训练的 VLA 策略个性化到特定建筑级室内场景与用户物体，在真实 Stretch 3 上达到 63.9% 的抓取成功率。

事件概述或研究问题

用户把通用操作策略带入家中或办公室后，希望它能在自己的架子、台面和桌子上抓取自己的物体。但论文指出，即便是像 $π_{0.5}$ 这样的强通用策略，在作者捕获的部署场景中不做适配时抓取成功率为 0%；而在每个用户环境中收集真实演示的成本高得难以承受。核心问题：能否用自动化仿真数据替代真实演示，实现 VLA 策略的个性化？

方法/产品要点

• 输入：仅需一次手持手机扫描 + 用户物体的图像；人工只需完成场景与物体的捕获。
• 数字孪生构建：使用 3D Gaussian Splatting 构建照片级真实感数字孪生，并附带碰撞几何。
• 场景理解与任务生成：自动发现桌面与非桌面 receptacle（可放置/抓取容器），构建可行的抓取任务。
• 演示生成：用带特权信息的仿真 oracle 生成成功演示。
• 与既有 real-to-sim 工作的区别：先前工作多重建单个桌面，Splat2Act 面向建筑级室内环境。
• 两阶段微调 $π_{0.5}$：
  • Stage 1：在数百个公开物体资产上适配（资产来自部署场景本身，或来自全部 101 个场景）。
  • Stage 2：在部署场景的 receptacle 上，针对用户自己的物体做个性化。

主要结果或产业意义

• 在 101 个扫描的校园环境中（可导航面积中位数 104.87 m²，每场景 7 个 receptacle），流水线共产出 852 个 receptacle 和 超过 68,000 条抓取演示。
• 最强的个性化策略在目标场景中达到 62.5% 的总体抓取成功率。
• 部署到真实 Stretch 3 上，同一策略在 12 个任务子集上达到 63.9% 成功率，与其在这些任务上的仿真成功率 66.7% 接近。
• 结果提示：自动化 real-to-sim-to-real 训练可以仅用仿真 oracle 数据个性化 VLA 操作策略。

为什么重要

• 直接回应了通用 VLA 策略在真实部署场景中"零样本失败"这一痛点，给出了一条不依赖昂贵真实演示的个性化路径。
• 将 real-to-sim 的适用范围从单个桌面扩展到建筑级室内环境，涉及 receptacle 自动发现与任务自动构建。
• 真实机器人结果与仿真结果高度吻合，为"仿真训练—真实部署"的可迁移性提供了实证支持。

局限与不确定性

• 论文未公布失败案例的具体分布与原因分析，待核实。
• 62.5%/63.9% 的成功率距离实用仍有差距，剩余失败模式待核实。
• 仅报告了单一目标场景的个性化结果与 12 任务子集的真机验证，跨场景泛化与更大规模真机评估待核实。
• 对手机扫描质量、物体图像质量的要求与鲁棒性边界待核实。
• 与作者对比的其他 real-to-sim 基线方法的定量差异，本文摘要未给出，待核实。

可用于图书/PPT/简报的角度

• "通用策略的最后一公里"：为什么零样本通用 VLA 在真实家庭/办公场景中会 0% 失败。
• 数据飞轮的替代方案：用仿真 oracle 数据替代真实演示采集。
• 3D Gaussian Splatting 在机器人训练中的落地：从重建到可交互数字孪生。
• 建筑级场景理解：receptacle 自动发现与任务自动生成。
• sim-to-real 一致性案例：仿真 66.7% vs 真机 63.9%。

与既有脉络的关系

本条与已有的 Lift3D-VLA（3D 几何与动力学感知）、从固定到自由相机（CamVLA，视角鲁棒）等卡片同属 VLA 操作模型的能力补强脉络，但增量在于：Splat2Act 关注的不是感知表征或视角鲁棒性，而是部署阶段的场景与物体个性化，并给出了一条从捕获到仿真的自动化数据生产管线与真机验证数字。

原始材料

• Title: Splat2Act: From Captured Scenes to Personalized VLA Manipulation
• arXiv ID: 2610.13945v1
• Authors: Xiaomeng Ye, Krishna Jaganathan, Gyubeum Lim, Gunjan Chhablani, Muhammad Zubair Irshad, Zsolt Kira
• Published: 2026-10-09T17:59:06Z
• Primary category: cs.RO；Categories: cs.RO, cs.CV
• Abstract URL: https://arxiv.org/abs/2610.13945v1
• PDF URL: https://arxiv.org/pdf/2610.13945v1
• Keywords: real-to-sim-to-real, VLA, 3D Gaussian Splatting, personalized manipulation, $π_{0.5}$, Stretch 3