知识卡片：PhysVGGT：单张 RGB 图像的前馈式稠密物理属性估计

一句话结论

PhysVGGT 是一个前馈模型，能从单张 RGB 图像经一次前向传播，同时预测摩擦系数、邵氏硬度、杨氏模量、密度的逐像素稠密图以及物体级质量；论文摘要称其在 ABO-500 上取得 SOTA，并有效泛化到分布外的 NeRF2Physics，单图推理延迟 0.13 秒，比此前 SOTA 快 27 倍。

事件概述或研究问题

• 研究动机：摩擦、硬度、刚度、密度等物理属性决定机器人应如何抓取、操作和与物体交互，但从 RGB 图像估计这些属性仍然困难。
• 既有做法的代价：一类方法先做逐物体重建再附加物理属性，另一类在测试时直接查询视觉语言模型（VLM），二者都带来可观的计算开销，限制了实际可用性。
• 本文提出的问题可概括为：能否用一次前馈推理，直接从单张图像读出稠密的局部物理属性与物体级质量，从而绕开逐物体重建与测试时优化。

方法/产品要点

• 核心思路：把物理属性估计重新表述为逐像素稠密预测问题。
• 骨干：使用 visual geometry transformer 从输入图像提取具备几何感知能力的 token。
• 双分支结构：稠密预测分支输出局部物理属性（摩擦系数、邵氏硬度、杨氏模量、密度）；全局预测分支输出物体级质量。
• 训练数据：提出可扩展的伪标签生成流水线，支持大规模弱监督训练，以减少对昂贵直接物理测量的依赖。
• 推理形态：单一前向传播，不需要逐物体重建，也不需要测试时优化。

主要结果或产业意义

• 在 ABO-500 数据集上报告达到 state-of-the-art 性能。
• 在分布外的 NeRF2Physics 数据集上表现出有效泛化。
• 推理延迟仅 0.13 秒/图，论文称比此前 SOTA 快 27 倍。
• 产业含义（基于摘要的合理引申）：若该速度与精度在真实机器人链路中可复现，则"从单目 RGB 到物理属性"可能从离线分析组件变成可嵌入感知-操作闭环的实时模块。
• 具体误差指标、对比基线清单、评测协议细节：摘要未给出，待核实。

为什么重要

• 机器人操作策略（抓取力度、接触摩擦假设、形变预期）本质依赖物理属性，而视觉只给出外观；本工作把"外观→物理"的映射压缩为一次网络前向。
• 与既有卡片脉络的关系：已有卡片分别涉及像素空间稠密预测（ReChannel）、单目视频前馈式 3D 重建（MAGiSt3R）与图像引导风格迁移（AnyStyle）。本条不与它们陈述同一事实，增量在于把"前馈 + 稠密逐像素输出"这一范式迁移到物理属性估计任务，并以弱监督伪标签替代直接物理测量；三者共同构成"单目输入、一次前向、稠密输出"的技术趋势，但本卡片不对该趋势做超出材料范围的断言。
• 效率数字（0.13 s、27×）若成立，说明该类方法的瓶颈正从"精度不足"转向"部署形态"，这对需要在边缘端做操作决策的场景尤其关键。

局限与不确定性

• 论文摘要未列出具体量化指标（如各属性的误差数值），因此"state-of-the-art"的具体幅度待核实。
• 伪标签生成流水线的具体来源、标注质量、以及弱监督带来的偏差与误差传播机制，摘要未说明，待核实。
• 推理延迟 0.13 秒对应的硬件配置、输入分辨率、批大小未知，待核实。
• 是否在真实机器人抓取/操作任务上做过闭环验证，摘要未提及，待核实。
• 对透明、反光、可变形、未见材质类别的失败模式与鲁棒性边界，待核实。
• 文本仅依据 arXiv 摘要与元数据撰写，未核对正文、补充材料或第三方复现结果；未在正文中确认的内容一律视为待核实。

可用于图书/PPT/简报的角度

• 范式图：单张 RGB → 几何感知 token → 稠密分支 + 全局分支 → 物理属性图与质量，一张图讲清"一次前向、两类输出"。
• 对比框：逐物体重建 + 物理属性 vs 测试时查询 VLM vs PhysVGGT，突出计算开销与延迟的差异。
• "从外观到物理"：作为机器人感知章节的引子，说明为什么视觉识别不等于可操作知识。
• 弱监督替代昂贵测量：可放入"数据飞轮/伪标签"主题，讨论如何用可扩展流水线绕开高成本真值采集。
• 速度即可用性：以 0.13 秒/图与 27× 加速作为案例，说明实时性如何决定方法能否进入闭环。
• 开放问题页：把"待核实"清单转成讨论题——伪标签偏差、真实机器人验证、材质边界条件。

原始材料

• 英文标题：PhysVGGT: Feed-Forward Dense Physical Property Estimation from A Single Image
• arXiv ID：2609.18920v1
• 作者：Sneha Paul, Guile Wu, Bingbing Liu, Dongfeng Bai
• 发布时间：2026-09-16T16:58:14Z（Updated 同）
• 主分类：cs.CV；分类：cs.CV
• Abstract URL：https://arxiv.org/abs/2609.18920v1
• PDF URL：https://arxiv.org/pdf/2609.18920v1
• 英文关键词（据摘要归纳，非原文关键词列表）：feed-forward, dense physical property estimation, single image, visual geometry transformer, dense prediction branch, object-level mass, pseudo-label generation, weakly supervised training, ABO-500, NeRF2Physics, inference latency, robot manipulation
• 摘要原文（节选）："In this work, we present PhysVGGT, a feed-forward model that predicts dense maps of friction coefficient, Shore hardness, Young's modulus, and density, together with object-level mass, from a single RGB image in one forward pass. ... Extensive experiments show that PhysVGGT achieves state-of-the-art performance on the ABO-500 dataset and generalizes effectively to the out-of-distribution NeRF2Physics dataset. Moreover, PhysVGGT eliminates the need for per-object reconstruction and test-time optimization, achieving an inference latency of only 0.13s per image, making it 27× faster than the previous state of the art."
• Fetched title / Fetched description：同上英文标题与摘要内容。