知识卡片:LIBERO-RIG:面向视觉-语言-动作模型的硬件设置鲁棒性基准
一句话结论
LIBERO-RIG 是一个只在机器人硬件与设置层面施加扰动、保持 LIBERO 任务本身不变的鲁棒性基准,用于测量视觉-语言-动作(VLA)模型在相机安装、标定、控制频率、夹爪磨损等部署偏差下的成功率下降。
事件概述或研究问题
机器人策略被期望能跨部署环境泛化,这其中包括机器人自身的变化:相机被碰撞后重新安装、标定漂移、控制器以不同频率运行、末端执行器垫片磨损。LIBERO-RIG 针对的问题是:当任务不变、仅机器人硬件与设置发生变化时,VLA 模型的性能会如何退化,以及这种退化是否随扰动轴与动作接口的不同而不同。
方法/产品要点
- 基准设计:只扰动机器人的硬件与设置,保持每个 LIBERO 任务固定。
- 扰动范围:覆盖十一个扰动轴,包括相机安装与光学、相机到机械臂的标定、驱动增益、控制频率、本体感觉噪声、基座位姿、桌面高度、夹爪垫片等。
- 严重程度:每个轴设五个严重等级。
- 条件规模:在四个 LIBERO 套件上共产生 210 个条件。
- 评测规模:对九个近期 VLA 模型进行评测,每个条件 500 个回合,并用统计检验支撑结论。
- 发布内容:基准以及为每个回合指定固定扰动参数的清单(manifests)。
- 待核实:上述细节来自元数据与摘要,正文未能抓取;具体的十一个轴完整列表、五个等级的数值定义、九个模型的名称、统计检验方法、210 个条件的组合方式等均待核实。
主要结果或产业意义
- 汇总成功率随严重程度下降:中等严重程度从 0.932 降至 0.767,最高严重程度降至 0.509。
- 性能退化在不同扰动轴和不同动作接口之间差异显著。
- 在视觉扰动上训练,并不能缓解那些不改变相机图像的故障(例如标定、驱动增益、控制频率、本体感觉噪声等)。
- 待核实:0.932/0.767/0.509 对应的具体聚合口径(是否跨全部模型与套件平均)、各轴的单独数值、统计显著性细节均待核实。
为什么重要
- 既有 VLA 评测多关注任务多样性、视觉泛化或对抗攻击,而 LIBERO-RIG 把变量锁定在“机器人自身”的硬件与设置偏差上,提供了一个与视觉扰动正交的评测维度。
- 对与既有脉络的关系:与本批已有卡片中的 UniTexture(对抗纹理攻击)不同,LIBERO-RIG 关注的是非对抗性的部署硬件偏差;与 WCM(强化学习后训练方法)不同,它不提出训练方法而是提出评测协议。其增量信息在于:明确指出“视觉扰动训练无法覆盖非视觉故障”这一评测盲区。
- 对实际部署的提示:仅靠视觉数据增强不足以应对标定漂移、控制频率变化与机械磨损等硬件层退化。
局限与不确定性
- 正文未能抓取,本卡片仅基于 arXiv 元数据与摘要生成;所有具体数值、轴定义、模型清单与实验设置均待核实。
- 待核实:是否只在仿真中实现(基于 LIBERO 通常为仿真基准),还是包含真实机器人实验。
- 待核实:九个被评测模型的具体身份与版本。
- 待核实:五级严重程度的参数化方式是否具有硬件现实依据。
- 待核实:0.932 的基线是否代表无扰动条件下的上限。
可用于图书/PPT/简报的角度
- “任务不变,机器人变了”:把硬件与设置偏差作为独立评测轴的思路。
- 鲁棒性盲区:视觉增强训练无法修复非视觉故障,可用于说明评测维度需要覆盖传感、标定、执行、控制全链路。
- 严重程度分级评测:五级严重度 + 210 条件 + 每条件 500 回合的设计,可作为基准设计方法论的案例。
- 部署落差量化:从 0.932 到 0.509 的成功率下降,可作为“实验室性能不等于部署性能”的量化例证(数值待核实)。
- 待核实:若需引用具体轴或模型对比结论,需先获取正文。
原始材料
- 标题:LIBERO-RIG: A Hardware-Setup Robustness Benchmark for Vision-Language-Action Models
- 来源:arXiv
- URL:https://arxiv.org/abs/2610.18843v1
- Track:academic
- Topics:foundation-model
- 关键词(英文):vision-language-action models, robustness benchmark, hardware perturbation, robot deployment, LIBERO
- 备注:正文抓取失败,本卡片基于元数据与摘要,未核实项已标注。
发现内容有误?
免登录提交,管理员审核并完成修正后才会公开修订说明。
值得关注
既有 VLA 评测多关注任务多样性、视觉泛化或对抗攻击,而 LIBERO-RIG 把变量锁定在“机器人自身”的硬件与设置偏差上,提供了一个与视觉扰动正交的评测维度。 对与既有脉络的关系:与本批已有卡片中的 UniTexture(对抗纹理攻击)不同,LIBERO-RIG 关注的是非对抗性的部署硬件偏差;与 WCM(强化学习后训练方法)不同,它不提出训练方法而…
相关主题
对应的教材知识点
根据卡片内容自动匹配,点击查看已审核的教材讲解: