知识卡片:行动前先改写:视觉-语言-行动模型的语言敏感性刻画与缓解
一句话结论
视觉-语言-行动(VLA)模型对指令措辞异常敏感,且不继承其底层视觉-语言模型的语言鲁棒性;摘要称,通过将少量评分证据蒸馏为 10–20 条改写规则并在部署时统一改写指令,可在不修改策略的情况下提升冻结 π0/π0.5 的成功率,收益尤其集中在分布外任务。
事件概述或研究问题
该论文研究 VLA 模型在具身任务中是否受指令措辞影响,以及能否在不改动策略的前提下缓解这种敏感性。摘要指出:VLA 对指令措辞高度敏感,且没有继承其构建于其上的 VLM 的语言鲁棒性;一字编辑即可使成功率变化数十个百分点。作者用经过统计检验的单编辑摆动和 oracle 短语搜索来刻画该现象,并提出部署时指令改写方法。
方法/产品要点
- 问题刻画:使用统计检验的单编辑摆动(single-edit swings)与 oracle 短语搜索(oracle phrase search)来量化指令措辞对 VLA 成功率的影响。
- 关键诊断:摘要称,仅靠措辞变化几乎弥合了分布内(in-distribution, ID)与分布外(out-of-distribution, OOD)任务之间的 21 个百分点差距。
- 缓解管线:不改动策略;先对少量训练任务的多种措辞进行评分,再用大语言模型将证据蒸馏为 10–20 条改写规则;部署时对每条输入指令按这些规则改写一次。
- 部署特性:无需重训练,无需逐步验证(no per-step verification),可零样本适用于未见任务与指令。
- 评测范围:冻结 π0 在 12 个留出任务上,覆盖对抗性、VLM 生成、人类生成的措辞;并在 π0.5 与 LIBERO 上复现管线。
主要结果或产业意义
- 一字编辑可导致巨大波动:π0.5 在 LIBERO 炉灶任务中,对 “switch on the stove” 的成功率为 100%,对 “switch on the hot plate” 仅为 2%。
- 即使经过重述增强(rephrase augmentation)微调的 π0 checkpoint,仍出现最高 61 个百分点的摆动。
- 规则改写使冻结 π0 在 12 个留出任务上取得 16%–27% 的相对提升,收益集中在 OOD 任务。
- 管线在 π0.5 与 LIBERO 上复现,将 in-finetune 成功率从 93.6% 提升到 97.8%。
- 产业意义:若摘要结论在全文与真实场景中成立,部署时增加“指令规范化/改写层”可能成为轻量鲁棒性补丁,不需要触碰策略权重,也不需要每步验证。
为什么重要
- 语言接口是机器人基础模型的关键输入层;措辞微小变化即可造成行为大幅波动,这会直接影响可靠性、安全性和评测结论。
- 固定指令评测可能高估 VLA 的泛化能力;同一任务换一种说法就可能暴露 OOD 脆弱性。
- 该方法把缓解手段放在部署前的指令改写,而非策略重训练或逐步验证,可能降低工程成本,并适用于未见任务与指令。
与既有脉络的关系
已有相关卡片中,一条讨论 VLA 在具身推理中的忠实性(是否“言出必行”),另一条关注对齐语言模型的 late rescue 与接口失败,还有一条讨论 MLLM 的视觉-认知错误演变。本条与它们不重复:焦点不是具身推理忠实性,也不是视觉认知错误,而是同一任务在指令措辞变化下的成功率波动,以及不改策略的部署时改写缓解。增量信息是把 VLA 可靠性问题定位到“语言接口层”,并给出规则蒸馏式改写管线。
局限与不确定性
- 当前材料仅为 arXiv 摘要、标题、作者、分类、日期与项目链接,未获取全文;实验细节、统计检验方法、规则生成与筛选流程、基线设置、任务列表、模型版本、随机种子、失败案例等均待核实。
- “oracle 短语搜索”的具体定义、上限性质与实现方式待核实。
- “仅靠措辞几乎弥合 21 个百分点 ID-OOD 差距”的统计显著性和任务范围待核实。
- “收益集中在 OOD 任务”的具体任务构成与效应大小待核实。
- 项目网站内容未在材料中提供,实际代码、数据与演示效果待核实。
- 该方法在真实机器人、安全关键场景、多语言指令、多轮指令中的适用性,材料未说明,待核实。
- “无需逐步验证”在所有部署设置中是否成立,待核实。
可用于图书/PPT/简报的角度
- 换个说法就失败:VLA 的语言接口脆弱性。
- 同一任务两种指令:成功率 100% 对 2% 的直观案例。
- 不改模型,只改指令:部署时重写作为轻量鲁棒性补丁。
- 评测陷阱:固定指令可能掩盖 OOD 脆弱性。
- 规则蒸馏:从少量任务评分中提取 10–20 条可复用改写规则。
- 谨慎标注:以上基于摘要级材料,引用前需核对全文与项目网站。
原始材料
- 英文标题:Rephrase Before You Act: Characterizing and Mitigating Language Sensitivity in Vision-Language-Action Models
- 英文关键词:材料未列明官方关键词;据标题/摘要可提取:Vision-Language-Action Models; Language Sensitivity; Instruction Rephrasing; LIBERO; π0; π0.5;官方关键词待核实。
- 作者:Mikey Watts, Yuchen Cui
- arXiv ID:2610.10526v1
- Primary category:cs.RO;Categories:cs.RO, cs.CL, cs.LG
- Published / Updated:2026-10-07T17:57:38Z(按材料标注)
- 原始来源:https://arxiv.org/abs/2610.10526v1
- PDF:https://arxiv.org/pdf/2610.10526v1
- 项目网站:https://sttawm.github.io/rephrase-before-you-act
- 任务元数据:Track: academic;Topics: foundation-model
- 材料范围:摘要、标题、作者、分类、日期、项目链接;正文未获取。
发现内容有误?
免登录提交,管理员审核并完成修正后才会公开修订说明。
值得关注
语言接口是机器人基础模型的关键输入层;措辞微小变化即可造成行为大幅波动,这会直接影响可靠性、安全性和评测结论。 固定指令评测可能高估 VLA 的泛化能力;同一任务换一种说法就可能暴露 OOD 脆弱性。 该方法把缓解手段放在部署前的指令改写,而非策略重训练或逐步验证,可能降低工程成本,并适用于未见任务与指令。
相关主题
对应的教材知识点
教材知识点匹配尚未完成。