AI消息速览

行动前先改写:视觉-语言-行动模型的语言敏感性刻画与缓解

事件日期 2026-10-07 · 学术前沿 · 已接受

事件日期2026-10-07
信息日期2026-10-07
入库日期2026-10-08
通道学术前沿
状态已接受
来源arXiv 论文

知识卡片:行动前先改写:视觉-语言-行动模型的语言敏感性刻画与缓解

一句话结论

视觉-语言-行动(VLA)模型对指令措辞异常敏感,且不继承其底层视觉-语言模型的语言鲁棒性;摘要称,通过将少量评分证据蒸馏为 10–20 条改写规则并在部署时统一改写指令,可在不修改策略的情况下提升冻结 π0/π0.5 的成功率,收益尤其集中在分布外任务。

事件概述或研究问题

该论文研究 VLA 模型在具身任务中是否受指令措辞影响,以及能否在不改动策略的前提下缓解这种敏感性。摘要指出:VLA 对指令措辞高度敏感,且没有继承其构建于其上的 VLM 的语言鲁棒性;一字编辑即可使成功率变化数十个百分点。作者用经过统计检验的单编辑摆动和 oracle 短语搜索来刻画该现象,并提出部署时指令改写方法。

方法/产品要点

  • 问题刻画:使用统计检验的单编辑摆动(single-edit swings)与 oracle 短语搜索(oracle phrase search)来量化指令措辞对 VLA 成功率的影响。
  • 关键诊断:摘要称,仅靠措辞变化几乎弥合了分布内(in-distribution, ID)与分布外(out-of-distribution, OOD)任务之间的 21 个百分点差距。
  • 缓解管线:不改动策略;先对少量训练任务的多种措辞进行评分,再用大语言模型将证据蒸馏为 10–20 条改写规则;部署时对每条输入指令按这些规则改写一次。
  • 部署特性:无需重训练,无需逐步验证(no per-step verification),可零样本适用于未见任务与指令。
  • 评测范围:冻结 π0 在 12 个留出任务上,覆盖对抗性、VLM 生成、人类生成的措辞;并在 π0.5 与 LIBERO 上复现管线。

主要结果或产业意义

  • 一字编辑可导致巨大波动:π0.5 在 LIBERO 炉灶任务中,对 “switch on the stove” 的成功率为 100%,对 “switch on the hot plate” 仅为 2%。
  • 即使经过重述增强(rephrase augmentation)微调的 π0 checkpoint,仍出现最高 61 个百分点的摆动。
  • 规则改写使冻结 π0 在 12 个留出任务上取得 16%–27% 的相对提升,收益集中在 OOD 任务。
  • 管线在 π0.5 与 LIBERO 上复现,将 in-finetune 成功率从 93.6% 提升到 97.8%。
  • 产业意义:若摘要结论在全文与真实场景中成立,部署时增加“指令规范化/改写层”可能成为轻量鲁棒性补丁,不需要触碰策略权重,也不需要每步验证。

为什么重要

  • 语言接口是机器人基础模型的关键输入层;措辞微小变化即可造成行为大幅波动,这会直接影响可靠性、安全性和评测结论。
  • 固定指令评测可能高估 VLA 的泛化能力;同一任务换一种说法就可能暴露 OOD 脆弱性。
  • 该方法把缓解手段放在部署前的指令改写,而非策略重训练或逐步验证,可能降低工程成本,并适用于未见任务与指令。

与既有脉络的关系

已有相关卡片中,一条讨论 VLA 在具身推理中的忠实性(是否“言出必行”),另一条关注对齐语言模型的 late rescue 与接口失败,还有一条讨论 MLLM 的视觉-认知错误演变。本条与它们不重复:焦点不是具身推理忠实性,也不是视觉认知错误,而是同一任务在指令措辞变化下的成功率波动,以及不改策略的部署时改写缓解。增量信息是把 VLA 可靠性问题定位到“语言接口层”,并给出规则蒸馏式改写管线。

局限与不确定性

  • 当前材料仅为 arXiv 摘要、标题、作者、分类、日期与项目链接,未获取全文;实验细节、统计检验方法、规则生成与筛选流程、基线设置、任务列表、模型版本、随机种子、失败案例等均待核实。
  • “oracle 短语搜索”的具体定义、上限性质与实现方式待核实。
  • “仅靠措辞几乎弥合 21 个百分点 ID-OOD 差距”的统计显著性和任务范围待核实。
  • “收益集中在 OOD 任务”的具体任务构成与效应大小待核实。
  • 项目网站内容未在材料中提供,实际代码、数据与演示效果待核实。
  • 该方法在真实机器人、安全关键场景、多语言指令、多轮指令中的适用性,材料未说明,待核实。
  • “无需逐步验证”在所有部署设置中是否成立,待核实。

可用于图书/PPT/简报的角度

  • 换个说法就失败:VLA 的语言接口脆弱性。
  • 同一任务两种指令:成功率 100% 对 2% 的直观案例。
  • 不改模型,只改指令:部署时重写作为轻量鲁棒性补丁。
  • 评测陷阱:固定指令可能掩盖 OOD 脆弱性。
  • 规则蒸馏:从少量任务评分中提取 10–20 条可复用改写规则。
  • 谨慎标注:以上基于摘要级材料,引用前需核对全文与项目网站。

原始材料

  • 英文标题:Rephrase Before You Act: Characterizing and Mitigating Language Sensitivity in Vision-Language-Action Models
  • 英文关键词:材料未列明官方关键词;据标题/摘要可提取:Vision-Language-Action Models; Language Sensitivity; Instruction Rephrasing; LIBERO; π0; π0.5;官方关键词待核实。
  • 作者:Mikey Watts, Yuchen Cui
  • arXiv ID:2610.10526v1
  • Primary category:cs.RO;Categories:cs.RO, cs.CL, cs.LG
  • Published / Updated:2026-10-07T17:57:38Z(按材料标注)
  • 原始来源:https://arxiv.org/abs/2610.10526v1
  • PDF:https://arxiv.org/pdf/2610.10526v1
  • 项目网站:https://sttawm.github.io/rephrase-before-you-act
  • 任务元数据:Track: academic;Topics: foundation-model
  • 材料范围:摘要、标题、作者、分类、日期、项目链接;正文未获取。

发现内容有误?

免登录提交,管理员审核并完成修正后才会公开修订说明。

值得关注

语言接口是机器人基础模型的关键输入层;措辞微小变化即可造成行为大幅波动,这会直接影响可靠性、安全性和评测结论。 固定指令评测可能高估 VLA 的泛化能力;同一任务换一种说法就可能暴露 OOD 脆弱性。 该方法把缓解手段放在部署前的指令改写,而非策略重训练或逐步验证,可能降低工程成本,并适用于未见任务与指令。

相关主题

对应的教材知识点

教材知识点匹配尚未完成。