知识卡片：StreamPI：面向视觉-语言-行动模型的流式多模态时间建模

• 英文标题：StreamPI: Streaming Multimodal Temporal Modeling for Vision-Language-Action Models
• 英文关键词：VLA; streaming; temporal modeling; instruction-anchored; random-interval training

一句话结论

StreamPI 是一个不引入额外参数的流式多模态时间建模框架，可以让单帧 VLA 模型（如 pi0.5）获得时间推理能力，并在真实机器人任务和 LIBERO 模拟基准上的多样化任务中表现优于 pi0.5（具体性能数值待核实）。

研究问题

现有较强 VLA 模型（如 pi0.5）采用单帧范式，难以保留历史观察、难以形成精准空间感知。StreamPI 旨在为单帧 VLA 增加时间建模能力，同时保持自回归流式推理。

方法/产品要点

• 指令锚定时间建模：将每个（视觉观察，语言指令）对视为一个原子时间单元；单元内使用双向注意力进行跨模态融合，单元间使用因果注意力保持自回归流式推理，使语言指令在任务执行过程中充当持续语义锚。
• 随机间隔流式训练：为弥合同步训练与异步真实机器人部署之间的差距，提出随机化帧间隔的训练策略；合适的帧间隔（例如每 3 帧）可带来更快、更平滑的动作执行，随机化间隔可提升对帧时序扰动的鲁棒性。
• 零新增参数：不引入任何额外参数。
• 继承预训练单帧权重：借助 LLM 后端的长度外推能力，可直接继承预训练单帧权重，并支持灵活的单帧与多帧推理。

主要结果或产业意义

在需要记忆依赖和精确感知的真实机器人任务以及 LIBERO 模拟基准上，StreamPI 在多样化任务中优于 pi0.5。具体成功率、提升幅度等定量结果待核实。产业意义在于：为现有单帧 VLA 模型提供了一条不增加参数量的时间建模升级路径，并兼容异步部署。

为什么重要

• 单帧 VLA 模型缺乏跨时间信息整合，StreamPI 给出了无需新增参数的解决方案。
• 将语言指令作为语义锚，既保持多模态融合，又不破坏流式自回归推理，设计上具有实用价值。
• 与已有相关卡片中的 UniTexture（针对 VLA 的对抗攻击）不同，本条聚焦模型时间建模能力提升；与 SPEARBench（流式语音模型评测）也不同，StreamPI 面向机器人操作的视觉-语言-行动模型。

局限与不确定性

• 摘要未提供具体实验数值，性能提升幅度待核实。
• 仅在真实机器人和 LIBERO 模拟上报告优于 pi0.5，其他基线和泛化边界待核实。
• 随机间隔训练的最优帧间隔范围、对帧时序扰动的鲁棒性边界、异步部署中的具体约束均待核实。
• StreamPI 是否适用于所有单帧 VLA 模型尚待核实。

可用于图书/PPT/简报的角度

• 单帧到流式：VLA 模型如何“记住”过去？StreamPI 用语言指令作为锚点，打通时间维度。
• 零参数升级：不新增参数量即可让既有单帧 VLA 具备时间推理，适合资源受限的机器人部署。
• 训练与部署的错位：同步训练 vs 异步部署，随机间隔训练是一个实用技巧。

与既有脉络的关系

已有相关卡片中的 UniTexture 以 pi0.5 为攻击对象，而 StreamPI 以 pi0.5 为提升基线；本条增量信息在于提供了一种无需新参数的时间建模改进方案。与 SPEARBench 关注的流式语音模型不同，StreamPI 面向机器人操作中的视觉-语言-行动模型。

原始材料

• 英文标题：StreamPI: Streaming Multimodal Temporal Modeling for Vision-Language-Action Models
• arXiv ID：2608.26067v1
• 作者：Zhe Liu, Jinghua Hou, Yuxiang Lu, Zhenya Yang, Xianzhe Fan, Junwei Luo, Junyi Li, Ruihua Han, Zhi Hou, Hengshuang Zhao
• 发布时间：2026-08-26
• 类别：cs.CV
• URL：https://arxiv.org/abs/2608.26067v1
• PDF：https://arxiv.org/pdf/2608.26067v1