知识卡片：PRIME——VLA 模型中的情境记忆嵌入感知反馈

一句话结论

PRIME 通过在 VLA 感知查询中引入由过去感知、推理、导航目标和预测行为聚合而成的情境记忆反馈，在只增加最多 29.7M 参数（占 7.3B 基础模型 0.41%）的情况下，使 Bench2Drive 闭环基准的 Driving Score 达到 82.47、Success Rate 达到 60.00%。

事件概述或研究问题

当前自动驾驶 Vision-Language-Action (VLA) 模型主要沿感知—推理—规划层级做前馈推理。虽然现代架构在感知模块内保留时间递归，但早期感知仍无法利用下游推理和导航目标，处理视觉输入时不会依据先前决策优先关注线索。PRIME 试图弥合这一间隔：让早期感知查询受到“情境记忆”条件化，从而形成意图驱动的感知注意力。

方法/产品要点

• 提出 PRIME：一种学习到的反馈机制，用新型 Situational Memory 条件化 VLA 的感知查询。
• Situational Memory 通过 cross-attention 聚合 L 步窗口内过去感知、推理、导航目标与预测行为的潜在表示。
• 目标是实现 intent-driven perceptual attention；材料称计算成本很小。
• 参数开销：最多增加 29.7M 参数，占 7.3B 参数基础模型的 0.41%。
• 评估环境：Bench2Drive closed-loop benchmark；训练相关：Think2Drive demonstrations。

主要结果或产业意义

• Bench2Drive 闭环基准：Driving Score 82.47，相比 ORION 提升 4.73。
• Success Rate 60.00%，提升 5.38 个百分点。
• 材料称这是已发表、使用 Think2Drive demonstrations 训练的 VLA 中报告的最高 Driving Score。
• 就材料报告的结果而言，产业意义可能在于：以极低参数占比把反馈引入早期感知，为大型自动驾驶 VLA 提供轻量闭环性能增强路径；真实部署价值待核实。

为什么重要

• 它将“感知”从被动、目标无关的输入处理，转向受高层意图和记忆条件化的注意力分配。
• 对自动驾驶 VLA 而言，感知—推理—规划不再只是单向层级，反馈可能改善闭环决策。
• 与已有相关卡片（超声基础模型、JAX HBM 优化、音频语言模型）无直接主题延续；本条增量在于自动驾驶 VLA 的情境记忆反馈机制。

局限与不确定性

• 材料未给出 L 的具体取值、反馈模块插入位置、训练细节和消融结果，待核实。
• 实际推理延迟、内存占用与能耗是否仍保持低成本，待核实。
• 在真实道路、真实车辆、其他闭环基准或安全指标（如接管率、舒适性）上的表现，待核实。
• 是否开源、可复现性、基础模型和数据细节，待核实。
• 与 ORION 之外的基线、非 VLA 方法或不同训练数据规模方法的公平比较，待核实。
• “最高 Driving Score”限定于材料所述的已发表且用 Think2Drive 演示训练的 VLA 范围，不能直接外推到所有自动驾驶系统。

可用于图书/PPT/简报的角度

• 自动驾驶 VLA 的范式变化：从前馈感知—推理—规划到带情境记忆的反馈式感知。
• 轻量模块杠杆：不到 0.5% 参数增量如何影响闭环 Driving Score 与 Success Rate。
• 情境记忆的构成：过去感知、推理、导航目标、预测行为如何通过 cross-attention 聚合。
• 基准叙事：Bench2Drive、Driving Score、Success Rate 与 ORION 对比。
• 设计哲学：感知查询可被意图条件化，而非对视觉输入一视同仁。
• 谨慎外推：材料主要支持基准结果，真实道路与安全影响待核实。

原始材料

• 英文标题：PRIME: Perception Feedback with Situational Memory Embeddings in VLA Models
• 英文关键词（据材料提取）：Vision-Language-Action (VLA); autonomous driving; perception feedback; Situational Memory; cross-attention; Bench2Drive; Think2Drive; Driving Score; Success Rate
• arXiv ID：2609.22040v1
• 作者：Erik Deinzer, Naya Baslan, Luca Paparusso, Narunas Vaskevicius, Peter Knott, Luigi Palmieri
• 发布/更新：2026-09-18T17:31:34Z（发布与更新相同）
• 主分类/分类：cs.CV；cs.RO
• Abstract URL：https://arxiv.org/abs/2609.22040v1
• PDF URL：https://arxiv.org/pdf/2609.22040v1