知识卡片:Cortex:面向长时域操作的双向对齐具身智能体框架
一句话结论
Cortex 是一个双向对齐的具身智能体框架,通过将操作子任务标准化为 32 种规范技能基元并注入可执行性原理,显著提升了长时域操作任务的性能,并实现了零样本完成未见过的真实世界复杂任务。
事件概述/研究问题
当前视觉-语言-动作(VLA)模型在长时域操作任务中表现不佳,因其马尔可夫性质仅依赖当前观测;层次化双系统方法虽能缓解该问题,但存在高层规划语义与底层执行运动学之间的鸿沟。Cortex 旨在通过定制化的规划接口弥合这一鸿沟。
方法/产品要点
- 将操作子任务标准化为 32 种规范技能基元(canonical skill primitives)。
- 在数据生成管道中注入可执行性原理,包括代表性物体属性和改进轨迹可达性。
- 实现自动标注 4000 小时以上开源视频数据,并生成 30 小时仿真数据。
- 设计事件平衡采样策略,用于构建微调训练数据,更好地处理子任务转换中的规划歧义。
- 推理时采用上下文工程,从任务上下文到技能约束进行精心设计,增强鲁棒性。
主要结果或产业意义
- 在 Libero-long 基准上,Cortex 比单体基线(monolithic baselines)高出 3.1%;在 RoboTwin 上高出 4.1%。
- 通用 VLM 与微调 VLA 结合,可实现零样本完成未见过的真实世界长时域任务(例如多阶段化学实验),而仅通过 VLA 微调无法实现该能力。
为什么重要
Cortex 提出了一种有效的双向对齐机制,解决了层次化方法中高层规划与底层执行之间的语义-运动学鸿沟。其标准化技能基元和自动数据标注方法为长时域操作任务提供了可扩展、可迁移的通用解决方案,尤其适用于需要复杂多步骤操作的机器人应用场景。
局限与不确定性
待核实(原文未明确列出局限或不确定性)。
可用于图书/PPT/简报的角度
- 具身智能中长时域操作任务面临的挑战与突破。
- 标准化技能基元作为连接高层规划与底层执行的桥梁。
- 零样本泛化能力在实际机器人系统中的应用潜力(如化学实验、精密装配)。
- 大规模视频数据自动标注与仿真数据生成的实际产业价值。
原始材料
英文标题:Cortex: A Bidirectionally Aligned Embodied Agent Framework for Long-horizon Manipulation
英文关键词:foundation-model, VLA, VLM, manipulation, long-horizon, embodied agent
原始来源:arXiv:2607.05377v1,URL: https://arxiv.org/abs/2607.05377v1