知识卡片:FluxVLA Engine V2——具身智能工程底座的全链路能力详解
一句话结论
逐际动力于2026年10月更新开源具身智能工程底座FluxVLA Engine第二版技术报告,新增在线强化学习后训练,扩展仿真评测与真机部署覆盖,并展示推理加速最高9.64倍的实测结果,目标是把“训、评、部署”全链路的工程能力标准化、可复用。
事件概述或研究问题
具身智能领域模型能力快速跃迁(材料以GPT-6 Astra跨界定给机器人下达指令为例),但把指令翻译为物理动作的工程底座仍不完善。逐际动力试图回答:能否用一套标准化开源工程底座,接住不断更新的前沿算法,避免每换一条技术路线就推倒重来、重复“配环境、改接口”。
方法/产品要点
- 四项核心工程原则:统一配置(All-in-one,一套配置单统管数据、模型、训练、评测与部署)、模块解耦(注册表与标准接口,视觉语言骨干、动作头、数据集、训练策略可自由组合并保留原生实现)、面向部署的系统优化(推理加速、RTC实时动作分块协调、轨迹后处理内置于运行流程)、实验可复现(封存配置、模型状态与执行轨迹)。
- 数据与模型标准化:原始轨迹经显式转换与清洗整理为兼容LeRobot规范的结构(Parquet文件、视频、元数据),对齐相机顺序、动作表达与归一化统计;支持混训与分组保留各自预处理规则。模型侧已集成Qwen-VL、GR00T、π系列、DreamZero等主流VLM/VLA/WAM架构,并支持API裸调(GPT-6 Astra,近期新增MiniMax-M3.1-Flash)。
- 在线强化学习:通过集成RLinf,让兼容的流匹配策略直接进入在线交互训练流程。
- 细粒度仿真评测:RoboTwin提供Clean与Random两种环境设置;RoboDojo覆盖42个任务、单模型高达2100次试验,实时记录任务进度并从泛化、记忆、精度、长程任务、开放指令五个维度生成能力雷达图。
- 真机部署:推理底层重构(不改模型权重)、RTC动作分块协调(用上一段动作尾部约束下一段开头)、轨迹后处理(平滑滤波与运动学约束);双层解耦接口Runner(模型推理、动作调度、状态管理)与Operator(传感器采集、机器人通信与控制)。
- 人在环闭环:支持人类无缝接管纠偏,自动完成纠偏数据采集与奖励标注,配套ARM研究。
主要结果或产业意义
- 仿真评测规模:14种策略接入同一套LIBERO闭环评测,RoboCasa GR-1、RoboTwin与RoboDojo上各有8种策略接入结果;13个本地checkpoint策略中有11个在LIBERO上平均成功率超过95%(DiT4DiT 98.65%,π0.5 97.95%)。
- 推理加速:8组模型与设备组合实测推理频率提升2.31–9.64倍。A100上π0.5从2.20Hz提升至21.2Hz(9.64倍);AGX Orin 64GB上GR00T从3.20Hz提升至7.40Hz,π0.5从1.40Hz提升至4.40Hz。GR00T动作头数值对齐测试余弦相似度超0.99999,最大绝对误差约0.02。
- 在线RL效果:以SmolVLA为例,两组配对实验(各任务从同一SFT checkpoint出发,任务专用PPO后训练,40个外层迭代)中,LIBERO-10成功率从66.2%提升至76.2%(+10.0个百分点),RoboTwin Clean十项任务从45.9%提升至61.3%(+15.4个百分点)。
- 真机部署验证:ALOHA六项任务π0.5总体成功率72.22%;双臂Franka五项任务GR00T N1.7达88.00%、π0.5达79.00%;Rebot四项任务π0.5达77.50%;LimX Oli人形机器人箱体搬运任务π0.5前三阶段完成率61.67%、全四阶段33.33%。材料注明以上为特定配置下实测,旨在验证跨平台部署链路而非受控架构对比。
- 人在环数据回流:ALOHA八阶段毛巾折叠任务中,行为克隆基线成功率62.1%,SARM奖励建模方案78.5%,ARM优势加权行为克隆99.4%;每小时任务吞吐从18个回合提升至32个回合。
- 迭代节奏:2026年4月8日开源;6月22日打通LimX Oli人形全身移动操作最小推理链路;6月30日支持单双臂Franka真机推理;9月9日接入GR00T N1.7;9月16日技术报告上arXiv;10月15日扩展RoboDojo评测;10月22日V2报告更新。后续生态规划包括已发布的FluxBisim、FluxDAgger、FluxThemis,以及在路上的FluxMimir与FluxHermes(材料称分别镇守数据、仿真、交互、评测和部署五大关口,具体功能待核实)。
为什么重要
- 具身智能技术路线仍在震荡期,工程基建与上层算法解耦可避免“换模型就重头再来”,降低每个新实验的一次性工程成本。
- 推理加速在不改权重、几乎不损精度的前提下把算力潜能榨干,对算力受限的真机平台(如AGX Orin)意义直接。
- 在线RL与人在环数据回流两条链路,让模型从“只会背题库”的模仿学习走向闭环试错与真实世界经验积累,数据飞轮得以运转。
- 材料提出具身智能竞争逻辑正在重构:通用大模型跨界(如GPT-6 Astra)带来降维打击风险,底层工程能力需像水电煤一样高度可复用。
局限与不确定性
- 所有成功率与加速数据均为项目报告在特定配置下的实测结果,材料明确真机数据“旨在验证跨平台部署链路而非受控架构对比”,不宜直接作为架构优劣结论。
- 材料以“GPT-6 Astra凭一行API跨界给机器人下达指令”作为叙事背景,该说法的具体细节无法从材料进一步确认,待核实。
- 后续生态组件FluxMimir与FluxHermes的功能定位仅有概括性描述,待核实。
- 在线RL实验以外层迭代40次、任务专用PPO为设定,其他模型与任务上的泛化效果待核实。
可用于图书/PPT/简报的角度
- “模型是超跑,Infra是土路”:模型能力越强,越需要匹配的工程底座接住算法跃迁。
- “轮子造一次就够了”:从作坊式一次性工程到标准化产线的类比,可对比软件工程中的CI/CD与平台化思路。
- 工程优化即算力:不改权重、不买新卡,靠推理重构获得数倍加速的案例。
- 仿真高分到真机干活的“生死线”:RTC、轨迹后处理、Runner/Operator解耦三板斧。
- 数据飞轮的双引擎:仿真器内在线RL左右互搏 + 真实世界人在环吞吐经验。
与既有脉络的关系
本条是对已有卡片“FluxVLA Engine V2——具身智能的‘标准化工程底座’”的细化与增量补充:既有卡片侧重V2整体定位(统一配置、模块解耦、推理加速、在线RL、训评部署标准化),本条补充了具体实测数字(推理加速2.31–9.64倍、在线RL +10.0/+15.4个百分点、各真机平台成功率、人在环毛巾折叠99.4%)、四项工程原则的具体机制、Runner/Operator双层解耦接口、细粒度评测设计(RoboDojo五维雷达图)以及后续生态组件规划,可作为该卡片的证据层展开。
原始材料
- 标题:工程能力一键复用,专心卷新能力!轮子造一次就够了|详解FluxVLA Engine技术报告
- 作者:衡宇
- 来源:量子位(QbitAI)
- 发布时间:2026-10-28 18:32:39
- URL:https://www.qbitai.com/2026/10/506098.html
- 技术报告:https://arxiv.org/abs/2609.17210
- GitHub:https://github.com/FluxVLA/FluxVLA
- Hugging Face:https://huggingface.co/limxdynamics/FluxVLAEngine
发现内容有误?
免登录提交,管理员审核并完成修正后才会公开修订说明。
值得关注
具身智能技术路线仍在震荡期,工程基建与上层算法解耦可避免“换模型就重头再来”,降低每个新实验的一次性工程成本。 推理加速在不改权重、几乎不损精度的前提下把算力潜能榨干,对算力受限的真机平台(如AGX Orin)意义直接。 在线RL与人在环数据回流两条链路,让模型从“只会背题库”的模仿学习走向闭环试错与真实世界经验积累,数据飞轮得以运转。 材料提出具身智能竞…
相关主题
对应的教材知识点
根据卡片内容自动匹配,点击查看已审核的教材讲解: