知识卡片：MILER：面向非结构化自动驾驶的语义中层表示与仿真到现实强化学习

一句话结论

MILER 是一个端到端策略框架，通过自定义语义中层表示模拟器离线训练强化学习策略，并在真车上用 BEVFusion 生成一致的语义鸟瞰图、结合轨迹对齐策略，实现感知与控制的零样本 sim-to-real 迁移；在 3.0 km 测试赛道、两辆不同车辆上累计 17.3 km 无人工干预驾驶。

事件概述或研究问题

强化学习具有超人类性能和自学习策略潜力，但在真实自动驾驶中应用仍少，非结构化环境尤其困难，核心挑战是 sim-to-real 迁移。该工作提出 MILER，目标是在非结构化自动驾驶中实现零样本 sim-to-real 迁移的端到端策略框架。

方法/产品要点

• 离线训练阶段：使用自定义语义中层表示（semantic mid-level representation, MLR）模拟器，通过强化学习训练策略网络，控制输出直接作用于 bicycle model。
• 真车部署阶段：camera 和 LiDAR 数据经 BEVFusion 处理，生成与 MLR 模拟器一致的语义鸟瞰图（semantic bird's-eye-view）表示。
• 策略网络生成的动作不直接应用于真车，而是采用轨迹对齐（trajectory-alignment）策略，实现感知与控制两者的零样本 sim-to-real 迁移。
• 整个软件栈运行在 Jetson AGX Orin 上。

主要结果或产业意义

• 在包含多种障碍物、发夹弯、最高 33.6 km/h 速度以及越野路段的多样测试赛道上评估。
• 两辆不同车辆在 3.0 km 测试赛道上累计行驶 17.3 km，无人工干预，摘要称这展示了方法有效性。
• 全软件栈可在 Jetson AGX Orin 上运行，对边缘计算部署具有参考意义。
• 产业意义偏早期验证：展示了语义中层表示与轨迹对齐在非结构化场景 sim-to-real 中的可行性，但距离产品化仍需更多验证，待核实。

为什么重要

• 提出“语义中层表示一致性”思路：让仿真器与真实车辆感知对齐到语义 BEV 表示，以降低非结构化场景的仿真到现实差距。
• 轨迹对齐作为策略输出与真车控制之间的桥接层，避免策略动作直接作用于真车，对安全部署思路有参考价值。
• 与已有相关卡片无直接延续或更新关系；本条增量聚焦非结构化自动驾驶中的零样本 sim-to-real 强化学习、语义 BEV 表示与轨迹对齐。
• 与 foundation-model 的关系待核实；材料未明确使用基础模型，BEVFusion 在材料中作为感知融合方法出现。

局限与不确定性

• 训练细节、奖励函数、仿真器设计、数据集/训练规模、策略网络结构等，摘要未提供，待核实。
• 测试环境局限于 3.0 km 测试赛道，速度上限 33.6 km/h；是否泛化到公共道路、复杂交通、天气与光照变化，待核实。
• 安全冗余、接管机制、失败案例、碰撞或离道率等指标未在摘要中说明，待核实。
• 是否开源代码、数据或模型，是否经过同行评审或正式发表，待核实。
• “零样本”在摘要中用于感知与控制迁移，具体评价协议与统计显著性待核实。

可用于图书/PPT/简报的角度

• 用“语义中层表示”对齐仿真与真实感知，作为 sim-to-real 的一种表示层解法。
• 零样本 sim-to-real 中的轨迹对齐桥接策略：策略动作不直接上车。
• 非结构化自动驾驶测试设计：障碍物、发夹弯、越野路段、最高 33.6 km/h。
• 边缘计算案例：Jetson AGX Orin 承载完整自动驾驶软件栈。
• 强化学习从仿真到真车落地的挑战、折衷与验证路径。

原始材料

• 英文标题：MILER: Semantic Mid-Level Representation for Sim-to-Real Reinforcement Learning in Unstructured Autonomous Driving
• 英文关键词：待核实（来源未提供官方关键词字段）；材料中可提取的英文术语包括：Reinforcement Learning; Sim-to-Real; Unstructured Autonomous Driving; Semantic Mid-Level Representation; BEVFusion; Semantic Bird's-Eye-View; Trajectory-Alignment; Zero-Shot Transfer; Jetson AGX Orin
• 作者：Thomas Steinecker, Denis Trescher, Alexander Bienemann, Thorsten Luettel, Mirko Maehlisch
• arXiv ID：2609.20747v1
• 发表/更新：2026-09-17T17:35:22Z
• Primary category：cs.RO
• Categories：cs.RO, cs.LG
• 原始来源：https://arxiv.org/abs/2609.20747v1
• PDF：https://arxiv.org/pdf/2609.20747v1