知识卡片：PAC-MAN——感知感知的CBF-RL人形机器人躲避球全身安全

一句话结论

PAC-MAN 将控制障碍函数与强化学习结合，并引入部署级真实的机载感知约束，使人形机器人仅凭头戴相机提供的分割遮罩深度信息就能完成躲避球任务，在仿真基准上接近“特权状态”性能，并在 Unitree G1 真机上实现零样本迁移，95% 的投掷成功躲过。

事件概述或研究问题

本文研究的是人形机器人在动态躲避球场景中的全身安全问题。现有强化学习策略通常假设拥有准确的球状态或特权信息，而真实机器人只能依赖自身传感器。PAC-MAN 的核心问题是：当控制屏障安全约束与不完美的机载感知耦合时，如何设计训练与部署策略，才能使机器人既安全又敏捷地躲避投掷物？

方法/产品要点

• 提出 PAC-MAN（Perception-Aware CBF-RL）框架，将控制障碍函数（CBF）的安全保证嵌入强化学习训练过程。
• 部署时，策略仅能看到来自头戴相机的分割遮罩深度图像，不直接获取球的精确状态。
• 训练时，CBF 引导信号表示机器人每个身体连杆与球的净空/距离，以覆盖全身避让需求。
• 引入“对抗运动先验”（adversarial motion prior），对逃避动作进行正则化，增强反射动作的鲁棒性。
• 在“任意连杆接触”基准上进行受控种子投掷评估，包括单次投掷和多次投掷间的“走回站位并恢复”部署循环。
• 比较了 Joint-CBF 与 Link-CBF 两种变体：Joint-CBF 在准确球状态下表现最好，但在固定相机观测且仅作为训练引导时性能下降；引入球跟踪云台或特权运行时滤波器后可恢复。
• 最终选择轻量级 Link-CBF 策略，零样本部署到 Unitree G1 人形机器人。

主要结果或产业意义

• 在受控接触基准上，PAC-MAN 策略的表现与“特权状态”理想策略仅差几个百分点，说明固定机载相机足以支持有效躲避。
• 可行屏障结构高度依赖感知可观测性：感知越接近真实部署条件，CBF 引导需要相应调整，否则安全性能会下降。
• 真机部署中，Link-CBF 策略能够容忍不完美感知，成功躲避 95% 的投掷，并使用语义分割区分不同种类的球。
• 产业意义上，该方法为人形机器人在动态人流、抛掷物或协作场景中的实时全身避障提供了“感知-安全控制闭环”的技术原型；距离成熟工业产品仍有距离。

为什么重要

• 已有相关卡片多集中在视频理解、多模态感知等“感知”任务，而 PAC-MAN 提供了一条感知如何进入安全控制闭环的机器人学路径。
• 它明确提出：训练时使用的安全结构（如 CBF）必须与部署时的感知可观测性匹配；否则“特权状态”下设计的安全机制在真实传感器下可能失效。
• 该工作将强化学习、控制屏障函数、语义分割深度感知三者结合，并完成了真实人形机器人零样本迁移，为后续“感知感知安全控制”提供了可复现的范式。

局限与不确定性

• 摘要未提供仿真和真机实验的详细设置（如球速、距离、投掷次数、统计显著性），95% 成功率的置信条件需核实原文。
• Joint-CBF 在固定相机下性能下降的具体机制，以及 Link-CBF 为什么更适合部署，文中细节待核实。
• 真机测试是否涵盖不同类型球、不同光照、遮挡或长时间运行疲劳，当前材料未说明。
• 对抗运动先验的实现方式和调节权重，需参考完整论文。
• “语义分割以躲避不同球”仅一句带过，未说明不同球对应的行为差异，待核实。

可用于图书/PPT/简报的角度

• 以“人形机器人躲避球”为趣味案例，讲解强化学习中的“sim-to-real”与感知现实差距。
• 用 PAC-MAN 说明：安全关键控制不能只依赖理想状态，必须把传感器的“视野”和“可观测性”纳入训练。
• 展示 CBF 与 RL 的互补关系：CBF 提供安全边界，RL 学习敏捷反应。
• 对比 EgoPolice、4DR360 等感知数据集，引出“感知”之后如何影响实时决策与物理安全。

英文关键词

Perception-Aware Control; Control Barrier Function; Reinforcement Learning; Humanoid Robot; Dodgeball; Whole-Body Safety; Onboard Sensing

原始材料

• 英文标题：PAC-MAN: Perception-Aware CBF-RL for Whole-Body Safety in Humanoid Dodgeball
• 作者：Lizhi Yang, Junheng Li, Aaron D. Ames
• 发布/更新：2026-07-30
• arXiv ID：2607.28623v1
• 分类：cs.RO, cs.AI
• 摘要地址：https://arxiv.org/abs/2607.28623v1
• PDF 地址：https://arxiv.org/pdf/2607.28623v1