知识卡片：EyeRobot 2.0——无需腕部相机的主动注视精密操作

英文标题：EyeRobot 2.0: Active Gaze for Precise Manipulation without Wrist Cameras

英文关键词（依据摘要整理；原文关键词列表待核实）：Active Gaze, Active Visual Fixation (AVF), Bimanual Manipulation, Stereo Camera, Foveal Processing, Gaze Servoing Policy, Target Selector, BC Gripper Policy, Fixation-relative SE(3) Frame, Wrist Cameras

一句话结论

EyeRobot 2.0 受人类视觉启发，用主动注视与中央凹式视觉处理，使机器人仅凭单个立体相机完成精细双手操作，并在无腕部相机条件下缩小性能差距，在腕部相机被遮挡时显著优于 ego + wrist 策略。

事件概述或研究问题

论文研究的问题是：能否在只有单个 stereo camera、没有 wrist cameras 的条件下，实现 fine-grained bimanual manipulation。方法核心是 active gaze：机器人主动将两个眼视角转向场景中的 3D fixation point，并对图像进行中央凹式处理。以上信息来自 arXiv 摘要与元数据，全文实验细节待核实。

方法/产品要点

• 通过旋转两个 eye viewpoints，将 gaze 对准场景中的 3D fixation point。
• 对图像进行 foveally 处理：给图像中心分配更多 visual tokens，把计算集中在任务相关特征。
• Active Visual Fixation (AVF) 要求任务执行期间仔细协调 gaze。
• 分层训练：先训练低层 gaze servoing policy，以 goal object 为条件，使用 dense geometric reward；再训练 target selector，根据 task progress 发出 fixation goals。
• 两个模块用 RL 在真实世界数据上训练；第二个模块与 BC gripper policy 共同训练，使其能发现类似人类的 fixation sequence。
• 将 gripper 信息规范化到 fixation-relative SE(3) frame，以压缩需要学习的动作分布规模。

主要结果或产业意义

• 数据：收集 7 个 real-world 和 6 个 simulated tasks 的 teleoperation data。
• 试验：超过 1000 physical 和 1800 simulated robot trials，比较 EyeRobot 2.0、passive stereo 与 ego + wrist camera policies，且训练数据相同。
• 移除 wrist cameras 对标准策略代价高：仅 passive stereo 时，真实世界成功率从 52% 降到 27%。
• EyeRobot 2.0 仅用 stereo 缩小该差距：材料称其在真实环境高出 passive stereo 40%，在仿真中高出 20%；具体是百分点还是相对提升，材料未说明，待核实。
• 当 ego + wrist 策略的腕部视野清晰时，EyeRobot 2.0 与之接近：69% vs. 64%。
• 当抓取物体遮挡 wrist cameras 时，EyeRobot 2.0 成功率超过两倍：48% vs. 22%。

为什么重要

• 展示无需腕部相机也能进行精细双手操作的可能，减少对额外腕部视觉传感器的依赖。
• 主动注视和中央凹式 token 分配把视觉计算引向任务相关区域，可能提升遮挡场景鲁棒性。
• 对机器人操作策略的输入模态、动作表示和评测设计有参考价值。
• 与既有脉络的关系：Facet-0 关注接触丰富精密操作和腕部力/力矩预测；Cortex 关注长时域操作的双向对齐；WristMimic 关注手腕引导的全身体人形操控。本条增量在于：以 active gaze 替代或弥补腕部相机，在单立体相机条件下处理精细双手操作，并专门评测腕部相机被遮挡时的表现。

局限与不确定性

• 以上信息仅来自 arXiv 摘要与元数据；全文中的硬件设计、策略架构细节、训练成本、任务列表、统计显著性、失败模式均待核实。
• “outperforming passive stereo by 40% in real and 20% in sim”的具体含义待核实。
• 是否开源代码/数据、是否可复现、是否适用于更多任务与物体，材料未说明，待核实。
• 主动注视机制的机械可靠性、标定需求、实时性、安全性和长期稳定性，材料未说明，待核实。
• 与已有卡片之间的任务设置、传感器配置和评测基准是否可直接比较，待核实。

可用于图书/PPT/简报的角度

• 从被动视觉到主动视觉：机器人“看哪里”也是控制问题。
• 仿生视觉：中央凹处理、visual token 分配与 3D fixation point。
• 传感器减法：去掉腕部相机后，如何用主动注视和动作表示补回性能。
• 分层强化学习 + 模仿学习协同：gaze servoing、target selector 与 BC gripper policy。
• 评测亮点：腕部相机被遮挡时的鲁棒性对比。
• 动作表示：fixation-relative SE(3) frame 如何压缩动作分布。

原始材料

• Title: EyeRobot 2.0: Active Gaze for Precise Manipulation without Wrist Cameras
• arXiv ID: 2610.03710v1
• Authors: Kush Hari, Justin Kerr, Nidhya Shivakumar, Samarth Mahapatra, Carmelo Sferrazza, Jiahui Lei, Jitendra Malik, C. Karen Liu, Ken Goldberg, Angjoo Kanazawa
• Published: 2026-10-02T17:57:51Z
• Updated: 2026-10-02T17:57:51Z
• Primary category: cs.RO
• Categories: cs.RO, cs.AI
• Abstract URL: https://arxiv.org/abs/2610.03710v1
• PDF URL: https://arxiv.org/pdf/2610.03710v1