知识卡片：BEAKER——自驱动化学实验室“具身大脑”的专家精选基准

一句话结论

BEAKER 是一个由专家手工构建的基准，用于评估多模态大模型（MLLMs）作为自驱动化学实验室（SDCLs）“具身大脑”的执行导向能力；测试显示 28 个模型能理解粗粒度实验流程，但在可操作区域定位、可行轨迹规划、细粒度器材/状态/安全识别及中等长度步骤排序上仍明显不足。

事件概述或研究问题

• 自驱动化学实验室（SDCLs）正把化学实验推向具身自动化，机器需在物理、流程与安全约束下感知实验室场景、推理实验状态并执行动作。
• MLLMs 被视为这类系统的“具身大脑”，但已有实验室基准多聚焦安全、异常检测或通用科学理解，对其面向执行的具身能力探索不足。
• BEAKER 旨在填补这一空白，评测 SDCLs 中的具身可操作性、知识、实验与推理能力。

方法/产品要点

• 全称：Benchmark for evaluating Embodied Actionability, Knowledge, Experimentation, and Reasoning in SDCLs。
• 规模：1,000 个专家精选问答样本，覆盖 11 种图像与视频任务类型。
• 覆盖能力：可供性定位（affordance grounding）、轨迹规划、设备/状态/安全识别、装置搭建、操作与步骤推理、时序流程推理。
• 数据质量：所有问题与标注由化学及具身 AI 专家手工创建与审核，未使用 AI 辅助生成或标注。
• 评测设置：28 个通用、科学导向、化学专用与具身 MLLMs，在离线、单轮设定下评测。

主要结果或产业意义

• 当前模型能跟随视频中的粗粒度实验流程。
• 但模型仍难以：把动作落到可操作区域与可行轨迹上；识别细粒度实验器材、状态与安全规范；对中等长度流程进行步骤排序。
• 结论：粗粒度流程理解与实验室执行所需的精确、动作锚定感知之间存在明显差距；BEAKER 为未来 SDCLs 中的 MLLMs 提供诊断性基准。

为什么重要

• 把评测焦点从“科学理解/安全检测”推进到“可执行性”，直接对应具身自动化落地的关键瓶颈。
• 专家手工标注、无 AI 生成，降低了数据污染与标注偏差风险，适合作为诊断工具。
• 对化学实验室自动化、具身智能与科学多模态模型的能力定位具有参考价值。

局限与不确定性

• 评测为离线、单轮设定，与真实闭环执行存在差距；“待核实”：是否包含真实机器人闭环实验。
• “待核实”：11 种任务类型的具体划分、各任务样本量分布及评价指标细节。
• “待核实”：28 个受测模型的具体名单与各模型分数。
• “待核实”：数据是否公开、榜单是否持续维护。

可用于图书/PPT/简报的角度

• “从看懂流程到做得出来”：具身科学 AI 的能力断层。
• 专家手工基准 vs AI 生成基准：数据可信度与评测诊断性。
• 自驱动实验室的“大脑”评测：感知、规划、安全三线挑战。
• 多模态大模型在科学场景的能力边界：粗粒度理解≠可执行操作。

与既有脉络的关系

• 与 ExpertVerse 同属“专家级/知识密集型”评测思路，但 BEAKER 聚焦化学实验室的具身执行而非视觉合成推理，属于能力维度上的增量。
• 与 EG-ARSA 的“专家锚定”理念相近（把专家经验注入评测/模型），但 BEAKER 是基准而非蒸馏框架，面向 SDCLs 执行能力诊断。

原始材料

• 标题：BEAKER: An Expert-Curated Benchmark for Embodied Brains in Self-Driving Chemical Laboratories
• 作者：Fei Lin, Tengchao Zhang, Ziyang Gong, Xiaotong Yu, Bohan Zhang, Yifan Zhou, Qihao Yang, Ji Dai, Dong Li, Yining Jiang, Qinghua Ni, Jun Huang, Qiang Zhang, Yue Zhou, Zhihang Zhong, Yonglin Tian, Fei-Yue Wang, Xue Yang
• 发布：2026-11-04（arXiv 2611.06911v1，cs.AI）
• Abstract URL: https://arxiv.org/abs/2611.06911v1
• PDF URL: https://arxiv.org/pdf/2611.06911v1
• 关键词：Self-Driving Chemical Laboratories；Embodied Brains；Multimodal Large Language Models；Benchmark；Embodied Actionability；Affordance Grounding；Trajectory Planning；Safety Recognition；Temporal Procedure Reasoning