知识卡片：SciExam for ENSO——AI 智能体能否构建气候模型？

一句话结论

SciExam for ENSO 是一个让语言模型智能体在六小时预算内、从真实观测构建 ENSO 低阶随机模型的基准；材料称十二个智能体系统中六个得分超过已发表模型，说明智能体已能构建有竞争力的气候模型，但其科学有效性、可复现性和泛化性仍待核实。

事件概述或研究问题

语言模型智能体越来越多被要求开展开放式科学研究，但常见评估依赖已知答案、评分表或语言模型评审，无法判断一个新科学模型是否有效。SciExam for ENSO 试图解决这一问题：能否在没有已知答案的情况下，评估智能体构建气候模型的研究能力。任务围绕 ENSO（厄尔尼诺-南方涛动），即年际气候变率的主导模态。智能体需要从真实观测出发，构建 ENSO 的低阶随机模型。

方法/产品要点

• 基准名称：AI Science Exam for El Nino-Southern Oscillation（SciExam for ENSO）。
• 任务：智能体从真实观测构建 ENSO 低阶随机模型。
• 流程：六小时预算；智能体处理观测；自行编写诊断，诊断随后被冻结；仅以这些诊断作为反馈来开发模型。
• 评分：隐藏评分器测试模型是否复现 ENSO 统计、恢复未观测变量、预测留出年份；对已发表模型采用同样评分方式。
• 对比：材料称覆盖十二个智能体系统。
• 控制实验：对表现最好的系统在不同信息条件下进行受控运行；材料称结果表明其得分并非来自回忆已有观测记录（dated observational record），且接收的信息会影响其建模方式。
• 科学关联：较强模型的简化形式各自与关于 ENSO 冷暖不对称的两种竞争解释之一相容；任务本身未提及该开放争论。

主要结果或产业意义

• 十二个智能体系统中，六个产生比已发表模型得分更高的模型，主要来自更好的重建和预测。
• 结果表明，智能体可能已能在无标准答案的科研任务中构建有竞争力的科学模型。
• 该基准提供了一种评估“答案未知”的智能体研究的方式：不靠已知答案或评分表，而靠隐藏评分器对统计复现、未观测变量恢复和留出年份预测进行检验。
• 对 AI for Science 和气候建模评估有潜在意义：可把开放式模型构建纳入智能体能力评测，但产业落地与科学可信度仍需独立验证。

为什么重要

传统评估通常无法回答“新科学模型是否有效”。SciExam for ENSO 尝试把开放式科研产出放到可评分任务中，并用隐藏评分器降低直接对答案或语言模型评审的依赖。若其结果可复现，则说明智能体不仅能复现已有知识，还可能生成结构上触及科学争论的模型。与既有相关卡片相比，Vero 关注智能体能否构建形式化验证的软件仓库，SkillCenter 关注带源引用的技能库，本条则把问题推进到无已知答案的气候建模任务；增量信息是评估场景从软件/技能转向科学模型构建，并以统计、变量恢复和预测作为验证信号。

局限与不确定性

• 材料只提供 arXiv 摘要与元数据；具体分数、统计显著性和实验细节待核实。
• 十二个智能体系统的具体身份、模型后端、提示、工具、运行配置待核实。
• 已发表模型的名称、来源和其在同一评分下的具体表现待核实。
• 隐藏评分器的实现、评分权重、是否预注册、是否可复现待核实。
• 六小时预算对应的计算资源、调用次数、并行程度和是否有人类干预待核实。
• 诊断冻结的具体机制和防泄漏设计待核实。
• 受控运行的数量、信息条件、消融设计和因果解释待核实。
• 较强模型简化形式与 ENSO 冷暖不对称两种解释的对应关系，是否经领域专家独立验证待核实。
• 代码、数据、基准和论文是否公开、是否经过同行评审待核实。
• 结论目前限于 ENSO 单任务；跨气候现象和其他科学领域的泛化能力待核实。

可用于图书/PPT/简报的角度

• 从“已知答案评估”转向“未知答案评估”：AI 智能体科研能力如何打分。
• AI for Science 案例：语言模型智能体能否构建 ENSO 气候模型。
• 验证方式对比：形式化证明、代码仓库、技能库与开放式科学建模的差别。
• ENSO 科学传播切口：低阶随机模型、冷暖不对称争论、未观测变量恢复、留出年份预测。
• 基准设计切口：自写诊断→冻结诊断→仅用诊断反馈→隐藏评分器。
• 风险与治理切口：基准得分不等于科学有效；需要独立复现、领域专家审查和防数据泄漏评估。

原始材料

• 英文标题：SciExam for ENSO: Can AI Agents Build Climate Models?
• 英文关键词（据标题与摘要整理）：SciExam for ENSO; AI Agents; Climate Models; El Nino-Southern Oscillation; low-order stochastic models
• arXiv ID：2610.10513v1
• 作者：Yinling Zhang, Langchen Liu, Dongbin Xiu, Xueyan Zou, Xu Kuang, Mengdi Wang, Shilong Liu
• 发布时间/更新时间：2026-10-07T17:52:52Z
• 主分类/分类：cs.AI；cs.AI, cs.LG, physics.ao-ph
• Abstract URL：https://arxiv.org/abs/2610.10513v1
• PDF URL：https://arxiv.org/pdf/2610.10513v1
• 来源说明：以上内容依据 arXiv 摘要与元数据整理；未从材料确认处已标注“待核实”。