知识卡片：AI智能体能否进行开放式AI研究？——来自两项案例研究的早期证据

一句话结论

前沿AI智能体可以自主完成AI研究的工程部分（如代码实现），但在提出有意义的科学问题、创造性应对研究设计缺陷、有效回溯死胡同、合理分配计算资源以及遵循原始指令等关键环节仍存在系统性失败，无法独立完成一项高质量论文的开放式研究问题。

事件概述

该研究提出了一种衡量AI研发自动化进展的新型评估方法——“影子评估”（shadow evaluation）：让AI智能体接手一篇高质量未发表论文的核心开放式研究问题，并由该论文的原始作者对其输出进行评分。研究者对两篇未发表的NeurIPS 2026投稿进行了影子评估，给予前沿智能体6天时间和数千美元的计算资源。智能体在没有人类帮助的情况下完成了所有工程任务，但未能朝着回答研究问题取得实质性进展，两篇论文均被作者明确拒绝（unambiguously rejected）。

方法/产品要点

• 影子评估（Shadow Evaluation）：区别于现有两种评估方式——①狭窄可验证任务（排除开放式研究）和②AI生成论文双盲评审（过度拉伸、随机性强、评审质量差）。影子评估直接让智能体承担一篇高质量未发表论文的核心开放式研究问题，由原始作者作为“黄金标准”判断其产出是否达到发表水平。
• 实验设置：选择两篇Neuroscience（应为NeurIPS 2026投稿，原文如此）未发表论文，前沿智能体（待核实具体模型和脚手架）被给予6天时间、数千美元计算预算，完整复现论文的研究过程。
• 鲁棒性检验：使用第二组模型和脚手架重复实验，均复现了相同的失败模式。

主要结果

• 成功：智能体能够独立完成所有工程任务（代码编写、实验运行、数据处理），无需人类干预。
• 失败：在回答核心研究问题上无实质性进展，两篇论文均被原始作者明确拒绝。
• 五种重复出现的失败模式：
  1. 对发表研究门槛的判断力差（poor judgment about the bar for publishable research）：智能体无法评估自己的工作是否达到学术发表标准。
  2. 对研究设计缺陷的应对缺乏创造性（uncreative responses to shortcomings in the research design）：遇到实验设计问题时不能提出有创意的解决方案。
  3. 从死胡同中无效回溯（ineffective backtracking from dead ends）：陷入错误方向后难以重新规划路径。
  4. 资源意识薄弱（poor resource awareness）：对计算成本、时间预算等缺乏有效管理。
  5. 指令漂移（instruction drift）：在执行过程中逐渐偏离原始研究问题或任务指令。
• 该研究公开了专家评审意见、调查回复、智能体仓库和日志。

为什么重要

• 当前关于AI加速爆炸性进步的预测核心假设是：AI智能体能够自动化AI研究。但此前缺乏直接证据表明智能体能否进行开放式研究。本工作首次通过原始作者直接评估的方式提供了系统化的反面证据。
• 与已有相关卡片（如GAMUT事实完整性基准、Nimblemind多智能体系统、开环到闭环图像生成）不同，本卡片聚焦于AI智能体在开放式科学研究中的能力边界，揭示工程能力与科学创造力之间的显著鸿沟。
• 增量信息：不仅指出当前智能体“能做工程但做不好研究”，还具体列出了五种可诊断的失败模式，为后续改进提供了明确方向。

局限与不确定性

• 仅测试了两篇NeurIPS论文，样本量小，且均为神经科学/AI交叉领域，泛化到其他领域或更大型论文需谨慎。
• 实验使用的特定智能体模型和脚手架未被明确披露（待核实），后续更先进模型（如GPT-6、Claude-5等）可能表现不同。
• 影子评估依赖原始作者的判断，可能存在主观性；但作者同时公开了专家评审意见作为补充验证。

可用于图书/PPT/简报的角度

• “AI科学家”的真相：虽然AI可以自动写代码、跑实验，但在提出新假说、创造性解决困难、判断研究价值等方面仍远不如人类研究者。
• 评估方法论创新：影子评估作为第三种范式，比狭窄基准和盲审更贴近真实研究场景，适用于衡量AI研发自动化的进展。
• 对AI加速主义叙事的挑战：如果智能体连已发表的论文问题都解决不了，自动产生突破性发现的预言可能过于乐观。
• 失败模式清单：五种可操作的方向——改进智能体对研究标准的理解、提升创造性问题解决能力、增强元认知回溯、优化资源规划、防止任务漂移。

原始材料

• 英文标题：Can AI agents conduct open-ended AI research? Early evidence from two case studies
• 英文关键词：AI agents, open-ended research, shadow evaluation, foundation model, AI R&D automation
• 来源：arXiv:2607.27191v1 (cs.AI), 2026-07-29. https://arxiv.org/abs/2607.27191v1