知识卡片：IdeaAMBIG——研究想法规格中影响实现的关键缺口基准

一句话结论

一项名为 IdeaAMBIG 的基准测试显示：研究想法即使新颖、连贯、科学上说得通，其方法描述也可能不足以被忠实实现；据候选摘要，当前 13 个受测大模型在真实世界实例上定位这类“实现关键缺口”的能力极弱（最佳 9.6% Macro Defect Recovery Rate），但在被告知缺陷位置后给出澄清动作的成功率可达 80.6%。

事件概述或研究问题

• 论文（英文标题：IdeaAMBIG: Benchmarking Implementation-Critical Gaps in Research-Idea Specifications）关注“研究想法规格的可编码化程度”（codification readiness）：一份面向实现的研究方法说明，是否提供了足够的方法学信息，使有能力的实现者或编码智能体（coding agent）能够在不做无依据假设的前提下复现出目标方法。
• 研究动机是区分两件常被混为一谈的事：想法/方法在科学层面是否成立，与它在工程层面是否被写清楚到可以实现。
• 论文把“缺口”视为实现关键（implementation-critical）问题，并围绕它构建可评测的任务与实例集合。
• 说明：来源材料仅提供元数据与候选摘要，未抓取到正文。上述问题界定来自候选摘要，具体定义与范围待核实。

方法/产品要点

据候选摘要，论文的工作可归纳为三块（均待与原文核对）：

1. 证据锚定的规格与解析（evidence-grounded specifications and supported resolutions）：从论文、代码库、issue 讨论串、复现工件等来源中抽取规格及其有据可依的澄清/解析。
2. IdeaAMBIG 基准：共 660 个证据锚定实例，包含两类——
   • 163 个来自复现报告与 GitHub issues 的真实世界缺口；
   • 497 个注入到“已可编码化参考”（codification-ready references）中的受控合成缺口。
3. 三类能力评测：
   • 可编码化程度评估（codification-readiness assessment）；
   • 缺陷定位（defect localization）——仅提供规格；
   • 澄清动作生成（clarification action generation）——除规格外还提供已标注的缺陷位置。

主要结果或产业意义

据候选摘要（数值与设定待核实）：

• 在 13 个大语言模型（LLM）中，最佳模型在真实世界实例上的 Macro Defect Recovery Rate 为 9.6%。
• 同一批评测中，在已知缺陷的条件下，Macro Clarification Action Success Rate 达到 80.6%。
• Oracle 研究：提供标准答案式解析（gold resolution）后，下游“可编码化就绪率”从 14% 提升到 98%。
• 跨模型的共同模式是：缺陷定位是主要瓶颈；一旦给定缺陷，澄清动作生成的表现明显更强。

产业意义（基于上述结果的推论，非原文结论，待核实）：对自动化科研、AI 科研智能体、论文可复现性审查与工程化落地流程而言，瓶颈可能不在“想出澄清怎么写”，而在“发现哪里没写清楚”。这意味着工具与流程设计应优先投资缺口检测与定位环节。

为什么重要

• 它把“可复现性”问题前移了一步：不是等复现失败后再追查，而是评估规格本身是否具备实现就绪性。
• 对使用 LLM/编码智能体自动实现论文方法的工作流，该基准提供了一个可量化的诊断维度：先定位不可实现处，再生成澄清。
• 结果暗示“给定缺陷后澄清”是相对成熟的能力，而“自主发现缺陷”仍是短板——这对智能体自主科研的可行性判断有直接影响。

与既有脉络的关系

• 与既有卡片《Data Analysis in the Wild: Benchmarking Large Language Models Against Real-World Data Complexities》同属“用真实世界复杂性暴露 LLM 能力差距”的基准脉络；增量在于把真实世界复杂性具体化为研究想法规格中的实现关键缺口，并把真实缺口与受控合成缺口分开构造。
• 与既有卡片《AI中的递归自我改进：从有界自我精炼到自主研究循环》相关：后者强调自我评估与验证器层级的核心地位；本卡片提供一个反面证据视角——若智能体连“规格哪里不完整”都定位不到，其在开放研究循环中的自我改进闭环会缺少可靠信号。此关联为编者推论，非原文论断。

局限与不确定性

• 正文未抓取：以上所有方法细节与数值均来自候选摘要元数据，尚未与论文原文核对，标注为待核实。
• 待核实项包括：660 个实例的构造流程与人工校验方式；163 个真实缺口与 497 个合成缺口的分布与难度差异；三类能力的具体评分定义（Macro Defect Recovery Rate、Macro Clarification Action Success Rate 等指标的计算方式）；13 个 LLM 的具体清单与提示设置；oracle 研究的下游任务与判定标准（14%→98% 的具体含义）。
• 合成缺口注入到“已可编码化参考”中，可能高估或低估真实场景难度，需看原文的效度讨论（待核实）。
• arXiv 编号显示为 2609.10539v1，与正文元数据一致性、版本状态、是否已被会议接收等均待核实。
• 未提供父级摘要（Parent digest）与父级 URL，无法确认该条目在既有知识脉络中的继承关系。

可用于图书/PPT/简报的角度

• “想法很好，但写不清楚”：把科学新颖性与工程可编码化拆成两个独立评价轴。
• 瓶颈错位：模型“会改”但“不会找”——可用于说明当前智能体在自主科研中的短板位于诊断而非生成。
• Oracle 上限图景：14%→98% 可作为一个直观图示，说明“澄清信息的可得性”对下游实现就绪度的决定性作用（数值待核实）。
• 基准构造方法论：真实缺口 + 受控合成缺口双轨设计，可作为“如何构建高质量评测集”的案例。
• 对论文写作与代码发布的启示：方法部分应显式覆盖实现者可能被迫做“无依据假设”的位置。

原始材料

• 标题（英文）：IdeaAMBIG: Benchmarking Implementation-Critical Gaps in Research-Idea Specifications
• 来源：https://arxiv.org/abs/2609.10539v1
• Track：academic
• Topics：foundation-model
• 英文关键词（据候选摘要归纳，待核实是否为原文关键词）：research-idea specification；codification readiness；implementation-critical gaps；defect localization；clarification action generation；reproducibility；benchmark；coding agents
• 父级摘要：未提供
• 父级 URL：未提供
• 抓取状态：正文未抓取，本卡片仅基于已知元数据与候选摘要撰写。