知识卡片：扩展发现需要遗忘

一句话结论

在 LLM 智能体进行开放式自动研究时，适时丢弃搜索状态（含会话与候选历史）并从当前最优候选重启，可突破智能体因历史累积导致的改进瓶颈，使同一预算下的发现效果进一步提升（具体数值待核实）。

事件概述或研究问题

• 论文题目：Scaling Discovery Requires Forgetting
• 研究问题：如何扩展基于 LLM 智能体的自动化研究，使其在给定算力预算下持续产生更好的发现。
• 候选摘要指出：三种扩展策略（单智能体长时迭代、多个智能体并行、并行智能体互相通信并基于彼此候选改进）最终都会因智能体累积历史而进入平台期；智能体被自身过往尝试锚定，编辑越来越少、越来越小；超过该点后追加预算几乎不再带来改进。
• 论文主张：进一步扩展发现的关键是“遗忘”——周期性丢弃搜索状态（包括每个智能体的会话与候选历史），并从目前找到的最优候选重新开始。

方法/产品要点

• 在带有通信机制的智能体团队中实现“遗忘”机制。
• 遗忘操作要点（据候选摘要）：
  • 周期性丢弃搜索状态；
  • 搜索状态包括每个智能体的会话与候选历史；
  • 从当前最优候选重启搜索。
• 评估任务覆盖四类（据候选摘要）：启发式编程、内核优化、模型训练。
• 具体实现细节、任务定义、评价指标、对比基线设置：待核实。

主要结果或产业意义

• 候选摘要给出的结果（待核实）：
  • 相比并行智能体，最高提升 15%；
  • 相比单智能体，最高提升 39%。
• 产业意义（基于候选摘要的推断，待核实）：
  • 对开放式发现型智能体系统而言，“允许智能体记住什么”与“给多少算力”同等重要；
  • 为自动化研究管线提供一种低成本改造方向：通过状态重置/历史丢弃策略，而非单纯增加算力，来延续改进曲线。

为什么重要

• 该工作把“记忆/历史管理”提升为扩展自动发现的核心变量，而不是仅关注模型规模、并行度或预算。
• 与既有卡片的关系：现有相关卡片分别涉及 ASR 时间戳漂移纠正而不遗忘、自主模型发现实验设计、医学多模态数据框架；本卡片关注的是“在 LLM 智能体自动研究流程中主动遗忘搜索状态以突破平台期”，属于不同问题域与不同机制，不构成对上述事实的重复陈述。若后续出现同脉络的自动化研究扩展卡片，本条可作为“遗忘/重置策略”的增量线索。

局限与不确定性

• 未能抓取正文，以下内容待核实：
  • 论文的真实性与正式发表状态（URL 指向 arXiv:2610.20563v1，编号与时间需核对）；
  • “遗忘”机制的具体算法、触发频率、重置粒度；
  • 四类任务的具体名称、数据集、基线；
  • 15%/39% 提升的度量口径、统计显著性与可复现性；
  • 是否存在负面结果、失败案例或适用范围限制；
  • 与相关工作的差异与继承关系。

可用于图书/PPT/简报的角度

• “算力不是唯一杠杆”：用遗忘/重置对抗智能体历史锚定。
• 自动化研究的扩展路线图：单智能体长迭代 → 并行 → 通信协作 → 状态遗忘与重启。
• 记忆治理：在开放式发现系统中，什么该记、什么该忘、何时忘。
• 成本效益叙事：用策略性遗忘把同一预算推到更远，而非直接加算力。
• 风险与边界：遗忘可能丢失有用上下文，如何平衡探索与稳定（待核实论文是否讨论）。

原始材料

• 标题：Scaling Discovery Requires Forgetting
• 来源：arXiv
• URL：https://arxiv.org/abs/2610.20563v1
• Track：academic
• Topics：foundation-model
• 关键词（英文）：Scaling Discovery, Forgetting, LLM Agents, Automated Research, Search State, Parallel Agents, Communication, Heuristic Programming, Kernel Optimization, Model Training
• 候选摘要（英文原文，供核对）： Automated research with LLM agents has shown promising results in various domains. Through iterative refinement and scored verifiers, LLM agents are capable of discovering new ideas. There are different ways to scale automated research: let one agent iterate for longer, run several agents in parallel, or further let the parallel agents communicate and build on one another's candidates. However, we find that all three strategies eventually plateau as the agents accumulate history. Each agent becomes anchored to its own past attempts, making fewer and smaller edits. Beyond this point, additional budget brings little further improvement. In this paper, we show that the key to scaling discovery further is to forget. Periodically discarding the search state, including every agent's session and the candidate history, and restarting from the best candidate found so far, unblocks the search and pushes the same budget further. We implement forgetting in a team of agents with communication and evaluate it on four tasks spanning heuristic programming, kernel optimization and model training. The results show up to 15% improvement compared to parallel agents, and up to 39% compared to a single agent. Our results suggest that, for open-ended discovery, what an agent is allowed to remember matters as much as how much compute it is given.
• 备注：正文未能抓取，本卡片仅基于已知元数据与候选摘要生成，未核实项已标注。