知识卡片：RRSI——智能体 Harness 的正则化递归自我改进

英文标题：RRSI: Regularized Recursive Self-Improvement of Agent Harnesses

一句话结论

RRSI 将正则化思路引入智能体 harness 的递归自我改进：在候选提案与选择阶段施加约束，以缓解对训练任务的过拟合；来源材料称其在八个基准上取得分布内与分布外提升，并让 harness 运行使用少 30% 的 policy token，但具体实验细节待核实。

事件概述或研究问题

LLM agent 的能力在很大程度上会被其 harness 放大，harness 指围绕冻结骨干模型的 prompts、control flow、tooling、memory 和 context management。近期方法开始自动化地对 agent harness 做组件级编辑的提出与选择，在 agent-system 层面形成一种递归自我改进（RSI）。问题在于：这种递归演化可能通过记忆训练任务而过拟合，表现为分布内增益很大，但在 out-of-distribution（OOD）基准上缩小甚至消失。RRSI 试图把正则化原则加入 harness 自我改进，约束演化候选的提案和选择。

方法/产品要点

• Proposer 侧约束：使用 temporally annealed budget，限制单个候选可以捆绑多少 edits；并根据演化历史鼓励未探索轨迹。
• Selector 侧约束：配备 critic 和 pruner。critic 筛选 benchmark-specific proposals；pruner 移除太小、太贵或不再有用的变化。
• 总体目标：这些约束共同偏向可复用的 agent mechanisms，而不是 benchmark-specific 机制或噪声。
• 改进对象：不是直接更新 frozen backbone model，而是演化围绕模型的 harness 组件。

主要结果或产业意义

• 在八个基准上评估，覆盖 coding、agentic workspace 和 engineering design tasks。
• RRSI 在其演化所针对的数据划分上最多提升 14.1 分；在五个 OOD 基准上最多提升 4.7 分。
• RRSI 产生的 harness 相比未正则化演化，运行使用少 30% 的 policy token。
• 代码链接：https://github.com/google-research/rrsi ；项目页：https://regularized-rsi.com/ 。
• 若这些结果可复现，产业意义在于：agent 系统级自我改进可能通过 harness 演化获得 OOD 泛化与成本效率，而不必改动底层模型权重。

为什么重要

该工作把“正则化”从模型训练迁移到 agent harness 的递归演化过程，直接回应 RSI 在 agent 系统层面容易过拟合基准、OOD 表现不稳定的问题。它同时关注 policy token 成本，提示自我改进系统的评估不应只看分布内分数，还要看 OOD 泛化与运行开销。

与既有脉络的关系：已有卡片中，PAST-Bench 关注个人智能体能否从积累经验中获得后续任务改进；RSI 分类法关注 bounded self-refinement 与 open-ended recursive self-improvement，并强调自我评估/验证层级；Frontis-MA1/OpenMLE 关注 AI4AI 与机器学习工程中的递归自我改进系统。本条增量在于：聚焦 agent harness 层面的正则化 RSI，提出 RRSI 的提案/选择约束，并报告 OOD 与 token 效率结果。上述结果仍需全文与复现核验。

局限与不确定性

• 本卡片仅基于 arXiv 摘要与元数据，未核验全文、附录和实验细节。
• 八个基准的具体名称、五个 OOD 基准的名称、对比基线、统计显著性、消融实验等，待核实。
• critic、pruner、temporally annealed budget 的具体实现和阈值，待核实。
• “少 30% policy token”的测量口径、适用条件和是否公平比较，待核实。
• 代码与项目页链接来自摘要，实际可运行性与复现结果未核验。
• 是否经过同行评审、是否有后续版本，待核实。
• 发布日期、作者列表和分类信息按来源材料记录，待核实。

可用于图书/PPT/简报的角度

• Harness 作为能力放大器：冻结骨干模型不变，但 prompts、控制流、工具、记忆和上下文管理可显著改变 agent 表现。
• 正则化不只属于训练：把候选复杂度预算、探索鼓励、critic/pruner 视为“演化正则化”，用于抑制基准过拟合。
• ID 与 OOD 的落差：自我改进系统容易在训练划分上虚高，必须同时报告 OOD 与运行成本。
• Token 效率：递归演化不仅要更强，还应更省，少 30% policy token 是可讲的工程指标。
• 系统级 RSI：改进对象可以是 agent harness，而非模型权重，适合讨论“智能体外骨骼/操作系统”的比喻。

原始材料

• 英文标题：RRSI: Regularized Recursive Self-Improvement of Agent Harnesses
• 英文关键词/术语：原始材料未提供关键词字段，以下为标题/摘要中的英文术语，待核实：Agent Harnesses; Recursive Self-Improvement; Regularization; Out-of-Distribution; LLM Agent
• arXiv ID：2609.24972v1
• Authors：Peng Xia, Rujun Han, Zifeng Wang, Yanfei Chen, Yufan Zhang, Yoonho Lee, Chengsong Huang, Han Yu, Zhongying CuiZhu, Yifei Ming, Huaxiu Yao, Burak Gokturk, Tomas Pfister, Chen-Yu Lee
• Published / Updated：2026-09-21T17:54:49Z
• Primary category：cs.LG；Categories：cs.LG, cs.AI, cs.CL
• Track：academic；Topics：foundation-model；Manual title：RRSI: Regularized Recursive Self-Improvement of Agent Harnesses
• Abstract URL：https://arxiv.org/abs/2609.24972v1
• PDF URL：https://arxiv.org/pdf/2609.24972v1
• Code：https://github.com/google-research/rrsi
• Project page：https://regularized-rsi.com/