知识卡片：Designer-RSI：从用户流量演化程序记忆的智能体图形设计

一句话结论

Designer-RSI 提出一种不更新模型权重、不使用人工标签的持续适应框架：冻结的前沿模型操作专业设计软件，同时从真实用户 brief 和自动评分轨迹中扩宽、深化外部自然语言“程序记忆”，从而提升长时程智能体图形设计的执行成功率与设计质量。

事件概述或研究问题

专业图形设计是长时程智能体任务，最终产出是结构化、可编辑的设计 artifact，由许多相互依赖的动作逐步形成；但设计结果缺乏可靠的程序化 oracle。论文研究的问题是：智能体如何从真实用户流量中积累可复用的设计程序，并在噪声、难以程序化验证的反馈下持续改善，而不依赖权重更新或人工标注。

方法/产品要点

• 冻结的前沿模型通过 230 多个工具操作专业设计软件。
• 外部程序记忆由自然语言技能构成，用于积累和精炼可复用的设计程序。
• 扩宽：为反复出现且尚未覆盖的子任务获取新程序。
• 深化：根据已有程序自身的成功与失败执行，修订现有程序。
• matched replay gate：只接纳能修复失败、且不导致已观察成功案例回退的记忆变更。
• 适应过程无权重更新、无人工标签；共 5 轮，使用 1,406 个真实用户 brief 和 1,869 条自动评分轨迹。
• 待核实：具体设计软件、工具集构成、自动评分方法、回放门控实现细节、用户 brief 的数据治理与授权方式。

主要结果或产业意义

• 程序记忆库从 76 个文档衍生技能增长到 139 个。
• 在 Claude-Sonnet-4 上，GenEval2 执行成功率从 72.7% 提升到 99.3%；生成质量提升 +11.99 点。
• 在四个专门设计基准上，对 no-skill agent 的胜率分别为：Claude-Sonnet-4 上 61.8%，Claude-Opus-4.6 上 67.6%。
• 在用户流量基准的 200 个 held-out brief 上，单独使用扩宽机制达到 49.4% 胜率，单独使用深化机制达到 48.6% 胜率；两者结合达到 58.5%（p = 0.025）。
• 产业意义：为设计软件智能体提供一条无需重训模型、无需人工标签的持续改进路径，可能降低对权重更新和人工评测的依赖。成本、部署形态和长期维护需求待核实。

为什么重要

• 长时程工具使用智能体在专业软件中的失败，常来自程序性知识缺口，而非单步能力不足；外部程序记忆可视为对这类缺口的显式补足。
• 该框架把“经验积累”放在模型之外，通过自然语言技能和回放门控实现持续适应，避免灾难性遗忘式权重更新。
• 对噪声、不可程序化验证的反馈环境有实践价值，可能迁移到其他创意、办公和生产软件 agent；跨域泛化能力待核实。
• 与既有脉络的关系：AutoDesign 侧重优化模型-框架系统，GDB-Reward 侧重把评估指标转为奖励，VISA 侧重多模态指令数据自演化；本条增量在于以真实用户流量驱动外部自然语言程序记忆的扩宽与深化，并用 matched replay gate 控制更新，且不更新模型权重。

局限与不确定性

• 目前仅见摘要与元数据，方法细节、基准定义、统计检验、消融实验和失败案例待核实。
• 自动评分轨迹能否可靠反映专业设计质量与真实用户偏好待核实。
• “GenEval2 执行成功率 99.3%”与“+11.99 生成质量”的具体指标定义、尺度和统计口径待核实。
• 真实用户 brief 的来源、隐私、授权、偏差，以及四个专门设计基准的代表性待核实。
• 对不同模型、不同设计软件、不同工具版本、长期漂移和安全风险的适用性待核实。
• 该 arXiv 预印本是否经过同行评审待核实。

可用于图书/PPT/简报的角度

• “不更新权重也能持续进化”：外部程序记忆作为智能体能力扩展层。
• “扩宽 vs 深化”：程序记忆增长的两类机制，以及组合后的增益。
• “匹配回放门控”：在噪声反馈下防止能力回退的质量门。
• 设计自动化：从单次生成到多轮工具操作与可编辑 artifact。
• 专业软件 agent 的评估难题：没有可靠 oracle 时如何定义成功。
• 与 AutoDesign / GDB-Reward / VISA 对照：框架优化、奖励转换、数据自进化、程序记忆四条路线。

原始材料

• English title: Designer-RSI: Evolving Procedural Memory from User Traffic for Agentic Graphic Design
• English keywords: agentic graphic design; procedural memory; continual adaptation; frozen frontier model; tool use; matched replay gate; GenEval2
• Authors: Hongyang Du, Lan Yan, Christian Flores, Asim Kadav
• arXiv ID: 2609.22086v1
• Published / Updated: 2026-09-18T17:59:56Z
• Primary category: cs.AI
• Categories: cs.AI, cs.CV
• Abstract URL: https://arxiv.org/abs/2609.22086v1
• PDF URL: https://arxiv.org/pdf/2609.22086v1