知识卡片：PaperGym：以量规为中心的科研计划生成进化框架

英文标题：PaperGym: Rubric-Centered Evolution for Research-Plan Generation
英文关键词：research plan generation; rubric; reinforcement learning; AI scientist; GRPO
原始来源：https://arxiv.org/abs/2608.31119v1

一句话结论：PaperGym 将每篇学术论文转化为一个完整的强化学习训练环境，从论文的不同结构分别生成研究问题与评分量规，以量规作为奖励信号训练研究计划生成模型；实验表明该框架在多个基准上优于监督微调和现有数据管线，并将“改写即可得分”的标准泄漏降至 3.7%。

事件概述或研究问题：研究计划生成被认为是 AI 科学家的决定性能力，但研究计划没有可验证的标准答案，因此强化学习缺乏“任务+评判者”的训练环境。已有做法尝试从科学论文中提取量规（rubric）来充当评判者，但存在两个问题：一是研究问题和评分标准来自同一内容，模型可通过改写原文获得奖励；二是量规在每次 rollout 中被压缩为单个标量，损失了细粒度信息。PaperGym 旨在统一解决这两个问题。

方法/产品要点：

利用论文结构：问题从“研究目标+背景”综合生成，评分标准从“方法+实验”部分派生，覆盖方法创新和实验设计。
将评分标准泄漏降至 3.7%；作为对比，现有数据集的泄漏范围为 11.90%–34.10%。
训练时量规使用两次：先作为 OPSD（原文未展开）的自教师特权上下文，再作为 GRPO 的奖励。
在 Qwen3-1.7B/4B/8B 上，该训练调度优于监督微调、单独任一阶段以及反向顺序，五个基准平均分分别提升 +5.6、+5.0、+4.8 分。
固定其余训练配方不变时，基于 PaperGym-20k 训练的模型在三方比较中胜率 58.1%，而 RubricHub Science 为 28.2%。
训练后的 Qwen3-8B 在 ResearchQA 上达到 73.48，超过参数量远大于它的 Kimi K2.6。
发布内容：完整 pipeline、20,000 条语料 PaperGym-20k、基准 PaperGym-Innov 与 PaperGym-Design。

主要结果或产业意义：PaperGym 展示了“用论文自身结构构建可验证 RL 环境”的可行性。它使较小规模的开放模型 Qwen3-8B 在 ResearchQA 上超过更大的 Kimi K2.6；同时发布的语料和基准可被社区复现和继续使用，可能推动 AI 科学家研究计划生成能力的自动评估与训练。

为什么重要：研究计划是 AI 科学家的关键能力，但缺乏可验证的奖励信号。PaperGym 的核心增量在于把“量规”从单一标量还原为结构化的训练信号，并解决问题和标准同源导致的泄漏问题。相比已有相关卡片（户型图生成、引用验证器、地震教育），本卡片属于“AI 科学家训练环境”方向的新进展，不与上述卡片重复。

局限与不确定性：

摘要未提供 OPSD 的全称与实现细节，需原文核实。
实验仅在 Qwen3 系列模型上报告，未说明在其他架构或更大模型上的表现。
五个基准的具体名称、PaperGym-Innov/Design 的评估方式、Kimi K2.6 的配置等细节待核实。
标准泄漏率 3.7% 的测试集与计算方式，摘要未展开。
模型可能存在的泛化边界、对论文领域的覆盖范围等，摘要未提及。

可用于图书/PPT/简报的角度：

“AI 科学家不能只用答案训练：如何把一篇论文变成强化学习环境”——用论文的“问题-方法-实验”结构生成可检查的评分标准。
从“单一分数”到“结构化量规”：奖励设计的新思路。
数据质量大于模型规模：8B 模型在 ResearchQA 上超越更大的 Kimi K2.6。

与既有脉络的关系：本条是 PaperGym 论文的中文知识卡片。与之前“户型图生成”“引用验证器”“地震教育”卡片属于不同主题，不重复既有事实；可作为“AI 科学家”或“科研自动化的强化学习”主题下的新增条目。

原始材料：论文标题 PaperGym: Rubric-Centered Evolution for Research-Plan Generation；arXiv:2608.31119v1；作者 Yuhan Wang, Zhengxi Lu, Yuchen Yan, Kaitao Song, Wenqi Zhang, Weiming Lu, Jun Xiao, Yueting Zhuang, Yongliang Shen；发布于 2026-08-31。链接：https://arxiv.org/abs/2608.31119v1