知识卡片：自我强化的集体动力学：跨任务耦合如何驱动无监督 RLVR 中的策略坍缩

一句话结论

论文提出一个可解的多任务模型来解释无监督 RLVR（用模型自身多数投票作为可验证奖励）中“先提升、后坍缩”的现象：当训练题目数量足够多时，题目间共享参数的耦合会把局部扰动放大成集体不稳定，导致奖励上升而准确率下降，直至模型对所有题目给出同一答案。以上基于标题与摘要元数据，正文细节待核实。

事件概述或研究问题

• 研究对象：无标签（label-free）的 RLVR——奖励信号来自语言模型与自身多数投票的一致性，而非人工标注答案。
• 核心问题：为什么这种自我强化式训练在题目数量较多时才出现策略坍缩（policy collapse），而在题目较少时相对稳定？
• 作者给出的解释框架：把坍缩视为一种“集体不稳定性”（collective instability），而非单题层面的训练失败。

方法/产品要点

• 构建一个可解的多题目模型：多个题目共享参数，每个题目各自有偏好的答案分布。
• 关键量：单题自我强化漂移函数 $F$ 的群体平均斜率 $\langle F'\rangle$；共享耦合强度 $\lambda$；训练题目数 $N$；初始置信度相关量 $G$；种子扰动 $\delta$。
• 预测存在临界题目数 $N_c \simeq \ln(1/\delta)/(\lambda^2 G)$。
• 理论还包含一个核（kernel）版本，用于识别“保护性耦合”（锐化的泛化）与一个边际熵奖励项，后者可稳定均匀集体模式。
• 实验侧：在小 Transformer 的无标签 RL 中，移除共享方向、再恢复该方向，观察坍缩是否出现。

主要结果或产业意义

• 模拟结果与理论一致：出现尖锐转变；$N_c \propto \lambda^{-2}$（对数修正内）；不同耦合、置信度剖面与训练变体可归约到单一临界放大量 $\lambda^2 N G$；对批大小呈对数依赖；初始模型足够自信时不发生坍缩。
• 机制直觉：单题锐化被 $1/N$ 放慢，而共享模式以与 $N$ 无关、$\propto \lambda^2$ 的速率增长，二者竞争产生临界规模。
• 小 Transformer 实验报告：去掉共享方向可完全避免坍缩，恢复则重新出现；坍缩随训练集规模和基座模型熵增大而加剧。
• 产业意义（推测性，待核实）：对使用自一致性/多数投票作为奖励的无监督后训练流程，训练题目规模本身可能是风险变量，而非仅由奖励设计或数据质量决定。

为什么重要

• 它把“自我奖励导致退化”的经验观察提升为可分析的动力学机制，并给出可检验的标度关系（$N_c$、$\lambda^2NG$ 归约）。
• 提供了可操作的干预方向：削弱共享耦合方向、加入熵正则/边际熵奖励、控制训练题目规模与初始置信度。
• 与既有卡片的关系：本卡片关注的是训练动力学层面的集体不稳定性与临界规模；此前卡片（如代码模型表征中任务/语言/模型角色分离、Transformer 归纳推理不变学习动力学）讨论的是表征组织与任务结构，本条增量在于把“题目数量”作为触发坍缩的集体变量引入分析。

局限与不确定性

• 来源正文未能抓取，本卡片仅基于标题与摘要元数据；摘要中的公式、实验设置、模型规模、数据集与具体数值均待核实。
• 摘要中的“小 Transformer”具体规模、无标签 RL 的具体算法与超参数待核实。
• 理论模型的可解假设（共享参数、单题漂移形式）与真实 LLM 训练的差距待核实。
• “保护性耦合”与边际熵奖励的实际效果是否可迁移到大规模模型待核实。

可用于图书/PPT/简报的角度

• 用“单题锐化 vs 共享模式放大”的赛跑图解释临界题目数 $N_c$：一条 $1/N$ 下降曲线与一条与 $N$ 无关的 $\lambda^2$ 上升曲线相交。
• 把 $\lambda^2 N G$ 作为“坍缩风险仪表盘”的单一归约指标（概念示意，数值待核实）。
• 案例页：无监督 RLVR 的“奖励上升、准确率下降、答案趋同”三联曲线。
• 干预清单页：去共享方向、熵奖励、控制题目规模、提高初始置信度——按证据强度分级标注“摘要支持/待核实”。

原始材料

• 标题：Collective Dynamics of Self-Reinforcement: How Cross-Task Coupling Drives Policy Collapse in Unsupervised RLVR
• 来源：arXiv，https://arxiv.org/abs/2610.37553v1
• 关键词（英文，来自标题/摘要）：unsupervised RLVR；label-free reinforcement learning with verifiable rewards；policy collapse；cross-task coupling；collective instability；self-reinforcement；critical number of problems；marginal-entropy bonus
• 说明：正文未抓取，以上事实均来自标题与摘要，具体推导与实验细节待核实。