知识卡片：基于可靠性的仲裁揭示与强迫性和冲动性相关的异质性模型化与无模型强化学习策略

一句话结论

人类在强化学习中会整合三种可靠性信息（转移可靠性、无模型奖励预测可靠性、模型化奖励预测可靠性）来仲裁控制策略，且个体在“用哪些策略仲裁”上存在异质性，这些异质性与不同的强迫性和冲动性特征相关。

事件概述或研究问题

该研究关注人类如何在强化学习策略之间进行仲裁（arbitration），以及这些策略本身的本质。研究使用修改版两步决策任务，在两个独立样本（N = 452 和 N = 226）中考察个体如何整合可靠性信息来调节控制策略，并分析行为profile与强迫性、冲动性特征的关系。

方法/产品要点

• 采用修改版两步决策任务（modified two-step decision task）。
• 两个独立样本：N = 452 与 N = 226。
• 考察三类可靠性信息在仲裁中的作用：
  • 转移可靠性（transition reliability）
  • 无模型奖励预测可靠性（model-free reward-prediction reliability）
  • 模型化奖励预测可靠性（model-based reward-prediction reliability）
• 识别出四类主要行为profile：以无模型为主、以模型化为主、混合型、非强化学习型。
• 进一步区分个体“仲裁的对象”：部分个体在模型化与无模型控制之间切换；另一些个体保持模型化控制，但在不同任务表征之间仲裁。

主要结果或产业意义

• 人类在仲裁控制时会整合上述三种可靠性信息。
• 这些机制在不同个体间的部署方式不同，形成异质性的行为profile。
• 不同行为profile与不同的强迫性、冲动性特征相关联。
• 个体差异不仅体现在“如何使用可靠性信息”，还体现在“仲裁的是什么”——即切换于模型化/无模型控制之间，还是在保持模型化控制的同时仲裁不同任务表征。
• 研究强调人类强化学习存在广泛异质性，并为理解认知个体差异与神经精神易感性提供线索。

为什么重要

• 挑战了将强化学习策略视为同质机制的简化假设，提示需要按个体差异建模仲裁机制。
• 将计算层面的可靠性仲裁与强迫性、冲动性等精神病理维度联系起来，为跨诊断视角提供依据。
• 对理解目标导向规划与自动化反应在变化环境中的动态平衡具有理论意义。

局限与不确定性

• 该文为提前在线发布的 accepted 版本，最终 Version of Record 可能还有编辑调整（原文注明“subject to further edits”）。
• 样本的具体人口学构成、任务细节参数、统计模型设定等需查阅全文核实；本卡片仅依据摘要与可见元数据，无法确认。
• 强迫性/冲动性的测量工具与具体关联方向（正/负、效应量）待核实。
• 因果方向无法从该设计确认；是否为纵向或临床样本推断需核实。

可用于图书/PPT/简报的角度

• “人类不是只用一种学习策略”：用四类行为profile说明强化学习的个体异质性。
• “仲裁的对象也可以不同”：区分“在模型化与无模型之间切换”与“在任务表征之间仲裁”两种个体差异。
• “计算精神病学入口”：把可靠性仲裁机制与强迫性、冲动性特征连接，作为认知差异与神经精神易感性的桥梁。
• 与既有RL卡片（如NashDreamer、RLLBC-Lib）形成对照：本条聚焦人类行为与个体差异，而非算法或教育工具。

与既有脉络的关系

既有卡片多聚焦强化学习的算法实现（NashDreamer）或教育代码库（RLLBC-Lib），本条提供的是人类强化学习仲裁机制的实证研究增量：强调可靠性信号整合与个体异质性，并把计算机制与精神病理维度关联。

原始材料

• 标题：Reliability-based arbitration reveals heterogeneous model-based and model-free reinforcement learning strategies linked to compulsivity and impulsivity
• 期刊：Nature Communications（2026）
• 发表日期：Published online: 24 October 2026
• DOI：https://doi.org/10.1038/s41467-026-78185-6
• 作者：Jeffrey Cockburn, Weilun Ding, Sarah Oh, Caroline J. Charpentier, Reza Tadayonnejad, Jamie D. Feusner, John P. O’Doherty
• 关键词（英文）：model-based reinforcement learning; model-free reinforcement learning; reliability-based arbitration; compulsivity; impulsivity; individual differences
• 来源链接：https://www.nature.com/articles/s41467-026-78185-6