知识卡片：带共形动作集的强化学习：面向顺序推荐的应用

一句话结论

论文提出 RLCP（Reinforcement Learning with Calibrated Pruning），用 critic 分数和在线阈值自适应裁剪候选动作集；在 KuaiRand-Pure 与 MovieLens 1M 的 19 个配置中，至少一个 RLCP 变体取得最高目录多样性，达到最强基线的 1.11×–5.21×，同时会话深度有竞争力且保留集合不更大。

事件概述或研究问题

顺序推荐通常使用固定 slate size，但一次会话中有用候补的数量会变化。本文研究如何让强化学习推荐器动态调整保留的动作集，并量化剪枝对奖励的影响。

方法/产品要点

• 方法名：Reinforcement Learning with Calibrated Pruning (RLCP)；论文英文标题为 Reinforcement Learning with Conformal Action Sets: An Application to Sequential Recommendation。
• 用 critic 分数和在线阈值自适应保留动作集。
• 阈值由二元反馈更新，该反馈表示集合是否包含 proxy target 中的动作。
• 证明自适应轨迹上 observed proxy miss rate 的确定性界。
• 将 value loss 精确分解为 filtering loss 与 selection loss。
• 在显式 proxy 和 critic 近似条件下，该分解给出有限 session reward bound，同时考虑 imperfect selection 和 set truncation，且不要求学习参数收敛。
• 实验比较两个 RLCP 实现与四个 RL 基线，使用 KuaiRand-Pure 和 MovieLens 1M。
• proxy target 定义、阈值更新公式、共形校准实现细节、两个 RLCP 变体与四个基线的具体算法与超参数：待核实。

主要结果或产业意义

• 在 19 个配置中，每个配置至少一个 RLCP 变体达到最高 catalog diversity，为最强基线的 1.11× 至 5.21×。
• 同时具有 competitive session depth，且 retained sets 没有更大。
• 产业意义：若结果可复现，可能支持推荐系统在会话中动态调整候选集，在不扩大保留集合的前提下提升目录多样性；线上点击、转化、留存等业务效果待核实。

为什么重要

固定推荐位或固定 slate 的限制在于无法适应会话内有效候补数量的变化。本文把动作集裁剪与在线校准阈值、RL 价值损失分解和有限会话奖励界联系起来，为推荐 RL 中“多样性—深度—动作空间大小”的权衡提供了一种可分析路径。与已有卡片中的四旋翼 DRL、LEMUR 多目标 RL 对齐、CompactionRL 上下文压缩 RL 不重叠；本条增量在于顺序推荐场景下的自适应动作集裁剪、代理漏检率保证和价值损失分解。

局限与不确定性

• 理论保证依赖显式 proxy 与 critic 近似条件，这些条件的具体形式与强度待核实。
• 实验仅见 KuaiRand-Pure 与 MovieLens 1M、19 个配置；是否可泛化到其他领域、数据集或线上环境待核实。
• 未从材料确认是否进行线上 A/B 测试、计算开销、延迟、训练稳定性与统计显著性，待核实。
• 主要报告 catalog diversity、session depth 和 retained set size；其他推荐质量指标如点击率、转化率、用户满意度等待核实。
• 标题中的 “Conformal Action Sets” 与摘要中的 “Calibrated Pruning” 的完整对应关系及共形保证的具体数学形式待核实。

可用于图书/PPT/简报的角度

• 从固定推荐位到自适应候选集：校准剪枝如何动态控制动作空间。
• 推荐 RL 的多样性—深度权衡：filtering loss 与 selection loss 的分解。
• 在线阈值加二元反馈的轻量校准机制。
• 理论保证与工程实验结合：不要求学习参数收敛的有限会话奖励界。
• 与多目标 RL、上下文压缩 RL 的对比：动作空间管理而非偏好建模或历史压缩。

原始材料

• 英文标题：Reinforcement Learning with Conformal Action Sets: An Application to Sequential Recommendation
• 作者：Wenwen Si, Honghao Wei
• arXiv ID：2610.08743v1
• 发布/更新：2026-10-06T17:40:52Z（两者相同）
• 分类：Primary category cs.LG；Categories cs.LG, cs.AI
• 英文关键词：材料未单独给出；据标题与摘要可提取 Reinforcement Learning、Conformal Action Sets、Sequential Recommendation、Calibrated Pruning、RLCP、catalog diversity、proxy miss rate、value loss decomposition。
• 摘要 URL：https://arxiv.org/abs/2610.08743v1
• PDF URL：https://arxiv.org/pdf/2610.08743v1
• 来源说明：以上为给定来源材料中的事实整理；未在材料中确认的细节已标注“待核实”。