知识卡片：基于再分配成本推断的稀疏安全离线强化学习

英文标题： Redistribution-based Cost Inference Improves Sparse Safe Offline RL
英文关键词： Safe Offline RL; Sparse Stop-feedback; Cost Inference; Return Decomposition; CMDP; Temporal Credit Assignment

一句话结论

本文提出 RCI 框架，将安全离线强化学习中的轨迹级稀疏“停止反馈”转化为稠密逐步成本，在理论上保持可行策略集和最优拉格朗日量不变的前提下，改善成本评论员的学习条件，并在高速驾驶和机器人操作任务中显著降低违规率。

事件概述或研究问题

安全离线强化学习通常假设有稠密的逐步成本标注；但在实际中，监督者往往只能提供轨迹级停止反馈：在第一个不安全转移处给出一个二元信号，没有逐成本归属。
作者将该问题建模为时间信用分配问题，并提出基于再分配的成本推断框架 RCI。
论文的核心问题：如何只利用稀疏、无逐项归因的停止反馈，训练出安全且性能可用的离线策略。

方法/产品要点

RCI 通过回报分解将稀疏停止反馈转换为稠密逐步成本。
在增强后的数据集上训练约束离线策略。
理论贡献：回报等价的再分配能够保持约束马尔可夫决策过程（CMDP）中的可行策略集和最优拉格朗日量，说明该转化在理论上是无损的。
实践效果：相比仅使用稀疏反馈或基于分类器的成本估计，RCI 能使成本评论员学习条件更好。

主要结果或产业意义

实验场景包括高速驾驶与机器人操作（具体环境与基准名称待核实）。
与稀疏反馈基线和基于分类器的基线相比，RCI 取得了显著更低的违规率。
对异构数据集组成和标签噪声表现出鲁棒性。
具体违规率数值、数据集细节和消融结果未在摘要中给出，待核实。
对自动驾驶、机器人安全控制等依赖离线数据且安全反馈稀疏的工业场景，具有潜在应用价值。

为什么重要

现实中的安全反馈往往是粗粒度、事后且无逐项标注的；RCI 提供了一种把这类反馈转化为可训练稠密信号的思路。
理论上的无损性说明，该转化不会牺牲 CMDP 的约束最优性，减少了实践中的保守性顾虑。
与已有相关卡片（RAG 策略学习、PyroDash、Embodied.cpp）没有直接连续性；本条增量信息在于它聚焦“安全离线 RL 中成本标注稀疏、只有停止反馈”的信用分配问题，而不是策略学习的检索增强或推理成本优化。

局限与不确定性

摘要未提供实验配置、基线实现细节、数据集规模和违规率的具体数值，实际收益幅度待核实。
未提及该方法在高维状态空间、连续动作空间或更大规模离线数据集上的扩展性。
未讨论如果停止反馈本身存在延迟或标注位置不准确时，RCI 是否依然有效；仅提到对标签噪声鲁棒。
由于本文卡片仅基于 arXiv 摘要生成，具体损失函数、网络结构和消融实验细节均待核实。

可用于图书/PPT/简报的角度

用“从一句话反馈推断每一步的成本”作为引入，说明安全离线强化学习中的稀疏监督问题。
以 RCI 为例，解释“理论等价变换”和“实际学习条件改进”如何同时成立。
在人工智能安全、自动驾驶或机器人安全章节中，用“只有停止反馈的安全策略学习”作为现实约束的切入点。

原始材料

英文标题：Redistribution-based Cost Inference Improves Sparse Safe Offline RL
arXiv ID：2608.12306v1
作者：Ebenezer Gelo, Geraud Nangue Tasse, Steven James, Benjamin Rosman
arXiv 页面显示提交/更新时间：2026-08-12T17:53:15Z
链接：https://arxiv.org/abs/2608.12306v1