知识卡片：双曲逆强化学习

一句话结论

Hyperbolic IRL 将奖励函数参数化为特征向量与学习到的参数向量之间的双曲距离（并设欧氏距离对照），在标准基准上与主流方法相当，并在低数据与稠密环境条件下表现更优，同时提升了对不可分合取奖励结构的可解释性。

事件概述或研究问题

逆强化学习（IRL）旨在从观测行为中推断潜在奖励函数，但其预测精度与可解释性取决于奖励如何由底层特征计算。既有 IRL 奖励实现包括线性权重、神经网络及其他函数近似器，但均未对底层特征空间的几何结构做假设。该研究提出的问题是：若对特征空间几何（双曲 vs. 欧氏）做出显式假设，能否同时改善 IRL 的预测精度与可解释性。

方法/产品要点

• 提出 Hyperbolic IRL：奖励是特征向量与学习参数向量之间双曲距离的函数；同时给出对应的欧氏距离变体作为对照。
• 动机来自神经回路中观察到的几何组织。
• 在确定性策略与随机策略两种设定下，与多种线性及非线性 IRL 基线进行对比测试。
• 应用场景之一：博物馆房间内多展品间的人类导航行为建模。

主要结果或产业意义

• 在既有基准上，双曲方法达到与当前最优模型相当的性能。
• 在低数据条件下以及稠密环境中表现突出。
• 在博物馆导航任务中，双曲 IRL 揭示的奖励结构不仅依赖单个展品距离特征，还依赖特征之间不可分的合取关系。
• 作者结论：双曲奖励参数化可同时提升 IRL 的预测精度与可解释性，为研究不可分、合取结构如何解释行为提供框架。

为什么重要

IRL 的奖励参数化长期以函数近似能力为核心，而较少讨论特征空间的几何假设。该工作把几何先验引入奖励建模，使低数据条件下的推断更有效，并让“特征组合/合取”这类不可分结构在奖励中显式可见，这对行为建模与可解释性分析具有直接价值。与既有卡片中 QVIRL 关注贝叶斯后验与不确定性量化不同，本条关注的是奖励函数的几何参数化本身，属于奖励表示层面的增量。

局限与不确定性

• 材料仅提供摘要，具体基准名称、数据集规模、对比基线清单、超参数设置与消融实验细节待核实。
• 博物馆人类导航实验的受试者数量、任务设计与统计检验待核实。
• “低数据极限”与“稠密环境”的具体定义与量化指标待核实。
• 双曲距离参数化的计算开销与训练稳定性未在摘要中说明，待核实。
• 是否开源代码待核实。

可用于图书/PPT/简报的角度

• 奖励表示的历史线索：从线性权重、神经网络到几何先验（双曲/欧氏）。
• “几何先验作为归纳偏置”在低数据强化学习/逆强化学习中的作用。
• 可解释性案例：用双曲距离揭示特征间的不可分合取结构（博物馆展品导航）。
• 神经回路几何组织对机器学习建模的启发。
• 与贝叶斯 IRL（如 QVIRL）的互补关系：一个管后验不确定性，一个管奖励几何参数化。

原始材料

• 标题：Hyperbolic Inverse Reinforcement Learning
• arXiv ID：2610.42104v1
• 作者：Iulia Rusu, Anoop Praturu, Sergei Gepshtein, Tatyana Sharpee
• 发布/更新：2026-10-30T17:46:04Z
• 主分类：cs.LG
• 摘要页：https://arxiv.org/abs/2610.42104v1
• PDF：https://arxiv.org/pdf/2610.42104v1