本文在非参数分布时序差分学习框架下证明,基于单条马尔可夫轨迹估计回报分布时,Polyak-Ruppert 平均估计量的根号 T 误差弱收敛到 Cramér 空间中的中心高斯随机元;条件自助法也有同一极限。该结果支撑方差、CVaR、期望短缺、expectiles 等光滑泛函,以及由 CDF 方程刻画的分位数等非光滑泛函的在线推断。
值得关注:在分布强化学习中,常见做法是估计回报分布或风险度量,但很少给出估计量的统计推断。本文提供了在线 bootstrap 推断的渐近理论,使 CVaR、期望短缺、expectiles、分位数等风险敏感指标可以带置信区间使用。…