知识卡片：精确滑动窗口约束下的线性 Bandit

一句话结论

在精确滑动窗口约束的线性 bandit 中，离线最优解依赖凸性与循环移位不变性；在线学习不能只靠几何结构，需要 transition diameter $\tau$ 或 history-state diameter $D$ 等可达性/通信度量，作者据此给出 rare-switching OFUL 与乐观剩余时域规划，并在评估中以更少策略更新维持精确可行性。

事件概述或研究问题

• 来源研究 Linear Bandits under Exact Sliding-Window Constraints：每个连续动作块都必须属于预设可行集。
• 离线设置中奖励函数已知：什么条件下平稳解最优？
• 在线设置中：仅凭几何结构是否足以学习？次线性 regret 是否可能？
• 进一步去掉循环不变性，考虑一般滑动窗口约束：最优行为可能非平稳。如何把近期动作历史表示为状态，并在可行历史之间学习？
• 主题标记为 foundation-model，但来源材料本身是 cs.LG 下的线性 bandit 理论，未提及 foundation model；与该主题的直接关系待核实。

方法/产品要点

• 离线分析：凸性与循环移位不变性使平稳解在 $w\mid T$ 时最优；否则与最优解存在加性 $O(w)$ 差距。材料未在摘要中展开 $w$ 的完整定义，待核实。
• 在线下界/困难性：证明仅几何结构不足以学习，次线性 regret 可能不可能。
• Transition diameter $\tau$：用于量化可行可达性。
• Rare-switching OFUL：面向离线最优可行轨迹，regret 为 $\widetilde{O}(d\sqrt{T}+\tau d+w)$。
• 一般滑动窗口约束：去掉循环不变性后，最优行为可能非平稳。将近期动作历史视为有限记忆控制问题的状态。
• History-state diameter $D$：衡量可行历史之间的可行通信。
• 乐观剩余时域规划 + 稀有策略更新：在该设定下得到 regret $\widetilde{O}(d\sqrt{T}+dD+w)$。
• 评估：在真实与合成 benchmark 上，方法保持精确可行性，reward 与 regret 与 baseline 可比，同时策略更新显著更少。具体数据集、baseline 和统计细节待核实。

主要结果或产业意义

• 理论上给出了两类 regret bound：$\widetilde{O}(d\sqrt{T}+\tau d+w)$ 与 $\widetilde{O}(d\sqrt{T}+dD+w)$。
• 实践上强调“精确可行性”与“少策略更新”可以兼得，至少在来源评估中如此。
• 产业意义：对需要连续动作块满足硬可行性、且希望降低策略切换频率的在线序贯决策/控制场景可能有参考价值；材料未直接讨论产业落地，具体适配性待核实。

为什么重要

• 它指出了一个关键点：在约束在线学习中，“乐观地面向可行集”不够，还必须处理可行状态之间的可达性与通信结构。
• 从平稳解扩展到非平稳最优行为，并用有限记忆控制视角处理历史状态，为滑动窗口约束下的 bandit 提供了新的分析框架。
• 与提供的已有相关卡片（SovereignPA-Bench、临床合成基准、PGFS++）没有直接事实重叠；本条增量在于补充精确滑动窗口约束下的线性 bandit 离线/在线理论、$\tau$/$D$ 度量与 rare-switching 算法。

局限与不确定性

• 实验所用真实/合成 benchmark 的名称、构造、基线选择、统计显著性和代码可用性：待核实。
• “次线性 regret 不可能”的精确定义、下界条件与证明范围：待核实。
• $\tau$ 与 $D$ 是否可在未知环境中估计，或仅用于理论分析：待核实。
• $w$、$T$、$d$ 的完整定义、常数项和 regret bound 的紧致性：待核实。
• 评估中“exact feasibility”的具体验证方式与约束生成机制：待核实。
• 与 foundation-model 主题的实质关联：材料未说明，待核实。

可用于图书/PPT/简报的角度

• “约束不是事后过滤”：连续动作块可行性直接嵌入在线学习问题。
• “几何结构 ≠ 可学习性”：$\tau$ 说明可行可达性会决定在线学习难度。
• “从平稳解到有限记忆控制”：去掉循环不变性后，历史状态成为核心。
• “少切换的乐观算法”：rare-switching OFUL 与稀有策略更新。
• “理论 bound 的组成”：$d\sqrt{T}$、直径项与窗口项之间的关系。

原始材料

• 英文标题：Linear Bandits under Exact Sliding-Window Constraints
• arXiv ID：2610.08745v1
• Authors：Seyed Mohammad Hadi Hosseini, Yasin Abbasi-Yadkori, Sattar Vakili
• Published：2026-10-06T17:41:08Z
• Updated：2026-10-06T17:41:08Z
• Primary category：cs.LG
• Categories：cs.LG
• Abstract URL：https://arxiv.org/abs/2610.08745v1
• PDF URL：https://arxiv.org/pdf/2610.08745v1
• 英文关键词（据摘要提取，非来源独立标注）：linear bandits; exact sliding-window constraints; offline setting; online setting; transition diameter; rare-switching OFUL; history-state diameter; finite-memory control problem; optimistic remaining-horizon planning; regret bounds.