知识卡片：OnTrack：基于流式结构感知最优传输的 LLM 智能体轨迹实时监控与干预

一句话结论

OnTrack 是一种流式监控机制，通过将智能体执行步骤与依赖关系同已记录的成功运行轨迹进行比对，在约每步 1 毫秒的开销下实时预警或阻断智能体；在 SWE-bench 轨迹上，它比内容相似度方法更早区分失败与成功轨迹（+0.057 AUROC），并借助中止策略节省约 18% 的无效算力。

事件概述或研究问题

LLM 智能体已被部署在旅行规划、股票交易、IT 事件分诊等场景中，多数情况下以自主方式运行，仅有极少的基于规则的防护措施。这带来了成本与安全风险：不可逆操作可能造成实际损害。现有解决方案主要有两类——一是引入“防护智能体”逐步监控行为，但会增加每一步的成本与延迟；二是事后评估日志，但结论往往在运行结束、token 已消耗、损害已发生之后才给出。OnTrack 试图在两者之间寻找实时、低开销的监控路径。

方法/产品要点

• 核心机制：流式监控，将智能体的步骤与依赖关系同记录的成功运行进行比对，使用“流式结构感知最优传输”（Streaming Structure-Aware Optimal Transport）进行对齐与打分，据摘要称每步开销约 1 毫秒。
• 干预能力：可向用户发出警报或直接阻断智能体。
• 三种访问权限情形（数据访问递减）：
  1. 完整参考访问：可获取历史运行记录与工具 schema；
  2. 中间访问：仅有工具 schema；
  3. 无先验知识：仅有实时生成的步骤日志。 摘要指出，随着数据访问权限下降，OnTrack 的监控能力预期相应减弱，其能力范围从“计划违规检测”逐步退化为识别“循环、停滞与重复工具调用”。
• 评估数据：使用 SWE-bench 的智能体轨迹。

主要结果或产业意义

• 轨迹排序：仅基于前 8 步，OnTrack 将失败轨迹排在成功轨迹之下的能力优于内容相似度方法，AUROC 高出 0.057。
• 中止策略效果：采用中止策略后，节省了约 18% 本会消耗在失败运行上的算力；被中断的运行中有 83% 确实正走向失败（6 次中止中 5 次正确）。
• 产业意义：为自主 LLM 智能体提供了一种低成本、实时的安全护栏，有望减少不可逆操作带来的成本与安全损失，而无需为每一步引入额外的防护智能体成本。

为什么重要

当前智能体安全监控面临“实时性—成本”两难：防护智能体方案延迟与开销高，事后评估方案无法阻止损害。OnTrack 提出的流式结构感知比对，试图以极低单步开销实现实时预警/阻断，并给出了可量化的收益（AUROC 提升、算力节省、中止准确率）。这为智能体部署中的安全与成本控制提供了一条可操作的中间路线。

局限与不确定性

• 摘要仅在 SWE-bench 轨迹上报告了评估结果，其他场景（旅行规划、股票交易、IT 事件分诊）的实际表现待核实。
• 三种访问权限情形下的具体性能数值除退化趋势描述外，摘要未给出完整量化对比，待核实。
• “约 1 毫秒/步”的开销为摘要表述，具体硬件与运行环境下的实测数据待核实。
• 中止策略的评估细节（如中止阈值、误报/漏报权衡）在摘要中未完全展开，待核实。

可用于图书/PPT/简报的角度

• “实时 vs 事后”的智能体安全监控路线对比：可作为章节或幻灯片中“智能体安全护栏设计”的案例。
• 低开销实时监控的可行性：以每步约 1 毫秒与 18% 算力节省为例，说明实时监控不必以高延迟为代价。
• 数据访问权限与监控能力的权衡：三种访问情形可作为“在信息受限下的智能体监控”讨论框架。
• 中止策略的精度-召回启示：83% 中止准确率可作为“提前终止失败运行”的实证素材。

与既有脉络的关系

现有相关卡片多聚焦于智能体行为的内在涌现（如多智能体辩论中的潜在目标）或特定任务方法（如 RSF-GLLM 的知识图谱问答、拉普拉斯最优传输的聚类匹配）。本卡片关注的是智能体运行过程中的外部实时监控与干预，属于“智能体安全与运维”脉络，与上述卡片在主题上互补，而非重复陈述同一事实。

原始材料

• 标题：OnTrack: Real-Time Monitoring and Intervention in LLM Agent Trajectories via Streaming Structure-Aware Optimal Transport
• arXiv ID：2610.12375v1
• 作者：Babak Barazandeh, Connor Swanson, Chinmay Kulkarni, Nikhil Mungel
• 发布：2026-10-08T17:32:08Z
• 主分类：cs.AI；分类：cs.AI, cs.CL, cs.CY, cs.LG
• Abstract URL：https://arxiv.org/abs/2610.12375v1
• PDF URL：https://arxiv.org/pdf/2610.12375v1