知识卡片：BTS-AgentBench：从只读遥测日志到智能体基准的确定性可重放流水线
一句话结论
该工作提出并实例化了一条从工业只读遥测日志到可执行多轮智能体任务的确定性、可重放构建流水线，发布 BTS-AgentBench 基准，并用两个独立构建精确复现了发布数据划分，表明该流水线在智能体基准构造与可复现性方面具有可验证的增量价值。
事件概述 / 研究问题
工业现场包含大量只读遥测数据，但很少有基准明确说明如何将这些记录编译为可执行的多轮智能体任务。作者提出一种“遥测到 episode”（telemetry-to-episode）的构建方法，并实现为 BTS-AgentBench，试图弥合原始遥测日志与智能体评测基准之间的构造鸿沟。
方法 / 产品要点
- 归一化 BTS 元数据和原始历史记录，构建只读工具存储（read-only tool store）。
- 基于工具派生（tool-derived）的黄金答案与证据，编译静态任务。
- 将保留的任务提升为带类型、有界、面向操作员的 episode（typed, bounded operator-facing episodes）。
- 发布的 532 行数据增加了澄清（clarification）、目标修订（goal revision）、时间戳策略（timestamp policy）、质量门控报告（quality-gated reporting）和证据归因（evidence attribution），同时保留源计算（source computation）与数据划分（split）。
- 两个独立的 raw-to-episode 构建匹配全部 11 个逻辑工具存储导出，并精确复现发布的 356/87/89 训练/开发/测试划分工件。
主要结果或产业意义
- 摘要报告“编码契约预检”（Coded contract preflight）为零发现；构建排除控制器（construction-exclusion controller）在 532 行上完成 0 行。
- 将相同的构建路径应用于 XAI4HEAT，产生 204 个 episode；在其 41 行 held-out 测试划分上，控制器完成 0 行，保留的 GPT-5.5 执行（retained GPT-5.5 execution）完成全部 41 行。
- 产业意义：提供了一种可重放、可验证地从真实工业遥测日志批量生成智能体评测任务的方式，减少人工构造基准的主观性与不确定性。
为什么重要
现有智能体基准大多从人工编写或受限模拟环境中产生，从真实工业只读日志到任务的构建流程仍缺少明确规范。BTS-AgentBench 强调“确定性 + 可重放”的构造路径，并通过双独立构建精确复现工件来证明可复现性；相较已有相关卡片关注的编码智能体文档行为、生物医学问答、轨迹优化，本条属于智能体评测基础设施与基准构建方向的增量信息，并展示了跨数据集（XAI4HEAT）迁移的潜力。
与既有脉络的关系
本条与给出的已有相关卡片没有直接事实重叠。已有卡片分别涉及编码智能体的文档交互、BioASQ 问答流水线和智能体轨迹优化；本卡片补充的是从只读遥测日志到智能体基准的构建流水线，属于评测数据构造与可复现性层面，可看作该方向的独立新增脉络。
局限与不确定性
- 当前仅有摘要信息，缺少完整方法细节、实验设置和评测指标，具体内容待核实。
- “Coded contract preflight”“construction-exclusion controller”“retained GPT-5.5 execution”等术语在摘要中未展开，其准确含义与评估意义待核实。
- XAI4HEAT 的来源、任务类型及与 BTS-AgentBench 的关系未在摘要中详细说明，待核实。
- 未提供与已有智能体基准或基线模型的对比结果，实际性能与泛化能力待核实。
可用于图书/PPT/简报的角度
- “从工业日志到智能体基准：BTS-AgentBench 如何让评测任务构建变得可重放？”
- “为什么智能体基准需要确定性流水线？——两个独立构建精确复现同一数据划分的启示”
- “只读遥测日志的价值：把运维数据转成多轮智能体评测任务”
- “基准构造本身也应被评测：BTS-AgentBench 的零发现预检与控制器验证”
原始材料
- 英文标题：BTS-AgentBench: A Deterministic, Replayable Pipeline from Read-Only Telemetry Logs to Agent Benchmarks
- 英文关键词：BTS-AgentBench; Read-Only Telemetry; Agent Benchmarks; Deterministic Replayable Pipeline; Telemetry-to-Episode Construction
- 作者：Jeong-Yoon Kim
- arXiv ID：2608.27334v1
- 分类：cs.CL, cs.SE
- 发布日期：2026-08-27
- 原始链接：https://arxiv.org/abs/2608.27334v1
- PDF 链接：https://arxiv.org/pdf/2608.27334v1
- 代码/工件/重放报告：https://github.com/kjy7567/BTS-AgentBench
- 摘要（原文）：Industrial sites contain large volumes of read-only telemetry, but few benchmarks specify how to compile these records into executable multi-turn agent tasks. We present a telemetry-to-episode construction method instantiated as BTS-AgentBench. The pipeline normalizes BTS metadata and raw histories into a read-only tool store, compiles static tasks with tool-derived gold answers and evidence, and lifts retained tasks into typed, bounded operator-facing episodes. The 532-row release adds clarification, goal revision, timestamp policy, quality-gated reporting, and evidence attribution while preserving the source computation and split. Coded contract preflight reports zero findings, and the construction-exclusion controller completes 0/532 rows. Two independent raw-to-episode builds match all 11 logical tool-store exports and reproduce the released 356/87/89 train/dev/test artifact exactly. Applying the shared construction path to XAI4HEAT produces 204 episodes; on its 41-row held-out test split, the controller completes 0 rows and the retained GPT-5.5 execution completes all 41. Code, artifacts, and replay reports are available at https://github.com/kjy7567/BTS-AgentBench.