知识卡片：IBIB 协议：以服务路由而非模型标识衡量企业 AI 系统

一句话结论

企业实际部署的是系统，而不是模型检查点；可用能力由权重、服务路由、精度、输出契约和执行 harness 共同决定。IBIB/IB2 协议试图把“按模型标识评分”导致的测量误差变成可报告、可门禁、可裁决的评估流程。

事件概述或研究问题

材料称，18 个被审计基准都按广告中的模型标识评分，但企业部署依赖的 serving route、precision、output contract、harness 等并未被同等测量。作者将此视为测量误差，并提出一套协议，使这种误差可报告。

参考实例化为 128 个锁定任务与 987 条断言，覆盖 document、spreadsheet、chart、tool 与 database 工作；该实例保持 sealed，材料强调“process is the artifact, not the corpus”。材料在 11 个系统上给出四项结果。

命名注意：英文标题写 IBIB，摘要正文写 IB2；两者关系或命名差异待核实。

方法/产品要点

材料称协议有三个部分：

Gold-blind capability-binding preflight：在任何任务到达某路由之前，先验证该路由能否执行评估契约。
Reliability-inclusive first-pass scoring rule：首轮评分把失败保留在分数中，同时把不受支持的能力排除在外。
Structurally score-blind adjudication：裁决在结构上对分数盲化。

材料称发布其 algorithms、classification tables、request contract 与 manifest schemas。参考实例化保持 sealed：程序才是交付物，语料不是。

主要结果或产业意义

材料给出的四项结果可概括为：

能力可用性可测量：两次在相同权重上完成的单路由运行，后来分别未通过最终绑定门禁的不同谓词；第三个运行在重新运行前通过了该门禁。广告中的模型标识并未暴露这些限制。
区分度并不均匀：七个套件中有四个在六系统带宽下饱和，差异几乎全部来自受治理的数据库工作和多标签连接。因此报告的是区间支持的 resolution groups，而不是排名；名义五标签输出的四个切分中有两个未通过多重性调整。
服务臂选择会移动结果：服务臂选择使某一声明修订与精度从 77.38 变为 82.54，配对区间 [0.11,10.60]。不过这些臂在访问模式、harness generation 和 serving tool-call parser 上不同，且 harness generation 是评估器的属性，不是任何端点的属性。
可靠性是否纳入会改变结论：把失败响应从分母中排除会改变点估计排序，因此 reliability inclusion 改变的是结论，而不只是措辞。

为什么重要

如果企业采购、部署和治理依赖模型标识，就可能把“某个 checkpoint 的广告能力”误当成“某条可执行服务路由的系统能力”。本条材料的增量在于：它不只是一般性指出模型评测有局限，而是提出一套测量协议，把服务路由、输出契约、精度、harness 与失败纳入评分和裁决。

与既有脉络的关系

已有卡片“以‘散布’衡量随机机器：精度而非能力作为 AI 系统前沿指标”强调重复请求下的精度/散布，而非平均能力；本条则进一步把 serving route、precision、output contract 和 harness 作为企业 AI 系统测量对象，并加入 preflight、reliability-inclusive scoring 与 score-blind adjudication。已有卡片“调校随机机器”关注错误闭环和修正持久化；本条中“失败是否进入分母会改变结论”可作为评估治理层面的增量线索。

局限与不确定性

当前可见材料为标题、摘要、作者与元数据，未见论文正文、算法细节、分类表、请求契约、manifest schema、锁定任务与断言内容；实现细节和可复现性待核实。
标题使用 IBIB，摘要正文使用 IB2；命名关系待核实。
参考实例化 sealed，外部无法核验 128 个任务与 987 条断言的具体内容、评分结果与门禁行为；待核实。
11 个系统的身份、配置、运行条件、统计方法与多重校正细节未在材料中展开；待核实。
服务臂之间在访问模式、harness generation、serving tool-call parser 上存在混杂，无法仅凭材料归因；待核实。
材料称 harness generation 是评估器属性，不是端点属性，这会限制对外部生产系统的直接外推；具体边界待核实。

可用于图书/PPT/简报的角度

从“模型排行榜”转向“系统路由测量”：为什么同一权重可能不通过同一门禁。
企业 AI 评估中的测量误差：模型标识、服务路由、精度、输出契约、harness 如何共同决定可用能力。
可靠性包含与分母选择：排除失败响应为什么会改变点估计排序和结论。
饱和与区分度：为什么只有受治理数据库工作、多标签连接等细分任务拉开差距。
统计报告方式：区间支持的 resolution groups，而非简单排名；多重性调整的必要性。
评估交付物设计：算法、分类表、请求契约、manifest schema 公开，而语料 sealed。
采购/治理清单：能力绑定预检、输出契约、服务路由、精度、harness 版本、失败计入、裁决盲化。

原始材料

英文标题：IBIB: A Protocol for Measuring Enterprise AI Systems by Serving Route, Not Model Identifier
英文关键词（据材料术语整理，非官方关键词表）：enterprise AI systems; serving route; model identifier; measurement protocol; capability-binding preflight; reliability-inclusive scoring; score-blind adjudication; output contract; harness; precision; reliability inclusion; multiplicity adjustment
原始来源：arXiv:2609.10494v1
URL：https://arxiv.org/abs/2609.10494v1
PDF URL：https://arxiv.org/pdf/2609.10494v1
Authors：Blake Stenstrom, Charangan Vasantharajan, Brian Sathianathan
Published：2026-09-09T17:31:29Z
Primary category：cs.CL
Categories：cs.CL, cs.AI, cs.LG