知识卡片：面向LLM IT工单分类的成本感知弃权机制

一句话结论

该研究将“成本感知弃权”作为离线、成本条件下的就绪度评估框架：在校准集上按显式成本选定路由策略，冻结后在测试集上一次性评估；在公开工单语料上，校准选出的阈值策略显著降低了误路由率与期望成本。

事件概述或研究问题

IT 支持工单的错误自动路由可能比人工分诊代价更高。研究关注：在显式成本结构下，何时应让模型自动路由、何时应弃权转人工，以及如何在不污染测试集的前提下评估这种“弃权就绪度”。作者将其定位为评估框架，而非新的弃权算法或通用部署认证。

方法/产品要点

• 评估流程：在校准数据上按显式成本选择路由策略，冻结策略后仅在留出测试集上评估一次。
• 数据：公开的 47,837 条工单、8 个类别的语料。
• 对比对象：4 个训练型非 LLM 分类器 vs 4 个大语言模型（零样本与少样本提示）。
• 成本模型（示例性）：(c_ok, c_triage, c_wrong) = (0, 1, 5)，即正确路由无成本、转人工成本 1、错误路由成本 5。
• 评估指标：除 ECE 外，报告 correctness AUROC 与 tie-aware risk-coverage area，以区分“校准”与“判别”能力。
• 基线：always-route、always-defer、LLM-only 一致性控制、margin/entropy 拒识基线。

主要结果或产业意义

• 在示例成本模型下，TF-IDF + 逻辑回归、校准集选定阈值 0.60，将测试成本从 0.763 降至 0.472，相对降低 38.1%（配对 ratio-bootstrap 95% CI [35.7%, 40.4%]），误路由率从 15.3% 降至 3.5%。
• 事后成本参数分析中，冻结的校准选定策略在 16 个设置里有 14 个优于 always-route 与 always-defer。
• 最强提示配置在分层 1,000 条测试子集上准确率 0.477，而微调 DistilBERT 在同批工单上为 0.879。
• 等渗校准降低 ECE，但不稳定提升判别力：GPT-4o-mini 少样本在校准前后仅有一个置信值，correctness AUROC 为 0.500。
• 在解析推导的盈亏平衡概率 0.80 处，7 个提示配置全部弃权；Haiku 少样本仅路由 19/1,000。

为什么重要

对图书/简报而言，它提供了一个可复用的“成本条件就绪度评估”范式：不是问模型准不准，而是问在给定错误成本下，自动路由是否比转人工更划算。它也提醒实践者：校准指标（ECE）与判别指标（AUROC）需分开报告，否则可能高估弃权策略的有效性。

局限与不确定性

• 结论受限于该数据集、提示设计、模型端点与示例性成本；作者明确不构成通用部署认证。
• 成本参数 (0, 1, 5) 为示例性设定，真实组织成本结构待核实。
• 盈亏平衡概率 0.80 为解析推导值，其在不同成本与类别分布下的稳健性待核实。

可用于图书/PPT/简报的角度

• “错误路由比人工更贵”：用成本不对称解释为何需要弃权机制。
• 校准 ≠ 判别：ECE 下降不代表弃权策略变好，需并报 AUROC 与风险-覆盖率面积。
• 就绪度评估流程：校准集选策略、测试集只评一次，避免测试集泄漏。
• LLM 与轻量分类器的成本-准确率权衡：微调小模型在该任务上仍显著领先提示型 LLM。

原始材料

• 标题：Cost-Aware Abstention for LLM-Based IT Ticket Classification
• 作者：Sachin Gupta
• arXiv ID：2610.31657v1（cs.LG; cs.AI; cs.CL）
• 发布/更新：2026-10-22
• 摘要页：https://arxiv.org/abs/2610.31657v1
• PDF：https://arxiv.org/pdf/2610.31657v1