知识卡片：类型安全不等于无错误：约束决策头跟随选项名称而非绑定评分标准

一句话结论

类型安全只保证输出符合 schema；在 Jev 及两个 Jev-like 开放权重模型中，仅改变选项名到 rubric 的分配，尤其把 0/1 改为 no/yes，就会系统性反转决策排序，而 type-error rate 仍保持 0%。

事件概述或研究问题

论文研究 typed decision models：模型不生成自由文本，而是在预定义选项集合上返回决策，输出由软件直接消费。按构造，每个输出都符合 required schema。但 schema 合规并不保证模型按预期解释选项。

作者把每个选项拆成 option name 与 textual rubric，只改变哪个 option name 分配给哪个 rubric；问题、状态、rubric 措辞、选项名集合保持完全不变，以检验约束决策头跟随的是选项名称，还是绑定到该名称上的评分标准。

方法/产品要点

• 研究对象：Jev 及两个 Jev-like 开放权重模型；另有 hosted model 和第二模型族对照。具体版本、规模与架构细节待核实。
• 数据：1200 条带任务特定 rubric 的 workflow decisions，覆盖 4 个 predicates。
• 干预：交换 option name 与 rubric 的绑定，例如把两个选项名从 0/1 改为 no/yes；其他输入不变。
• 对照：中性选项名；随机字符字符串替换选项名。
• 指标：每百答案变化、AUC、answer flips、test-retest floor、type-error rate。
• 读出方式：比较第二模型族在 full option span 上做 mean-pooling 时的行为。

主要结果或产业意义

• 0/1 改为 no/yes：每百答案多改变 70.4 个，95% CI 为 [67.6, 73.1]；AUC 从 .94 降到 .23，显示决策排序系统性反转，而不只是不确定性增加。
• 中性选项名效果较小。
• 该模式在全部 4 个 predicates 中成立，效应至少比中性对照大 7.4 倍；选项数量增加时效应更强。
• 效应依赖 read-out geometry：对 full option span 做 mean-pooling 的第二模型族，翻转次数少 4.1 倍。
• hosted model 也出现同样行为：交换后 AUC 从 .8146 变为 .5806，answer flips 是 test-retest floor 的 24 倍。
• 将选项名替换为随机字符字符串后，所有模型族回到中性对照状态，且没有降低准确率。
• 因此，失败依赖选项名的语义极性，而非重命名操作本身。
• 所有条件下 type-error rate 都保持 0%，即使决策准确率显著下降。

产业意义：如果软件直接消费 typed decisions，schema 校验、类型安全和 0% type-error 都不能代表语义正确；选项命名、名称-rubric 绑定与读出方式都可能成为隐藏偏置。评估此类接口时，应加入名称交换、随机字符串和中性名称对照，并同时观察 AUC、翻转率与语义准确率。

为什么重要

它把“类型安全”与“语义可靠”明确分开：输出可以完全合法，却把决策排序反转。对以模型输出直接驱动工作流决策或二值判断的系统，这意味着一种静默失败模式——类型错误率为 0，也可能伴随大幅准确率退化。

与已有卡片（Growing Harness、ColBERT 正则化等）无直接延续关系；本条增量在于揭示约束决策头中的选项名语义偏置，而非智能体脚手架、检索压缩或池化效率。

局限与不确定性

• 材料仅为摘要；数据集来源、任务领域、1200 条决策的构造方式、4 个 predicates 的具体定义待核实。
• Jev 的定义、两个 Jev-like 模型的规模/架构/训练细节、hosted model 身份、第二模型族名称待核实。
• AUC 计算方式、answer flip 定义、test-retest floor 定义、统计方法与重复次数待核实。
• 结论能否推广到其他模型、语言、模态、更多选项类型和生产环境待核实。
• “语义极性”机制解释来自论文摘要；更细的因果机制与内部表示证据待核实。
• 随机字符字符串对照未降低准确率，但其他命名方案与长期稳定性待核实。

可用于图书/PPT/简报的角度

• “0% 类型错误，但 AUC 从 .94 崩到 .23”：类型安全不等于语义安全。
• 只改名称分配、其他全不变的控制实验：约束决策头跟随 option name 还是 rubric？
• no/yes 的语义极性 vs 中性名称 vs 随机字符串：失败来自语义，不来自重命名。
• 软件直接消费模型决策时的静默失败：schema 通过但决策反转。
• 接口设计启示：选项命名、名称-rubric 绑定、read-out geometry 都会影响可靠性。
• 评测设计：除 type-error rate 外，应报告 AUC、answer flips、名称交换与随机字符串对照。

原始材料

• 英文标题：Type-Safe Is Not Error-Free: A Constrained Decision Head Follows the Option Name, Not the Rubric Bound to It
• 英文关键词：type-safe; constrained decision head; option name; rubric; Jev; workflow decisions; AUC; semantic polarity; read-out geometry; type-error rate
• 作者：Yu Sun, Junhao Xu
• arXiv ID：2609.26758v1
• 发布/更新：2026-09-22T17:38:12Z
• 主分类：cs.AI
• 分类：cs.AI
• Abstract URL：https://arxiv.org/abs/2609.26758v1
• PDF URL：https://arxiv.org/pdf/2609.26758v1