知识卡片：用玻恩测量构造可精确解释的注意力机制并在光量子硬件上验证

一句话结论

作者构建了一种 Transformer，其注意力、前馈非线性与输出全部替换为玻恩测量形式，使每个类别的概率成为词振幅的多项式，从而可以用有限求积无误差地计算积分梯度证据；在 e-SNLI 上以约 98k 非嵌入参数达到与同尺寸 softmax Transformer 相当的准确率，且证据忠实度显著更高，同时同一权重可精确编译到光电子光学与量子比特线路。

事件概述或研究问题

语言模型给出答案时，通常只能估计其“为什么”。本文提出一种“Born 测量”式的 Transformer：注意力取 $|\langle q|k\rangle|^4$ 并按行归一化，用测量式乘积替代前馈非线性，输出采用玻恩读出。研究问题是：这样的结构能否在保持任务性能的同时，让词级证据可被精确计算，并且能映射到光学与量子硬件上执行。

方法/产品要点

• 注意力权重：$|\langle q|k\rangle|^4$ 按行归一化。
• 前馈非线性：用“测量式乘积”替代。
• 读出：玻恩读出。
• 解释性：在分母固定为输入对应值的条件下，每个类别概率是词振幅的多项式，因此其积分梯度证据可用有限求积计算，无求积误差。
• 硬件映射：同一权重可精确编译到光电子光学系统与量子比特线路；一个相干注意力层可编译为单个等价电路（23 个量子比特上 852 个 CNOT）。
• 硬件实验：在 IBM 的 ibm_kingston 上，仅通过 Hadamard 测试读取注意力重叠。

主要结果或产业意义

• 证据求和：词贡献之和与类别概率超出无信息份额的部分一致，精度达 $10^{-11}$ 或更好。
• 准确率：在 e-SNLI 自然语言推理上，约 98k 非嵌入参数下测试准确率 $76.98 \pm 0.17$%，与同尺寸 softmax Transformer 的 $76.62 \pm 0.36$% 相当。
• 删除测试（忠实度）：删除证据排名第一的词，测试对中 45% 的答案发生改变；而任何单次删除能改变答案的比例上限为 53%。对照：softmax 模型用同样方式解释为 32%，其 attention×gradient 为 40%。
• 注意力与证据的分离：注意力排名更接近标注者高亮的词，但对答案的解释力更弱——删除注意力排名第一的词，Born Transformer 答案改变的比例为 32%。
• 硬件初步结果：在 ibm_kingston 上，仅读取注意力重叠时，设备在两个短测试对上给出了模型的答案，并且在删除操作下保持或改变答案的行为与模型一致；但证据本身尚未在设备上存活，作者给出了在硬件上测量证据所需的 shots 与校准方案。

为什么重要

• 提供了一条“可精确解释”的注意力设计路线：证据不是事后近似，而是结构上可精确求积的量。
• 表明解释忠实度与注意力可视化可以脱钩：注意力更像人类标注并不等于更好地解释答案。
• 给出同一权重同时编译到光学与量子硬件的可行性，并报告了早期硬件验证（虽仅限注意力重叠与两个短测试对）。
• 与既有“概率单纯形上 Softmax 注意力的量子路线图”卡片相比，本文是具体模型实现与硬件实验的增量：不仅做类比，还训练模型、量化证据精度并在真实设备上做初步测试。

局限与不确定性

• 硬件验证规模很小：仅两个短测试对，且只读取注意力重叠；证据本身未在设备上存活。
• 证据精确性依赖“分母固定为输入对应值”的条件，该条件在其他输入或更深层上的普遍性待核实。
• 准确率仅在 e-SNLI 与约 98k 非嵌入参数规模下报告，其他任务与规模的泛化性待核实。
• 删除测试的 53% 上限是“任何单次删除可改变答案”的比例，不同数据分布下的可比性待核实。
• 光电子光学编译的实验验证细节（是否实际运行光学系统）在摘要中未说明，待核实。

可用于图书/PPT/简报的角度

• “注意力≠解释”：注意力更像标注词，但删除证据排名第一的词更能改变答案。
• 结构即解释：把玻恩测量写进模型，使证据可精确求积，而非事后近似。
• 一权重多硬件：同一权重编译到光学与量子线路，展示量子/光学 NLP 的具体路径。
• 硬件诚实报告：设备只复现了注意力重叠与两个短对，证据未存活——可作为“早期硬件验证的边界”案例。
• 与 softmax 基线同尺寸对比的公平性设置（约 98k 非嵌入参数）可作为小模型解释性研究的参考设计。

与既有脉络的关系

既有卡片“概率单纯形上 Softmax 注意力的量子路线图”讨论的是 softmax 注意力与玻恩规则的精确类比路线图；本卡片是其延续与更新：给出了可训练的 Born Transformer 实例、e-SNLI 上的准确率与证据忠实度数字，以及在 ibm_kingston 上的初步硬件测试，增量在于从“路线图/类比”推进到“具体模型+定量证据+硬件初测”。

原始材料

• 标题：Reading Why: Born-Measured Attention with Exact Word Evidence on Light and Qubits
• arXiv ID：2611.05355v1
• 作者：Teerawat Tongloy, Jiraporn Pongsopa, Rangsan Jomtarak
• 发布：2026-11-03T18:52:44Z
• 主分类：quant-ph；交叉分类：cs.CL, cs.LG, physics.optics
• Abstract URL：https://arxiv.org/abs/2611.05355v1
• PDF URL：https://arxiv.org/pdf/2611.05355v1