知识卡片：语义查询处理中的运行间方差——同一查询，不同答案

一句话结论

在温度设为 0 的语义查询引擎中，重复执行同一查询仍会导致部分行甚至整条答案发生变化，且查询计划会把行级波动指数级放大为答案级波动；现有基准测试的少量执行结果往往不足以定论系统优劣。

事件概述或研究问题

语义查询引擎让大语言模型（LLM）逐行判断，而基准测试通常只比较在温度 0 下少数几次执行的质量。本文测量“再执行一次”会带来多大差异：作者通过各基准自带的 harness 重新执行 SemBench、LRO-Bench、UDA-Bench 的文本与表格工作负载，记录全部 120 万次模型调用，并重新分析 SemBench 已发布的执行结果。研究问题即：在温度 0 下，重复执行对算子输出、最终答案与基准结论的影响有多大。

方法/产品要点

• 重新执行三个基准（SemBench、LRO-Bench、UDA-Bench）的文本与表格工作负载，沿用各自的 harness。
• 记录全部 120 万次模型调用。
• 重新分析 SemBench 已发布的执行结果。
• 使用“可能世界”（possible-worlds）模型预测计划对波动的放大效应。
• 分析波动行的特征，并测试投票（voting）与校准级联（calibrated cascade）等缓解手段。

主要结果或产业意义

• 温度 0 下，五次执行间有 0.07%–10.2% 的行改变算子输出（取决于模型），某一任务上高达 24.0%。
• 计划按答案暴露的行数指数级放大变化，符合可能世界模型预测：在 UDA-Bench 上，仅百分之几的抽取值改变，但约三分之二的答案改变。
• SemBench 已发布结果中，21% 的文本结果在多次执行间质量发生变化，即便计划是确定性的引擎也是如此。
• 若干逐查询的系统比较、以及 LRO-Bench 28 项实现建议测试中的 16 项，无法由基准实际运行的执行次数得出定论。
• 发生变化的行是模型之间意见不一致的行；同一次执行内的相同请求不一致程度与跨执行相当；单次执行的决策边际或推理长度可预测哪些行会变化。
• 投票可降低方差但不能消除；校准级联在返回行发生变化的同时仍保持其保证。

为什么重要

• 它挑战了“温度 0 即确定性”的默认假设，说明语义查询引擎的基准结论可能因执行次数不足而不稳定。
• 为基准报告提出规则、为引擎设计提出规则，属于方法与评测层面的贡献，而非单一系统性能。
• 与既有关于 VLM 鲁棒性/失败归因的卡片不同，本条聚焦查询处理流程中行级→答案级的方差传播与基准可复现性，是评测方法脉络的延伸。

局限与不确定性

• 具体“报告规则”和“设计规则”的细节未在摘要中给出，待核实。
• 校准级联“保持保证”的具体保证定义与条件，待核实。
• 各模型在 0.07%–10.2% 区间内的具体对应关系，待核实。
• 除 SemBench、LRO-Bench、UDA-Bench 外是否适用于其他基准，待核实。

可用于图书/PPT/简报的角度

• “温度 0 不等于确定性”：LLM 作为算子时的隐藏方差。
• 方差放大效应：为什么行级几个百分点的变化会变成答案级三分之二的变化。
• 基准测试的统计功效问题：少量执行不足以判定系统优劣。
• 缓解手段对比：投票 vs 校准级联的取舍。
• 面向基准作者与引擎设计者的可操作规则。

与既有脉络的关系

既有卡片涉及 VLM 对抗鲁棒性、VLM 失败归因（看不见 vs 不知道）与 MILER 的 sim-to-real。本条不重复这些事实，而是补充“语义查询处理基准在温度 0 下的运行间方差”这一评测方法层面的增量信息。

原始材料

• Title: Same Query, Different Answer: Run-to-Run Variance in Semantic Query Processing
• Authors: Oktie Hassanzadeh, Dharmashankar Subramanian
• Published: 2026-10-09T16:34:13Z
• arXiv ID: 2610.13823v1
• Primary category: cs.DB；Categories: cs.DB, cs.AI
• Abstract URL: https://arxiv.org/abs/2610.13823v1
• PDF URL: https://arxiv.org/pdf/2610.13823v1
• Keywords: Semantic Query Processing; Run-to-Run Variance; LLM; Benchmarking; Temperature 0; SemBench; LRO-Bench; UDA-Bench