知识卡片：时间线证词——基于证据的时间性临床假设显著性检验

一句话结论

该论文提出 STRATA 基准与 ART 范式，把语言模型对“事件随时间如何展开”的断言从“流利结论”推进到可检验的统计推断流程，并按结论之前的每一步决策（零假设、检验选择、证据记录集合）进行评分；实验显示系统主要失败在“选哪些记录算数”上，准确率指标会掩盖这一“结论—证据鸿沟”。

事件概述或研究问题

材料指出，语言模型常以流畅句子回答诸如“产品召回后销量是否趋于下降”“疫苗接种后一种副作用是否倾向于跟随另一种副作用”之类问题，读起来像研究发现，但背后没有检验。这类关于事件在多个案例中如何展开的断言属于时间性假设，只有对正确记录做显著性检验才能判定。验证者需要明确零假设、选择检验方法、决定哪些记录与假设相关；其中任一选择都可能出错，而结论仍可能碰巧正确。现有的语言模型数据分析基准通常只评结论，且把相关数据直接交给模型。论文在健康领域研究该问题，因为错误判定代价高。

方法/产品要点

• STRATA 基准：包含 8,735 个假设，建立在疫苗不良事件报告的临床时间线上；提供金标准计划、证据集合、p 值和判定，均在公开代码本下导出，并由确定性 oracle 复现。
• 评分对象：不只评最终判定，而是评“通往判定”的每一个决策。
• ART 范式（articulate, retrieve, test）：分阶段范式，把每个决策暴露为可检查输出。
• 实验设置：使用五种模型配置进行实验（具体配置细节待核实）。

主要结果或产业意义

• 系统主要失败在“选择哪些记录算数”这一环节，形成“判定—证据鸿沟”，仅看准确率无法发现。
• ART 缩小了该鸿沟的大部分，并使一个 31B 开源模型在同一范式下与前沿模型的差距缩小到 0.01。
• 前沿模型在获得代码本后能够成功。
• 产业意义：对高风险领域（如健康）中的模型数据分析，评估应从“结论是否对”扩展到“零假设、检验选择与证据集合是否可核查”，以降低“结论碰巧正确但过程不可靠”的风险。

为什么重要

材料强调，在健康等错误判定代价高的场景，只评结论的基准会奖励“无检验的流利断言”。STRATA 把可检验性拆成可评分的中间决策，ART 把这些决策变成可检查输出，为语言模型承担“证据 grounded 的统计判定”提供了可操作的评估与流程范式。与既有卡片相比，本条不涉及几何/视频生成或治理原则，而是聚焦“时间性临床假设的显著性检验流程评估”；增量信息在于：把“证据选择”识别为主要失败点，并给出分阶段范式来缩小判定—证据鸿沟。

局限与不确定性

• 论文仅以摘要与元数据形式获取，未包含全文；实验细节（五种模型配置的具体构成、代码本内容、oracle 实现细节、STRATA 的构建与标注流程）待核实。
• “31B 开源模型与前沿模型差距 0.01”所指的具体指标与统计口径待核实。
• “前沿模型获得代码本后成功”的具体条件与成功标准待核实。
• 该基准目前限定在疫苗不良事件报告的临床时间线场景，向其他领域（如销售、产品召回）的迁移性待核实。

可用于图书/PPT/简报的角度

• 从“流利结论”到“可检验判定”：语言模型数据分析的评估应覆盖零假设、检验选择与证据集合。
• “判定—证据鸿沟”：准确率为何会掩盖证据选择错误；可用 STRATA 的评分设计作为案例。
• 分阶段可检查流程：ART 的 articulate—retrieve—test 可作为高风险领域模型分析流程的模板。
• 开源与前沿差距：在同一范式下，31B 开源模型接近前沿模型；代码本对前沿模型成功的作用可作为“规范输入”的讨论点。
• 高风险健康场景中的错误判定代价：为何需要确定性 oracle 与公开代码本复现。

原始材料

• 标题：Testimony from Timelines: Evidence-Grounded Significance Testing of Temporal Clinical Hypotheses
• arXiv ID：2610.40619v1
• 作者：Chengyang He, Wenlong Zhang, Koduvayur Subbalakshmi, Ping Wang
• 发布/更新：2026-10-29T17:55:30Z
• 主分类：cs.CL；分类：cs.CL, cs.IR
• Abstract URL：https://arxiv.org/abs/2610.40619v1
• PDF URL：https://arxiv.org/pdf/2610.40619v1