知识卡片：对话助手的时效性安全感知评估

一句话结论

LLM 对话助手在涉及时间依赖约束的日常建议中，即使能正确计算经过时间，也常常不把该约束应用到建议里，导致在违规场景中仅约三成会考虑时间限制。

事件概述或研究问题

论文关注的问题是：用户在日常对话中可能不会在后续请求里重复提及时间相关的安全约束（例如“刚吃过药”“刚运动完”），助手需要自行识别并据此调整建议。为评估这一能力，作者提出基准 TASC（Temporal Action Safety in Conversation），检验 LLM 在对话请求中是否会应用时间依赖约束。

方法/产品要点

• TASC 包含 3,418 条输入，由 128 个模板派生。
• 另设一组 33 个场景，用于对比模型“计算经过时间”的能力与“应用该信息”的能力。
• 评估覆盖 13 个模型。
• 评测关注两类表现：在建议动作违反规则时是否考虑时间约束；以及是否会在不必要时过度警告用户。

主要结果或产业意义

• 在建议动作违反规则的案例中，助手仅在 30.5% 的情况下考虑了时间依赖约束。
• 模型很少进行不必要的警告。
• 更关键的是，在 62.1% 的案例中，模型虽然正确计算了经过时间，却仍未应用该约束。
• 明确提供时间信息只能解决约一半的此类失败，说明时间推理与在对话建议中应用该推理之间存在差距。

为什么重要

该结果提示：时间相关的安全约束在对话助手场景中是一个容易被忽略的失效点，且单纯提升“时间计算”并不足以保证建议安全。对评估体系而言，需要区分“能算出时间”和“会用时间约束”两种能力。与既有的安全基准（如关注污名检测、缺失证据下智能体安全）相比，本卡片补充的是“时间维度上的约束应用”这一具体漏洞。

局限与不确定性

• 材料仅提供摘要级信息，未说明 13 个模型的具体名单、提示设计细节与评分标准，待核实。
• 33 个对比场景的具体构造方式与统计口径未在摘要中展开，待核实。
• “明确提供时间信息解决约一半失败”的具体实验条件与效应量待核实。

可用于图书/PPT/简报的角度

• 作为“LLM 安全评估不只关乎内容有害性，也关乎情境约束应用”的案例。
• 用于说明“推理能力”与“行动/建议中的推理应用”之间的落差。
• 在对话助手产品设计中提示：需要显式检查时间依赖约束，而非假设模型会自行延续上下文中的限制。

原始材料

• 标题：Before You Continue: Evaluating Time-Sensitive Safety Awareness in Conversational Assistants
• 作者：Peidi Dong, Yunze Xiao, Yu-Lin Tsai, Yichen Zheng, Heyuan Huang, Weihao Xuan, Mark Dredze, Jen-tse Huang
• 发布：2026-11-04（arXiv 2611.06839v1，cs.CL）
• 摘要页：https://arxiv.org/abs/2611.06839v1
• PDF：https://arxiv.org/pdf/2611.06839v1