知识卡片：LLM 何时应弃答？用于选择性风险控制的自问链（CoSQ）

一句话结论

Chain-of-Self-Questioning（CoSQ）是一种 prompt-only 框架：让大语言模型在承诺回答前，先显式评估“回答问题所需的信息是否足够”，再决定回答或弃答；材料显示，它在 TruthfulQA 多选题和 Natural Questions 短答案评估中支持可调的选择性风险控制。

事件概述/研究问题

大型语言模型可能在事实支持薄弱时仍生成流畅答案。本文研究的问题是：何时应让 LLM 弃答，以控制“无支持承诺”的风险。作者提出 CoSQ，并在 TruthfulQA 多选题验证集与 Natural Questions 短答案任务上评估三个 CoSQ 变体。

方法/产品要点

• 核心机制：CoSQ 将“是否承诺答案”条件化于对回答问题所需信息的显式评估。按摘要，它是 prompt-only framework，是否完全无需参数更新、是否依赖外部检索或额外验证器，待核实。
• 三个变体：Grounded-CoSQ、Critical-CoSQ、Adaptive-CoSQ。
• 主要评估设置：17 种条件；817 项 TruthfulQA 多选题验证集；11 个开放权重与托管模型家族；最终采用 balanced-option protocol，并报告 Grounded-CoSQ 在 τ=0.90 下的结果。
• 辅助评估：Natural Questions Short-Answer 开放式短答案评估，提供收敛性证据。

主要结果或产业意义

• 在最终 balanced-option protocol 中，Grounded-CoSQ 在 τ=0.90 下把平均无条件错误承诺率从 chain-of-thought prompting 的 13.1% 降至 8.9%，相对降低 32.1%。
• 同时，已答准确率从 86.9% 升至 89.7%，并回答 87.6% 的问题。
• 材料称，这两项改进在全部 11 个模型和每个评估阈值上都成立。
• Critical-CoSQ 与 Adaptive-CoSQ 提供相邻操作点，覆盖率分别为 88.6% 和 86.5%，且仍比基线更可靠。
• 产业意义：当“无支持承诺”的成本高于转介或人工复核时，自评估可用于支持显式、可调的“回答或弃答”决策。

为什么重要

• 它把可靠性控制放在推理时的提示与弃答策略上，而不是只追求回答率或已答准确率。
• 它提供了一种可调机制：通过变体与阈值调节覆盖率、错误承诺率与已答准确率之间的权衡。
• 与既有卡片的关系：已有卡片分别关注参数微调中的超级权重、PEFT 任务排序、以及数据中心控制面策略生成；本条增量在于基础模型的推理解答/弃答控制，即用 prompt-only 方式处理选择性风险，而非参数更新或策略生成。两者没有直接重复的同一条事实。

局限与不确定性

• 材料仅为摘要，未提供统计显著性、置信区间、重复次数，待核实。
• 17 种条件、balanced-option protocol、τ 的定义与阈值范围，待核实。
• 11 个模型家族的完整清单、开放权重与托管模型的比例，待核实。
• Natural Questions Short-Answer 的具体指标、提升幅度与评估协议，待核实。
• 提示模板、代码、数据是否公开，待核实。
• 是否有同行评审、是否仅为 arXiv 预印本，待核实。
• 弃答带来的额外人工转介或复核成本、延迟与校准分析，待核实。
• 对多语言、长文本、工具使用、RAG 等场景的泛化性，待核实。

可用于图书/PPT/简报的角度

• 标题页：流利不等于可靠：LLM 何时该说“我不知道”。
• 框架图：问题 → 自问所需信息 → 显式评估 → 回答/弃答 → 转介或复核。
• 数据页：CoT 基线 vs Grounded-CoSQ：错误承诺率 13.1% → 8.9%；已答准确率 86.9% → 89.7%；回答率 87.6%。
• 权衡页：Grounded-CoSQ、Critical-CoSQ、Adaptive-CoSQ 三个操作点与阈值调节。
• 实践页：在高风险问答中，把“拒答/转介”设计为一等公民。
• 研究页：提示级选择性风险控制 vs 微调、校准、外部验证器的对比，待核实。

原始材料

• English Title: When Should LLMs Abstain? Chain-of-Self-Questioning for Selective Risk Control
• English Keywords: Chain-of-Self-Questioning (CoSQ); selective risk control; abstention; TruthfulQA; chain-of-thought prompting; Natural Questions Short-Answer; prompt-only framework
• Authors: Ali Şenol
• arXiv ID: 2609.17516v1
• Published: 2026-09-15T17:52:24Z
• Updated: 2026-09-15T17:52:24Z
• Primary category: cs.CL
• Categories: cs.CL, cs.AI
• Abstract URL: https://arxiv.org/abs/2609.17516v1
• PDF URL: https://arxiv.org/pdf/2609.17516v1