知识卡片：从参数到答案：大语言模型如何检索并使用内部知识

一句话结论

候选摘要暗示，LLM 在回答问题时，对“查询路由信息”和“目标知识/内容”的依赖会随层变化，且 Qwen、Llama、Gemma 的轨迹并不一致；但由于未能抓取正文，具体结论、实验细节与可复现性均待核实。

事件概述或研究问题

• 英文标题：From Parameters to Answers: How LLMs Retrieve and Use Their Internal Knowledge。
• 研究问题（据候选摘要）：语言模型在回答问题时，对 query-routing information 和 target knowledge 的依赖如何变化？待核实。
• 候选摘要称，研究通过 layerwise interventions on the hidden state at the end of the question 来考察该问题，并跨 Qwen、Llama、Gemma 比较 country-continent questions，答案类型包括 noun、adjective、code。待核实。
• 材料状态：未能抓取正文，本卡片仅基于已知元数据与候选摘要生成。

方法/产品要点

以下要点来自候选摘要，尚未经正文核实：

• 对问题末尾的隐藏状态进行逐层干预，观察后续 fitted knowledge / fitted content 的变化。
• 区分多类测量：pair-conditioned request direction、global request direction、selection candidates。
• pair-conditioned request direction 被描述为：在自然单国问题中，指示“查询哪个国家”。
• global request direction 被描述为：在配对问题中，区分“第一个国家请求”与“第二个国家请求”。
• selection candidates 用于测试隐藏状态中已经可用的内容之间的控制关系。
• 对 frozen Qwen natural-question states 进行诊断性重分析。
• 在配对协议中比较固定较早层组与较晚层组；另做匹配的 Qwen 比较。
• 上述模型规模、层数、数据集构造、门控标准、统计方法、代码与预注册信息均待核实。

主要结果或产业意义

候选摘要称：

• pair-conditioned direction 在干预开始改变后续 fitted knowledge 之前会增强，因果窗口在 answer-supporting content 仍在形成时打开。待核实。
• 配对的三模型轨迹不统一：Gemma 显示部分重叠的中层 routing-content profile；Llama 在同一 gates 下没有持续 routing-effect window。待核实。
• 在配对协议中，对 global request direction 的依赖从固定较早层组到较晚层组下降，而对 fitted content 的依赖持续存在。待核实。
• 匹配的 Qwen 比较显示，pair-conditioned direction 保留晚期效应；因此这一 operational handoff 涉及 global fitted direction，而不是所有 request information。待核实。
• 候选摘要将这些结果概括为：分离 early readability、natural strength、causal steering 与 later content dependence。待核实。

潜在产业意义（待核实）：

• 若结果成立，可为 LLM 内部知识检索与使用的可解释性、知识编辑、干预实验设计提供层间视角。
• 也可能提示：不同模型家族在“请求路由”与“内容依赖”的层间交接上不可直接类推。

为什么重要

• 该研究如果得到正文证实，可能帮助区分“模型内部信息可读”“自然状态下的强度”“可被因果操控”和“后期内容依赖”这几类不同问题，而不是把它们混为一谈。待核实。
• 对 foundation-model 而言，理解内部知识如何被检索和使用，是解释幻觉、知识冲突、知识编辑边界与模型差异的一个基础问题。待核实。
• 与既有脉络的关系：现有相关卡片分别涉及卫星档案检索、科学职位申请中的人工智能使用、Power Sampling 推理问题，与本条没有直接延续或更新关系；本条增量在于 LLM 内部知识检索/使用的层间机制线索。待核实。

局限与不确定性

• 正文未能抓取，无法确认论文实际方法、实验设置、数据、模型版本、统计显著性与结论强度。
• arXiv 编号、版本、发布日期、作者、同行评审状态与引用信息均待核实。
• 候选摘要中的术语如 pair-conditioned request direction、global request direction、fitted content 等，是否为作者原始关键词或稳定译法，待核实。
• 因果解释依赖干预设计；在未读正文前，不能确认因果窗口、层间交接与模型差异是否稳健。
• 结果能否泛化到其他任务、语言、模型规模或部署场景，待核实。

可用于图书/PPT/简报的角度

• 用“从参数到答案”的线索，讲解 LLM 内部知识使用可能不是单点完成，而是涉及请求路由与内容依赖的层间变化。待核实。
• 对比 Qwen、Llama、Gemma 的 routing-content profile，说明模型家族差异可能影响可解释性结论。待核实。
• 介绍可解释性实验设计时，区分“可读性”“自然强度”“因果操控”“后期内容依赖”四个层次。待核实。
• 提醒读者：单模型、单任务上的层间干预结果不宜直接推广到所有 LLM。

原始材料

• 英文标题：From Parameters to Answers: How LLMs Retrieve and Use Their Internal Knowledge
• 原始来源：https://arxiv.org/abs/2609.11859v1
• Track：academic
• Topics：foundation-model
• 英文关键词：foundation-model
• 候选摘要中的英文术语（是否作者关键词待核实）：query-routing information, target knowledge, layerwise interventions, pair-conditioned request direction, global request direction, fitted knowledge, Qwen, Llama, Gemma
• 材料说明：未能抓取正文；本卡片仅基于已知元数据与候选摘要生成，具体内容待核实。