知识卡片：任务情境如何塑造语言模型内部组件的角色

一句话结论

任务情境不仅决定共享注意力头“对哪些事实做出反应”，也决定它们的输出“如何影响后续计算”；这种任务依赖的影响力分布可用线性响应图部分预测。（待核实：以上结论目前仅基于候选摘要与元数据，正文未能抓取。）

事件概述或研究问题

• 论文标题：Task Context Shapes Component Roles in Language Models
• 来源：arXiv:2610.13895v1（待核实：该编号与抓取状态需在正文中确认）
• 研究问题：大语言模型在不同任务间会复用相同的注意力头，但“识别出共享头”并不能解释它们在每个任务中各自在做什么。
• 作者以“共享脑区在不同任务中发生任务依赖交互”为类比，采用网络视角考察语言模型计算。
• 核心比较对象：在相同图事实（graph facts）任务下，跨任务比较固定模型组件的角色差异。

方法/产品要点

• 使用“相同图事实”（identical graph facts）作为任务材料，即指明有向连接是否存在的一类陈述。
• 测量两类量：
  • 影响力（influence）：干预对注意力头以及后续层激活状态的影响。
  • 重要性（importance）：干预对最终答案的影响。
• 覆盖五个开放权重模型、四个模型家族，参数规模 1.5–14B。
• 在 Gemma-2-9B 与 Qwen3-14B 中，对早期内部激活向量做激活编辑（activation edit），在书面指令不变的情况下改变模型读取的是哪一条事实。
• 对每个提示构造两个线性响应图：一个在编辑前，一个在编辑后；每个图用早期头的测量变化预测后期头的响应。
• （待核实：具体数据集、任务设计、图事实的构造方式、干预方法细节、线性响应图的定义与拟合流程。）

主要结果或产业意义

• 任务切换会重新分配影响力，这一现象在五个开放权重模型、四个家族、1.5–14B 参数范围内均出现。
• 在 Gemma-2-9B 与 Qwen3-14B 中，一次激活编辑即可改变早期内部激活向量，从而切换模型读取的事实，而书面指令保持不变。
• 同样的注意力头在切换后会响应不同的图事实，并对后续组件产生不同的影响。
• 对另一项独立事实干预：
  • 在 Gemma 中，对应条件的线性响应图相对两个图平均，将均方预测误差降低 53.6%。
  • 在 Qwen 中，同一指标降低 5.0%。
• 作者主张：任务情境同时改变共享组件“响应哪些图事实”以及“其输出如何影响后续计算”。
• 作者提出网络式解释可能有助于说明模型如何用共享参数执行不同计算；任务依赖影响力的测量也可能指导“改变某一种行为、同时保留其他行为”的干预。
• （待核实：上述数字与百分比的具体评测设置、统计口径、误差定义与消融结果。）

为什么重要

• 它把“共享组件”的讨论从“哪些头是共享的”推进到“共享组件在不同任务中扮演什么角色”，指出仅靠组件身份无法解释任务差异。
• 它为“同一参数如何支撑多种计算”提供了一种可测量的网络视角：影响力是任务依赖的，且部分可由线性响应图预测。
• 对安全与可控干预有潜在意义：若影响力随任务重分配，针对某一行为做干预时，需评估是否会波及其他行为。
• 与既有脉络的关系：已有卡片讨论了“哪些概念获得专用电路由任务决定，而电路位于哪一层由模型个体决定”，本条进一步把焦点放在同一批共享组件在不同任务中的影响方式差异，属于对“任务—组件角色”关系的延续与更新；增量在于引入影响力的任务依赖测量与线性响应图预测。

局限与不确定性

• 来源材料未能抓取正文，本卡片仅基于候选摘要与元数据；以下内容均待核实：
  • 论文编号、作者、发布时间与版本信息。
  • 五个模型的具体名称与家族构成。
  • 图事实任务的具体形式、评测指标与基线。
  • 激活编辑的具体位置、方法与可复现性。
  • 线性响应图的定义、拟合与泛化验证。
  • 53.6% 与 5.0% 的计算方式、样本量与显著性。
  • 结论是否可推广到更大规模模型、非图事实任务与多语言情境。
• 是否存在与既有工作重叠、以及作者对“网络解释”的因果性主张强度，待核实。

可用于图书/PPT/简报的角度

• “共享不等于同责”：同一批注意力头在不同任务中承担不同角色。
• 从“定位组件”到“测量影响”：用影响力与重要性区分组件的功能角色。
• 线性响应图作为“任务条件下的组件耦合地图”的直观比喻。
• 干预的副作用视角：改变一个行为时，任务依赖的影响力重分配可能带来外溢。
• 类比神经科学的共享脑区任务依赖交互，作为跨领域解释框架。

原始材料

• 标题：Task Context Shapes Component Roles in Language Models
• 来源：arXiv:2610.13895v1
• URL：https://arxiv.org/abs/2610.13895v1
• 关键词（英文）：待核实（正文未抓取，摘要未列关键词）
• 摘要（英文，据候选摘要）：Large language models reuse the same attention heads across tasks, but identifying these shared heads does not explain what they do differently in each task. A natural source of inspiration is task-dependent interactions among shared brain regions, which motivate a network view of language-model computation. Here, we compare fixed model components across tasks using identical graph facts, statements specifying which directed connections are present. We measure how interventions affect attention heads and the activation state in later layers (influence), as well as the answer (importance). Task changes redistribute the influence in five open-weight models spanning four families and 1.5-14 billion parameters. In Gemma-2-9B and Qwen3-14B, an activation edit changes an early internal activation vector and switches which fact the model reads while the written instruction stays fixed. The same heads then respond to different graph facts and influence later components differently. For each prompt, we construct two linear response maps, one before the edit and one after it. Each map predicts a later head's response from a measured change in an earlier head. For a separate factual intervention, the map for the corresponding condition reduces mean squared prediction error by 53.6% in Gemma and 5.0% in Qwen compared with the average of the two maps. These findings show that task context changes both which graph facts the shared components respond to and how their outputs affect later computation. A network account may help explain how models use shared parameters to perform different computations. Measurements of task-dependent influence could also guide interventions intended to alter one behavior while preserving others.