知识卡片：通过方向分解解耦 Transformer 的表示演化

一句话结论

这篇论文把 Transformer 中学习到的加性更新分解为“与当前表示方向平行”和“垂直”两类分量，用方向几何来分析表示演化；摘要称该分解可连接编辑鲁棒性、压缩误差诊断和预训练期干预，并发现不同表示空间中的操作效果存在明显不对称。

事件概述或研究问题

• 论文标题：Disentangling Representation Evolution in Transformers through Directional Decomposition
• 作者：Shwai He, Haichao Zhang, Shen Yan
• arXiv ID：2609.15975v1，按来源材料发布于 2026-09-14T17:56:19Z，分类为 cs.CL、cs.LG。
• 研究问题：Transformer 表示通过学习到的加性变换演化，这些变换可能保持当前方向，也可能重定向表示。作者将这种演化视为一种功能几何（functional geometry），并分解为平行分量与垂直分量。
• 应用场景：分别考察两类空间——注意力和 MLP 更新相对于隐藏状态的空间，以及注意力 value 聚合相对于当前 token value 的空间。

方法/产品要点

• 方向分解：将学习到的更新拆成相对当前方向的平行分量和垂直分量。
• 两个分析空间：
  • 残差空间/隐藏状态空间：分析注意力与 MLP 更新相对于隐藏状态的更新方向。
  • value 空间：分析注意力 value 聚合相对于当前 token value 的更新方向。
• 定向编辑：摘要称，排除自身（exclude-self）的 value 空间平行操作比其他操作更鲁棒，包括残差空间操作和垂直操作；它保留直接 self 消息，只缩放非 self 聚合部分。
• 压缩诊断：用同一分解描述压缩引起的更新误差；摘要称垂直误差比平行误差更能区分不同压缩方法。
• 训练期干预：在从零预训练中抑制全聚合平行分量，摘要称可降低验证损失轨迹并改善下游平均表现，其中 value 空间变体最强。
• 代码仓库：https://github.com/Shwai-He/Transformer-Geometry

主要结果或产业意义

• 在预训练模型中，摘要称存在残差恒等路径之外的显著平行分量。
• 不同空间的操作后果不对称：value 空间中的 exclude-self 平行操作明显更鲁棒，且能保留 self 直接消息、仅缩放 non-self 聚合。
• 压缩方法差异更多体现在垂直误差上，而不是平行误差上。
• 预训练时抑制全聚合平行分量，摘要称与更低的验证损失轨迹和更好的下游平均表现相关；value 空间变体效果最强。
• 产业意义：若结论可复现，该方向分解可能成为模型编辑、压缩评估和预训练干预的一个诊断与操作视角；具体落地效果待核实。

为什么重要

• 它把“表示更新是大还是小”推进到“更新方向是保持还是转向”，为理解 Transformer 内部表示演化提供了一个可操作的几何框架。
• 它提示同一类平行/垂直操作在不同表示空间中的效果可能完全不同，因此编辑或干预时“在哪个空间做”可能和“做什么”同样关键。
• 它为压缩方法评估提供了一种分量级指标：垂直误差可能比平行误差更有区分度。
• 它把训练时干预与表示几何联系起来：抑制某些平行分量可能影响优化轨迹和下游表现。
• 与既有脉络的关系：已有卡片分别关注优化轨迹调控、Muon 训练后的表示-读出接口失效、以及视觉语言模型的视觉-认知错误演变；本条不是它们的直接延续，但同属“表示与训练动态”主题。增量信息在于：按方向分解更新，并区分 residual-space 与 value-space 的操作不对称。

局限与不确定性

• 以上内容主要来自摘要和 arXiv 元数据；论文正文中的模型规模、数据集、指标数值、统计显著性和消融设置均待核实。
• “显著平行分量”“明显更鲁棒”“改善下游平均表现”的具体幅度待核实。
• 压缩方法的具体类别、预训练实验配置、下游任务集合待核实。
• 来源材料未提供官方英文关键词；可检索术语见下方，但不应视为论文官方关键词。
• 代码仓库可访问性、可复现性和实验结果一致性待核实。
• 结论是否能泛化到不同 Transformer 架构、任务、压缩方法和训练预算，待核实。

可用于图书/PPT/简报的角度

• 用矢量图解释 Transformer 更新：平行分量=保持当前方向，垂直分量=转向/重定向。
• 对比“残差空间”和“value 空间”：同样的平行或垂直操作，在不同表示空间产生不同鲁棒性。
• 把压缩误差拆成平行误差与垂直误差：垂直误差可能是更灵敏的压缩方法诊断指标。
• 把预训练干预设计成“选择性抑制全聚合平行分量”：展示训练时几何干预的可能性。
• 串联叙事：表示几何 → 编辑鲁棒性 → 压缩诊断 → 训练期干预。
• 与既有卡片并置：不同工作从优化器分工、扩散表示学习、MLLM 错误演变等角度切入表示与训练动态；本条补充“方向分解”这一分析轴。

原始材料

• 英文标题：Disentangling Representation Evolution in Transformers through Directional Decomposition
• 英文关键词：待核实（来源材料未列出官方关键词；摘要相关英文术语包括 Transformer representations, learned additive transformations, parallel and perpendicular components, attention value aggregation, compression-induced update error, from-scratch pretraining）
• 作者：Shwai He, Haichao Zhang, Shen Yan
• arXiv ID：2609.15975v1
• 发布时间：2026-09-14T17:56:19Z；更新时间：2026-09-14T17:56:19Z
• 分类：Primary category: cs.CL；Categories: cs.CL, cs.LG
• 摘要页：https://arxiv.org/abs/2609.15975v1
• PDF：https://arxiv.org/pdf/2609.15975v1
• 代码仓库：https://github.com/Shwai-He/Transformer-Geometry
• 原始来源：https://arxiv.org/abs/2609.15975v1