知识卡片：SAEVerbalizer——通过表示“言语化”生成稀疏自编码器特征的自然语言解释

英文标题：SAEVerbalizer: Generating Explanations for Sparse Autoencoder Features via Representation Verbalization
英文关键词：Sparse Autoencoders; Interpretability; Large Language Models; Representation Verbalization

一句话结论

SAEVerbalizer 通过将稀疏自编码器（SAE）的解码器方向注入大语言模型（LLM）的表示，并微调 LLM 下游层，使模型直接为 SAE 特征生成自然语言解释，从而绕开依赖外部行为观察的传统解释路径。

事件概述或研究问题

稀疏自编码器被用来从 LLM 表示中提取大量特征，但解释这些特征目前仍主要依赖外部观察——即通过观察模型行为来推断特征含义。这种方式既容易得到浅层解释，又需要大量行为数据采集，计算效率低。SAEVerbalizer 提出直接利用 SAE 解码器方向来生成自然语言解释，以同时缓解这两方面问题。

方法/产品要点

• 将 SAE 解码器方向注入 LLM 的表示空间。
• 微调 LLM 的下游层，使其学会为注入的特征生成自然语言解释。
• 训练完成后，verbalizer 可直接从解码器方向解释 SAE 特征。
• 干预实验显示：注入多个方向时，生成的解释会组合这些方向的意义；反转单个方向时，解释也会产生相应的语义变化。

主要结果或产业意义

• 学习的“言语化”能力可泛化到未见过的 SAE 特征。
• 该能力可以跨不同 SAE 字典迁移。
• 借助轻量级适配器，可扩展到来自不同 LLM 的 SAE 特征。
• 具体量化性能、基准数据集和与基线方法的对比结果，材料中未提供，待核实。

为什么重要

SAEVerbalizer 代表了一种从“观察行为推测特征含义”转向“从表示方向直接解释”的路径。相比传统方法，它可能降低大规模解释 SAE 特征的计算成本，并推动跨模型、跨字典的可解释性工具复用。本卡片在既有可解释性/表示工程卡片脉络中，属于稀疏自编码器特征解释的新方法增量。

局限与不确定性

• 当前仅有摘要信息，缺乏详细的实验设置、评估指标和基线对比，具体效果有待核实。
• 未说明生成解释与特征真实语义之间的对齐程度，也未说明是否存在解释幻觉风险。
• “跨字典迁移”和“跨 LLM 扩展”的具体边界条件、适配器开销等尚未在材料中明确。

可用于图书/PPT/简报的角度

• 以“让 AI 解释自己的内部特征”为切入点，介绍从行为观察到表示方向解释的新范式。
• 强调跨模型、跨字典迁移和轻量适配器对规模化可解释性的潜在价值。
• 可用于讲解稀疏自编码器、LLM 可解释性及自动化解释生成的前沿尝试。

原始材料

• 标题：SAEVerbalizer: Generating Explanations for Sparse Autoencoder Features via Representation Verbalization
• URL：https://arxiv.org/abs/2608.13538v1
• arXiv ID：2608.13538v1
• 作者：Weihan Meng, Hongzhu Guo, Yi Jing, Dewen Liu, Zijun Yao, Xiaozhi Wang, Lei Hou, Juanzi Li
• 提交时间：2026-08-13
• 分类：cs.CL