知识卡片：用价值表征预测对齐泛化

一句话结论

论文提出“对齐泛化预测”任务，发现基于模型激活（in-context 应用价值时）的表征在预测微调某价值后对其他未见价值行为的影响上，显著优于基于价值文本描述的方法。

事件概述或研究问题

• LLM 开发者通过后训练让模型展现亲社会价值与行为特质（列在 alignment target 中）。
• 尽管后训练模型在对齐评测上得分很高，但用一组狭窄行为训练模型，仍会以意外方式影响其在未见语境和环境中的行为。
• 论文确立新任务：alignment generalization prediction，即预测将模型微调为遵循某一给定价值后，其在一系列 held-out 价值上的行为如何变化。

方法/产品要点

• 对现代对齐目标中的 66 个价值进行大规模对齐泛化效应分析。
• 构建泛化矩阵，并在此任务上基准测试多种表征技术。
• 对比两类方法：基于模型激活的表征 vs. 基于价值文本描述的表征。
• 进一步将预测对齐泛化的表征用于下游任务：度量多价值对齐目标中各价值之间的相似度。
• 探索共享、与模型无关的价值空间的初步证据，并据此提出首个基于实证泛化动态的 LLM 价值分类法（taxonomy）。

主要结果或产业意义

• 最佳激活-based 方法与泛化矩阵的相关性达 0.45，而描述-based 基线仅 0.05。
• 用预测对齐泛化的表征度量多价值对齐目标内的价值相似度，该相似度与模型鲁棒性显著相关。
• 提供朝向共享、模型无关价值空间的初步证据，并据此构建首个根植于实证泛化动态的 LLM 价值分类法。
• 论文主张：研究 LLM 中的价值泛化，对更实证地设计与训练模型行为具有重要意义。

为什么重要

• 对齐评测高分不等于泛化可控：狭窄行为训练会外溢到未见语境，需要可预测的工具。
• 激活表征优于文本描述，提示价值的行为效应难以仅靠语义描述刻画。
• 价值相似度与模型鲁棒性相关，为多价值对齐目标的设计提供可量化依据。
• 与既有卡片（如机器人基础模型的组合泛化、视觉动作推理对齐提升任务泛化）相比，本条聚焦 LLM 对齐价值的泛化预测，增量在于提出新任务与表征基准。

局限与不确定性

• 相关性 0.45 仍属中等水平，预测精度有限。
• “共享、模型无关价值空间”仅为初步证据（initial evidence），普适性待核实。
• 价值分类法基于本研究的 66 个价值与特定实验设置，能否推广到其他对齐目标待核实。
• 论文发表于 arXiv（2026-10-08），未提及同行评审状态，需待核实。

可用于图书/PPT/简报的角度

• “对齐评测高分≠泛化安全”：后训练的外溢效应。
• 表征之争：激活 vs. 文本描述，行为预测谁更准。
• 从价值相似度到模型鲁棒性：多价值对齐目标的量化设计。
• 是否存在模型无关的价值空间？首个实证价值分类法的意义与边界。

与既有脉络的关系

• 既有卡片关注机器人基础模型的组合泛化、视觉动作推理对齐对泛化的提升；本条将“泛化”议题延伸到 LLM 对齐价值层面，提出可预测泛化的表征方法。
• 与 Twins 等表征学习卡片相比，本条不涉及多模态统一 token 空间，而是聚焦价值行为层面的表征预测能力。

原始材料

• 标题：Predicting Alignment Generalization with Value Representations
• arXiv ID：2610.12410v1
• 作者：Andy Liu, Mehar Bhatia, Karolina Stanczak, Mona Diab, Vered Shwartz, Daniel Fried
• 发布：2026-10-08T17:47:26Z
• 分类：cs.CL（主）, cs.AI, cs.LG
• Abstract URL：https://arxiv.org/abs/2610.12410v1
• PDF URL：https://arxiv.org/pdf/2610.12410v1
• 关键词：alignment generalization prediction; value representations; model activations; alignment target; LLM values taxonomy