在 DINOv2 上,寄存器令牌(register tokens)相关特征更偏高层语义概念,而高范数离群补丁令牌(high-norm outlier patch tokens)相关特征更偏低层结构、背景与纹理模式;因果消融还显示二者对表征的功能贡献高度不对称,支持自监督 ViT 中存在令牌专门化。
值得关注:该研究把 ViT 内部令牌的功能差异从观察性描述推进到可解释性特征分析与因果消融证据(基于摘要信息)。 与既有卡片的关系:已有卡片分别涉及代码模型表征中任务、语言与模型的角色分离,VLA 具身推理忠实性,以及 LLM …