知识卡片：单块多深度——深度编程专家的循环视觉 Transformer

一句话结论

reViT 证明单个 Transformer 块循环复用、并通过“深度编程专家”恢复各深度的差异化变换后，可以在推理 FLOPs 相当的情况下逼近全深度视觉编码器的精度，且无需中间特征蒸馏。

事件概述或研究问题

论文研究的问题是：能否用一个循环应用的 Transformer 块替代全深度堆叠的视觉编码器，同时保持精度。作者指出，循环复用会导致不同深度共享同一变换，因此需要机制来恢复“深度特定（depth-specific）的变换”。reViT 的解法是把每个循环深度上的 FFN 表示为一个小型共享专家库的凸组合，并用连续归一化深度坐标来“编程”这一混合。

方法/产品要点

• 核心机制：单个 Transformer 块循环应用；每个循环深度的 FFN 由一个小共享专家库做凸组合得到。
• 深度坐标编程：用一个连续的归一化深度坐标来调制该混合，从而在 FFN 参数空间中定义一条可重采样（resampleable）的轨迹。
• MoE 变体比较：在监督 ImageNet-1k 训练与 DINOv2 教师蒸馏两种设置下，做了受控对比，识别出**权重空间合并（weight-space merging）**是所测试的最强 MoE 族，优于 token 派发（token-dispatch）与输出混合（output-mixture）方案（在匹配“每深度一个 FFN”的预算下）。
• 弹性深度训练（Elastic-depth training）：让同一检查点通过在相同归一化坐标区间上重采样，即可在多个测试深度下运行。
• 固定深度部署：可将循环块物化为常规稠密图，从而移除在线路由与合并；每深度一个 FFN 的计算量不变，但部署存储会扩大。

主要结果或产业意义

• 从零训练：reViT-B/16 达到 DeiT III 的精度，且存储参数约减少 70%。
• 蒸馏：8 专家模型仅使用教师的输出特征进行蒸馏，保留了其 DINOv2 教师几乎全部线性探针（linear-probe）精度，并可迁移到分类、分割与深度预测任务。
• 产业意义（基于材料）：以更少存储参数达到可比精度，并支持单检查点多深度运行与固定深度稠密化部署，对参数受限或多深度部署场景有潜在价值。

为什么重要

现有卡片中多数为特定任务的模型适配（如图 MILP 生成、红外遥感视觉-语言、LiDAR 协作 3D 检测），本条聚焦基础模型架构层面的循环与专家混合设计，属于 foundation-model 主题的不同脉络。其增量在于：给出“单块循环 + 深度编程专家”这一架构配方，并报告权重空间合并优于其他 MoE 变体的受控结论，以及弹性深度这一部署特性。

局限与不确定性

• 论文的具体实验细节（如训练超参、数据集规模、消融的完整设置）在给定摘要中未展开，待核实。
• reViT 与其它循环/权重共享视觉骨干的直接对比结果，摘要未给出，待核实。
• “可重采样轨迹”在未测试深度上的外推表现，摘要未说明，待核实。
• 固定深度部署时存储扩大的具体幅度，摘要未给出，待核实。

可用于图书/PPT/简报的角度

• “一个块走多深”：循环复用 + 深度编程如何恢复深度特异性。
• MoE 家族横评：权重空间合并 vs token 派发 vs 输出混合（在每深度单 FFN 预算下）。
• 参数效率：约 70% 存储参数削减与 DeiT III 级精度。
• 蒸馏路径：仅用教师输出特征即可保精度并迁移到分类/分割/深度预测。
• 弹性深度与部署：单检查点多深度运行，或稠密化物化以去除在线路由。

原始材料

• 标题：One Block, Multiple Depths: Recurrent Vision Transformers with Depth-Programmed Experts
• arXiv ID：2610.12448v1
• 作者：Adrian Bulat, Yassine Ouali, Georgios Tzimiropoulos
• 发布：2026-10-08T17:58:36Z（更新同）
• 主分类：cs.CV；分类：cs.CV, cs.LG
• Abstract URL：https://arxiv.org/abs/2610.12448v1
• PDF URL：https://arxiv.org/pdf/2610.12448v1