知识卡片：JEPA世界模型中视觉Transformer编码器的按需容量增长方法

一句话结论

JEPA 世界模型中的视觉 Transformer 编码器不必预先分配最大容量，可以从极小的初始结构出发，根据任务复杂度逐次进行宽度或深度扩展，在提高计算与数据效率的同时保持表示质量。

事件概述或研究问题

Joint-Embedding Predictive Architectures（JEPA）用于世界建模时，通常采用固定大小的 Vision Transformer 编码器。这种固定设计对简单任务容量过剩，对复杂任务容量不足，而且注意力头之间存在显著冗余。本文提出 Successive Capacity Growth（SCG，连续容量增长）方法，让编码器随任务需求逐步增长。

方法/产品要点

• SCG 从一个最小编码器开始：1 个注意力头、2 层、283K 参数。
• 增长方式分为两种：宽度扩展（增加注意力头，用于低层语义容量）和深度扩展（增加 Transformer 块，用于高阶语义抽象）。
• 增长由任务无关的“测试-验证”机制驱动：利用函数保持扩展安全试改架构，若预测损失未改善则回滚。
• Sketched Isotropic Gaussian Regularizer（SIGReg）用于确保所有学习到的语义维度保持统计独立并与预测目标对齐，防止随架构增长出现表征坍塌。

主要结果或产业意义

• 在 60 维多物体动力学任务上，SCG 自然触发深度扩展，预测损失比固定小基线降低 20.3%；相比“扩展到固定大模型”的方案，参数效率提高 56 倍。
• 在 2D 导航任务上，单次宽度扩展甚至比固定大模型带来 23% 的改进。
• 在全部三个复杂度递增的测试环境中，自适应编码器均匹配或超过固定小基线；零假阳性扩展；函数保持为位精确（ratio=1.0，绝对差值=0.0）。
• 潜在意义：世界模型编码器无需初始就按最大容量设计，可按任务复杂度增长，以节省算力和数据成本。

为什么重要

这项工作展示了 JEPA 编码器从“固定容量预设”转向“按任务复杂度生长”的可行性，并提供可回滚的测试-验证扩展机制和防坍塌正则化。这意味着在计算资源有限或任务复杂度未知的应用中，可以用小模型起步、按需扩展，避免为简单任务部署过大的 ViT 编码器。与已有“模型效率/资源分配”类卡片相比，本卡片聚焦于 JEPA 世界模型中的编码器架构增长，而非状态空间模型剪枝或多模态大模型。

局限与不确定性

• 摘要未给出三个测试环境的具体名称与细节，具体任务设置待核实。
• 摘要未说明 SCG 在真实图像/视频数据上的表现，是否可扩展到大规模 JEPA 世界模型待核实。
• “56 倍参数效率”与“23% 改进”的具体比较基准（如固定大模型的规模、训练预算）未在摘要中详细说明，待核实。
• “bit-exact function preservation”的测量方式和条件未在摘要中展开，待核实。
• 未与其他动态架构搜索或增长方法进行对比，相对优势待核实。

可用于图书/PPT/简报的角度

• 用“从 28 万参数小模型起步，任务变难再长宽长深”的比喻，介绍按需扩容的神经网络设计思路。
• 对比“固定最大容量”与“逐步增长”两种范式在 JEPA 世界模型中的计算效率差异。
• 以 SCG 为例说明“函数保持扩展 + 回滚验证”如何让架构变化更安全。
• 展示 SIGReg 正则化在防止表征坍塌中的作用，用作自监督学习技巧的案例。

原始材料

• 英文标题：Successive Capacity Growth: Task-Complexity-Driven Width and Depth Expansion for Vision Transformer Encoders in JEPA World Models
• 英文关键词：Successive Capacity Growth; JEPA; Vision Transformer; World Models; Width and Depth Expansion; Function-Preserving Expansion
• arXiv ID: 2608.27367v1
• 作者：Frederik Berenz
• 发布/更新：2026-08-27T17:04:57Z
• 分类：cs.CV（cs.AI）
• URL: https://arxiv.org/abs/2608.27367v1