知识卡片：GPT-6带火循环Transformer，阿里以MeSH与SpiralFormer提前破解“计算冗余”

英文标题：无官方英文标题（原文为中文标题；直译参考：GPT-6 Brings Recurrent Transformer into Spotlight; Alibaba Had Already Made Its Move）

英文关键词：Recurrent Depth; Recurrent Transformer; MeSH; SpiralFormer; Computational Redundancy; Alibaba

一句话结论

GPT-6 Astra被爆料采用“循环深度”（recurrent depth）技术后，循环Transformer迅速成为行业焦点；但循环模型长期受困于“计算冗余”——循环次数增加，后续计算带来的增量却很小。阿里及合作高校团队在约11个月前已围绕该问题发表MeSH与SpiralFormer两篇论文，分别管理循环内部“信息分工”和“计算粒度”，两篇均获顶会接收，尝试让循环Transformer真正成为下一代高效大模型的可行路线。

事件概述或研究问题

背景：GPT-6 Astra引爆“循环深度”

“循环深度”的核心方式是让同一组Transformer层反复运行，在不增加同等规模参数的情况下，把计算做得更深。The Information爆料称，GPT-6 Astra使用了这种技术。消息引发安全争议：由于循环发生在hidden state里，中间过程未必会写成人类可读的思维链，模型监测难度可能增加。OpenAI首席科学家Jakub Pachocki据称亲自回应，并表示将发布长文解释。

更早之前，Claude Mythos也曾在GraphWalks BFS等图搜索任务中表现突出，被外界与循环架构联系起来；但官方是否使用循环架构并未明确。

核心研究问题：循环模型为什么“空转”？

学界此前发现，同等算力下，通过参数共享节省参数的循环模型经常打不过普通Transformer。阿里及合作高校团队通过观察hidden state变化、表示相似度、奇异值谱等，发现典型症状是：第一个core loop承担了绝大部分状态更新，后续core loop的增量迅速缩小，信息逐渐被压缩到低维空间，模型出现“计算冗余”。

方法/产品要点

MeSH与SpiralFormer均为研究论文成果，不是可直接使用的商业产品。

MeSH：管理循环之间“每轮拿什么算”

MeSH由阿里及合作高校团队提出，被ICLR 2026接收，论文首版于2025年10月公开。

• 诊断出两个问题：计算无分化——同一组网络反复使用但缺少轮次信息，不同阶段难以分工；信息过载——原始输入、前几轮结果和当前计算全部挤在同一份hidden state中，互相干扰。
• 提出Memory Buffer，类似一个可动态存取的“资料柜”，由多个记忆槽保存历史信息，避免全部塞进当前hidden state。
• 加入Write Router和Read Router两组“管理员”，分别决定每轮新结果如何写入记忆槽、下一轮如何从不同槽位读取并重组输入。
• 不同循环轮次、不同token可以有不同的读写权重，信息搭配由模型自行学习。

SpiralFormer：让每一轮“以什么粒度算”

SpiralFormer被EMNLP 2026接收。

• 在每轮循环开始前对序列做“缩放”：先把相邻token聚合成更短的表示，再按从粗到细的顺序循环。
• 典型方案是从原序列1/8长度开始，依次扩展到1/4、1/2，最后回到完整序列，相当于“先看城市全貌，再逐步放大到街区、道路和具体位置”。
• 压缩后的序列更短，Attention需要处理的token更少，计算量下降；算完后将结果分配回原token位置，并做右移以避免泄露未来信息。
• Attention probing实验显示，低分辨率循环中注意力更分散、覆盖更大范围；随着分辨率提高，注意力逐渐集中到局部关键位置。研究团队由此认为，模型学会了先建立global pattern，再转向local pattern。
• 在保持参数量和训练预算不变的条件下，只调整循环层占比，效果呈U形曲线，循环比例约30%到40%时最佳。

主要结果或产业意义

• MeSH在Pythia-1.4B级别实验中，循环结构通过权重共享减少约33%的非嵌入参数；加入MeSH后，零样本下游平均准确率从普通Transformer的49.50%提升到50.56%，领先1.06个百分点。
• MeSH新增路由器参数仅相当于普通Transformer非嵌入参数的约0.005%，相较基础循环模型的额外计算开销约0.014%。
• SpiralFormer-L与普通Transformer参数量基本相同，计算量从14.08T FLOPs降至13.13T FLOPs，5-shot下游平均准确率从51.93%提升到54.37%。
• 产业意义在于：循环Transformer提供了“用计算深度换参数规模”的新可能。大模型不必继续疯狂增加参数，而是在内部多算几轮、把现有参数用得更深。但需要注意，循环结构省下的是参数，不是计算；只有让多出来的每一轮都产生增量价值，才可能成为下一代高效大模型的路线之一。

为什么重要

过去大模型Scaling主要靠参数、数据和训练算力三大支柱，推理模型兴起后又增加了“生成更长思维链”的维度。循环Transformer给出了另一种选择：计算在hidden state中继续进行，同一组参数反复使用，模型规模可以不变，内部计算却逐层加深。阿里及合作高校团队没有停留在“循环能行吗”的争论上，而是把问题拆到循环内部，从“计算冗余”出发，补齐了“分工”这一关键拼图。

与既有脉络的关系

已有相关卡片聚焦于GPT-5.6发布、Claude额度重置等事件。本卡片是对GPT-6 Astra被爆料采用循环深度后的技术讨论跟进，不重复陈述GPT-5.6相关事实。增量信息是：OpenAI新模型传闻背后的循环Transformer路线，已出现来自阿里及合作高校的MeSH与SpiralFormer两项顶会研究，分别从信息管理和序列粒度两个方向尝试解决循环架构的“计算冗余”问题。

局限与不确定性

• GPT-6 Astra是否确实采用recurrent depth，目前来自The Information爆料，OpenAI官方未在材料中明确确认，待核实。
• Claude Mythos是否采用循环架构，官方没有明说，外界仍属推测。
• 安全专家“集体讨伐”、Jakub Pachocki回应的具体内容及后续长文，材料中未提供细节，待核实。
• “阿里早已布局”具体指阿里哪个团队、实验室或业务部门，以及论文作者单位归属，材料中仅称“阿里及合作高校团队”，待核实。
• MeSH和SpiralFormer的实验均集中在Pythia-1.4B级别，更大规模模型上的效果以及训练/推理成本表现待核实。
• 文章来自量子位，时间为2026-09-05；后续OpenAI、Anthropic或论文作者是否有进一步官方说明，需继续跟踪。

可用于图书/PPT/简报的角度

• 下一代大模型Scaling路线对比：堆参数、长思维链、循环深度/隐空间思考各有何取舍。
• “省参数不等于省计算”：用循环Transformer的讨论解释大模型算力经济学的常见误区。
• 从“摸鱼”到“分工”：以MeSH和SpiralFormer为案例，说明如何诊断并修复重复计算中的增量损失。
• 中国科技公司在前沿基础架构上的早期布局：以阿里及合作高校团队为例，展示从问题诊断、方案设计到顶会验证的研究路径。

原始材料

• 标题：GPT-6带火循环Transformer，阿里早已布局
• 副题/来源描述：手握两篇顶会论文
• 作者：一水
• 来源：量子位（QbitAI）
• 日期：2026-09-05
• URL：https://www.qbitai.com/2026/09/484726.html
• 论文链接：
  • MeSH：https://arxiv.org/abs/2510.07739
  • SpiralFormer：https://arxiv.org/abs/2602.11698