知识卡片:菲尔兹奖得主团队用“桥”直连模型隐藏状态,让4B Qwen+云端GLM刷爆ARC-AGI 3
一句话结论
Mostik(成立4个月,15人团队,首席科学家为2010年菲尔兹奖得主 Stanislav Smirnov)训练了一个小型“桥”模块,在冻结模型权重的情况下,把智谱 GLM-5.2(753B)读取问题时的隐藏状态直接传给阿里 Qwen-3.5(4B,手机端可运行),由小模型完成文本输出。团队称,该方案在 ARC-AGI 3 上让 4B 模型补上约50%与753B模型的性能差距、自身准确率提高25%,大模型侧推理成本降至约1/20;但具体分数和技术细节尚未公开,结果需独立复核。
事件概述 / 研究问题
- 大模型生成一个 token 时,内部会产生大量隐藏状态,被量化估计为约一百万个数值、约2MB信息;随后从约15万词的词表选出一个 token,只留下约17比特的输出信息,其余约2MB内部状态被丢弃。
- 文章认为,现有“编程子智能体、模型委员会、路由调度”等多模型协作方式,本质上都依赖文本,等于只建立在约17比特的输出之上,压缩掉了隐藏状态中的深层计算。
- Mostik 的“桥”思路是让一个模型的隐藏状态不转成文本,而是直接通过一个经过训练的小模块传给另一个模型,接收方拿到后继续使用。
- 公开演示组合中,GLM-5.2 在云端作为“发送方”,Qwen-3.5 在手机端作为“接收方”;大模型不生成任何文本,小模型负责写最终答案。
方法 / 产品要点
- 核心组件:桥(bridge),是系统中唯一被训练的部分;两个参与模型权重完全冻结。
- 发送方:智谱 GLM-5.2,753B参数,位于云端。
- 接收方:阿里 Qwen-3.5,4B参数,可在手机端运行。
- 关键成本设计:大模型只做“预填充”(prefill),不做“解码”(decode),避免最贵的逐 token 生成环节;文本生成全部交给小模型。
- Mostik 团队刻意冻结双方模型,以验证来自不同团队、不同数据训练的模型,其内部表征能否在无需微调的情况下通过桥完成有效信息传递。
- 公司名 Mostik 在俄语中意为“小桥”。
主要结果 / 产业意义
- 团队自述实验结果:
- 4B小模型弥补了约50%与753B大模型之间的性能差距。
- 小模型自身准确率提高25%(原文未说明是相对提升还是绝对百分点,口径待核实)。
- 在大小模型差距更明显的难题子集上,提升达到2倍。
- 大模型侧推理成本降至原来的约1/20。
- 若不用桥跑出同样成绩,需要部署一个中等规模模型;桥方案的计算成本约为该中等模型的2/5。
- 与传统文本接力等标准组合方法相比,桥方案在团队测试的大模型算力水平上均表现更好;交接点极早时优势最明显。
- 产业意义上的方向在于:大模型可以“只思考、不开口”,小模型负责“表达”,从而降低端云协同推理成本。
- Mostik CEO 判断未来未必由单一巨型模型包打天下,更可能是前沿模型与生物、物理等领域的专用模型高效配对。
为什么重要
- 它指向一个模型协作瓶颈:此前模型之间唯一的沟通渠道是文本,而文本只是模型内部计算被极度压缩后的产物。
- 如果桥方案成立,则说明两个训练数据、训练团队都不同的模型,其内部表征之间存在可利用的公共结构,且无需微调模型本身。
- 菲尔兹奖得主 Smirnov 表示,在两个 AI 模型之间找到数学上的共同基础非常困难,“目前似乎还没有合适的数学语言来描述这件事”。这给 AI 可解释性、表征对齐研究提出了新的数学问题。
- “大模型闭嘴思考、小模型代为表达”也可能成为未来多模型协作的一种新成本结构。
与既有脉络的关系
本条是 ARC-AGI-3 相关进展的增量信息:
- 与 schema harness 不同,Mostik 不是给单个模型编写外部“世界模型”程序,而是在两个冻结模型之间训练一个可传递隐藏状态的桥。
- 与 GPT-5.6 《构建者指南》中的 API 成本和 Token 优化不同,这条路径强调跨模型内部状态传输,而不是单模型推理压缩。
- 它把技术路线从“让单个模型更强”延伸到“让两个异构模型直接共享内部计算”。
- 与已有相关卡片相同的是:以上成绩主要来自团队自报告,尚未给出官方独立复核结果;源材料也未披露 Mostik 在 ARC-AGI 3 上的具体分数,因此暂不能与 schema 框架的 98.98% 等数值直接比较。
局限与不确定性
- 具体技术细节尚未公开;Mostik 团队拒绝在比赛结束前披露实现方案。
- ARC-AGI 3 上的具体分数未在源材料中给出,“刷爆”是定性表述,具体榜单或成绩待核实。
- “弥补50%性能差距”“准确率提高25%”“提升2倍”“推理成本降至1/20”等均为团队披露口径,尚未经第三方独立验证。
- 桥的训练数据、接入隐藏层的具体位置、桥的规模、对模型 API 或内部状态的访问条件均未说明,待核实。
- 桥能否跨越更多模型、更多任务和真实业务负载,能否成为可靠的可观测性工具,目前仍处于早期验证阶段。
可用于图书/PPT/简报的角度
- “17比特 vs 约2MB”:大模型之间协作的文本带宽瓶颈。
- “大模型闭嘴思考,小模型开口说话”:预填充与解码分工带来的成本重构。
- 菲尔兹奖得主眼中的难题:两个 AI 模型之间没有数学语言。
- 端云协同新形态:手机端4B模型 + 云端753B模型,能不能靠“桥”缩小性能差距?
- 多模型协作的安全性观察面:发送方隐藏状态、转换结果与接收方行为都可被记录。
原始材料
- 英文标题:原文未提供官方英文标题(待核实;可意译为:Fields Medalist Joins the LLM Race: 4B Mobile Qwen + Cloud GLM Crushes ARC-AGI 3)
- 中文标题:菲尔兹奖得主入局大模型!4B手机Qwen+云端GLM刷爆ARC-AGI 3
- 作者:衡宇
- 来源:量子位(QbitAI)
- 原文 URL:https://www.qbitai.com/2026/09/485108.html
- 发布时间:2026-09-07
- 英文关键词:bridge; ARC-AGI 3; Qwen; GLM; Stanislav Smirnov; Mostik; hidden state transfer
- 文中参考链接:
- https://mostik.ai/read-more
- https://x.com/aimalysheva/status/2095232794792255848?s=20
发现内容有误?
免登录提交,管理员审核并完成修正后才会公开修订说明。
值得关注
它指向一个模型协作瓶颈:此前模型之间唯一的沟通渠道是文本,而文本只是模型内部计算被极度压缩后的产物。 如果桥方案成立,则说明两个训练数据、训练团队都不同的模型,其内部表征之间存在可利用的公共结构,且无需微调模型本身。 菲尔兹奖得主 Smirnov 表示,在两个 AI 模型之间找到数学上的共同基础非常困难,“目前似乎还没有合适的数学语言来描述这件事”。这给…
相关主题
对应的教材知识点
教材知识点匹配尚未完成。