知识卡片:面壁开源MiniCPM-V 4.7,35B MoE模型手机约3GB内存可跑
一句话结论
面壁智能联合OpenBMB开源MiniCPM-V 4.7,含35B-A3B与1B两版,通过将多数专家权重存放于SSD并按需读入、配合前瞻专家调度(LES)边算边预取,官方称35B模型在iPhone 17 Pro Max上可实现每秒13+ token、占用内存约3GB。
事件概述或研究问题
本条来自腾讯研究院AI速递(20261014),报道面壁智能联合OpenBMB开源MiniCPM-V 4.7。该模型系列含35B-A3B与1B两个版本。核心看点在于:35B级别的MoE模型如何在手机级内存约束下运行——这直接关系到端侧大模型可用性的边界。
方法/产品要点
- 版本:MiniCPM-V 4.7,含35B-A3B与1B两版。
- 权重与存储:35B完整权重约65.6GiB;多数专家存于SSD,按需读入。
- 调度机制:前瞻专家调度LES,边算边预取下一层专家。
- 性能表现:官方称34项基准领先同档Qwen3.6-35B-A3B;iPad Pro M4上平均提速约5倍且输出不变;iPhone 17 Pro Max上每秒13+ token、占内存约3GB。
主要结果或产业意义
- 官方口径下,35B-A3B版本在34项基准上领先同档Qwen3.6-35B-A3B。
- LES在iPad Pro M4上带来约5倍平均提速,且输出不变,说明预取优化未牺牲结果一致性。
- 若iPhone 17 Pro Max上13+ token/s、约3GB内存占用的数据可复现,则意味着30B级MoE模型有望在旗舰手机端侧以可接受速度运行,而无需将全部专家常驻内存。
为什么重要
- 与既有卡片中的“面壁智能开源MiniCPM-Robot”(具身智能方向)不同,本条聚焦多模态V系列模型及端侧内存/存储调度问题,属于面壁在通用端侧模型方向的新进展。
- 若“专家存SSD+按需读入+LES预取”路径成立,它提供了一条区别于纯量化压缩的端侧大模型部署思路:以存储换内存,以调度换速度。
- 与同批速递中“Anthropic用15台电视盒组网跑26B Gemma(0.39 token/s)”形成对照:两者都在探索低资源硬件运行大模型,但路径不同(单机SSD调度 vs 多节点组网)。
局限与不确定性
- 上述基准领先、提速倍数、token速度与内存占用均为官方或报道口径,未见独立复现,待核实。
- 34项基准的具体基准名称、评测条件未在材料中列明,待核实。
- “每秒13+ token”“约3GB内存”“平均提速约5倍”是否在特定量化/配置下取得,材料未说明,待核实。
- 35B完整权重约65.6GiB与手机约3GB内存占用之间的差距如何具体弥合(量化精度、专家读入比例等),材料未展开,待核实。
可用于图书/PPT/简报的角度
- 端侧大模型的“存储换内存”路线:以MiniCPM-V 4.7为例,说明SSD按需读入+预取调度如何突破手机内存瓶颈。
- MoE稀疏激活的工程红利:35B总参数、A3B激活,结合专家调度,如何把大模型塞进手机。
- 端侧AI的两种极端实验对照:手机单机跑35B MoE vs 15台电视盒组网跑26B,讨论低资源推理的路径分化。
- 开源模型竞争格局:面壁MiniCPM-V 4.7与Qwen3.6-35B-A3B的同档对标。
与既有脉络的关系
既有卡片“面壁智能开源MiniCPM-Robot”记录的是面壁在具身智能/机器人方向的开源动作;本条为其在通用多模态端侧模型方向的延续与更新,增量信息在于35B MoE模型在手机端的SSD调度与内存占用表现,而非机器人场景。
原始材料
- 来源:腾讯研究院AI速递 20261014
- URL: https://m.sohu.com/a/1087353138_455313?scm=10001.325_13-325_13.0.0-0-0-0-0.5_1334
- 英文标题(保留):无(来源为中文速递)
- 英文关键词(保留):MiniCPM-V 4.7, OpenBMB, MoE, 35B-A3B, LES (Lookahead Expert Scheduling), SSD offloading, on-device inference
发现内容有误?
免登录提交,管理员审核并完成修正后才会公开修订说明。
值得关注
与既有卡片中的“面壁智能开源MiniCPM-Robot”(具身智能方向)不同,本条聚焦多模态V系列模型及端侧内存/存储调度问题,属于面壁在通用端侧模型方向的新进展。 若“专家存SSD+按需读入+LES预取”路径成立,它提供了一条区别于纯量化压缩的端侧大模型部署思路:以存储换内存,以调度换速度。 与同批速递中“Anthropic用15台电视盒组网跑26B G…
相关主题
对应的教材知识点
根据卡片内容自动匹配,点击查看已审核的教材讲解: