知识卡片：iPhone断网跑35B多模态！国产开源新模型，只占3G内存

一句话结论

面壁智能与OpenBMB开源MiniCPM-V 4.7，其中35B-A3B MoE版本可在断网iPhone 17 Pro Max上以约3G内存运行并实现每秒13个token以上的解码速度，被宣称为首个能在端侧流畅运行且不牺牲性能的开源MoE模型。

事件概述或研究问题

据量子位2026-10-14报道，面壁智能和OpenBMB正式开源MiniCPM-V 4.7，包含35B-A3B（总参数35B、每次推理仅激活3B）和1B（实际参数1.3B）两个版本。报道核心问题为：35B量级的MoE模型如何在12GB内存手机上流畅运行，并在断网状态下完成多模态任务？

方法/产品要点

• 模型结构：35B-A3B是MiniCPM-V系列首个MoE模型；1B版本实际参数1.3B，主打极小体积，侧重OCR、数学和视频理解。
• 前瞻专家调度（LES） ：利用相邻两层输入特征高度相似的特点，在当前层计算时提前预测下一层所需专家，由后台线程从闪存预取权重；测试中可提前备好超过80%所需专家，无需额外训练。预测仅负责预取和计算顺序安排，最终路由仍由模型原有机制决定。
• 混合精度量化与存储优化：逐层混合精度量化压缩专家权重，重组织为连续存储布局以减少零散读取。
• DSpark草稿模型+投机解码：接入llama.cpp等端侧推理框架，草稿模型先提多个token再由主模型批量核验。
• 视觉压缩：沿用LLaVA-UHD v4的ViT内早期压缩技术，支持4倍和16倍压缩切换。
• 自回放微调（Self-Replay Fine-Tuning） ：微调前让模型回答覆盖原有能力的问题，筛选高质量回答混入新任务训练数据，减少灾难性遗忘；沿用标准微调流程，回放数据只需生成一次可重复使用。
• 生态适配：支持iOS、安卓、鸿蒙；发布当天完成瑞芯微、后摩、Intel、AMD和Arm等芯片平台适配；推理框架支持SGLang、vLLM、llama.cpp和Ollama；微调支持SWIFT和LLaMA-Factory；量化版本提供GGUF、AWQ、GPTQ、FP8等。

主要结果或产业意义

• 端侧运行表现：iPhone 17 Pro Max（12GB内存）上35B-A3B仅占约3G内存，解码速度每秒13个token以上；断网状态下可完成拿破仑行军路线图温度换算、家庭用电分析、停车规则判断等复杂多模态任务。iPad M4上同样能运行。
• 基准测试（35B-A3B）：MMBench 91.72、MMStar 80.67、MMMU 80.22、MathVista 88.00、Video-MME 76.40、LongVideoBench 68.90；OmniDocBench v1.6拿到94.24分，领先另外四个模型12分以上；视觉压缩开到16倍后MMBench仅从91.72降至90.87，OCRBench从91.20降至90.40。纯文本方面CMMLU 90.21、τ2-Bench 84.65。
• 速度优化效果：16GB内存iPad Pro M4上前瞻专家调度综合提升x5倍解码速度；16GB内存M5 Mac上DSpark投机解码平均再提升17%。
• 产业背景：据IDC预计，2026年中国新一代AI手机出货量将达1.47亿台，同比增长31.6%，渗透率首次突破53%。12GB已成AI手机及格线，旗舰普遍16GB，部分上探24GB。面壁CEO李大海称2026年为端侧AI规模化落地元年。
• 密度定律：面壁和清华提出大模型能力密度约每3.5个月翻一番；截至2026年9月MiniCPM系列累计下载量突破5000万次。

为什么重要

本条是对端侧多模态模型进展的重要更新。与已有卡片中ZDTaichu5.0-9B（9B级、侧重空间具身与通用能力）相比，MiniCPM-V 4.7的35B-A3B以MoE架构在端侧实现更大参数量的部署，且明确给出了内存占用和解码速度数据；与Kimi K3（2.8万亿参数、云端为主）和FLUX 3（侧重生成）不同，本条聚焦端侧推理效率与多模态理解。报道提出的核心增量信息是：通过MoE稀疏激活+前瞻专家调度+量化+投机解码的组合，首次在公开报道中实现35B级MoE模型在手机端约3G内存下流畅运行，且视觉压缩16倍后精度几乎不降。这直接回应了端侧AI面临的内存成本瓶颈问题，也标志着端侧AI竞争从芯片制程转向模型与推理框架的软硬协同优化。

局限与不确定性

• 上述基准分数和解码速度均为面壁/量子位提供的自测数据，尚无第三方独立复现验证。
• “首个能在端侧流畅运行且不牺牲性能的开源MoE模型”为报道中的宣称，待核实是否有其他同类模型可对比。
• 断网场景下的实际用户体验（如长时间运行稳定性、发热、耗电）未在材料中给出。
• 自回放微调的实际效果（通用能力保留程度）缺乏量化对比数据。
• 不同手机型号和芯片平台上的性能表现可能存在差异，材料仅展示了iPhone 17 Pro Max和iPad M4的测试结果。

可用于图书/PPT/简报的角度

• 端侧AI的“内存墙”突破：3G内存跑35B MoE，对手机厂商成本结构的直接影响。
• MoE+预取调度的工程范式：前瞻专家调度如何利用层间特征相似性，将“等数据”变为“算数据”。
• 视觉压缩的性价比：16倍压缩下精度几乎不降，对端侧多模态部署的启示。
• 微调不遗忘：自回放微调如何让端侧模型定制新技能时保留通用能力。
• 2026端侧AI规模化元年：IDC出货量数据+内存涨价背景下的产业趋势。
• 密度定律：能力密度每3.5个月翻番的产业含义。

原始材料

• 来源：量子位（QbitAI）
• 标题：iPhone断网跑35B多模态！国产开源新模型，只占3G内存
• 作者：十三
• 日期：2026-10-14
• URL：https://www.qbitai.com/2026/10/503109.html
• 关键词：MiniCPM-V 4.7、端侧模型、面壁智能、MoE、前瞻专家调度、自回放微调