知识卡片:蚂蚁百灵开源Ling-3.1-flash,部署从8卡降至4卡
一句话结论
蚂蚁百灵开源 Ling-3.1-flash,总参数约 560B、每 token 激活约 25B,最高支持 1M 上下文;通过路由专家 MXFP4 量化将权重从约 534GB 降至 292GB,使 Hopper 部署由 8 卡降至 4 卡,Artificial Analysis 智能指数 41,输出速度约 210 token/s。
事件概述或研究问题
- 来源:腾讯研究院 AI 速递(20261016)第四条。
- 事件:蚂蚁百灵开源 Ling-3.1-flash。
- 核心问题:在大总参数稀疏 MoE 模型下,如何通过量化压缩权重、降低部署卡数门槛,同时维持较高输出速度与可接受的调用价格。
方法/产品要点
- 参数结构:总参数约 560B,每 token 激活约 25B(稀疏 MoE)。
- 上下文:最高支持 1M 上下文。
- 量化:路由专家采用 MXFP4 量化。
- 部署:权重从约 534GB 降至 292GB;Hopper 部署由 8 卡降至 4 卡。
- 价格:混合调用价约每百万 token 0.19 美元;目前 API 限时 2.5 折。
主要结果或产业意义
- 评测:Artificial Analysis 智能指数 41。
- 性能:输出速度约每秒 210 token。
- 部署经济性:MXFP4 量化使显存/权重占用大幅下降,卡数减半,降低推理部署门槛。
- 定价:混合调用价约 0.19 美元/百万 token(限时 2.5 折),对成本敏感型工作流有吸引力。
为什么重要
- 与已有卡片“蚂蚁百灵 Ling-3.1-flash 开源模型(2026-10-15)”相比,本条增量信息集中在:具体参数量(560B 总参 / 25B 激活)、MXFP4 量化细节、权重体积变化(534GB→292GB)、部署卡数变化(8 卡→4 卡)、Artificial Analysis 指数 41、输出速度约 210 token/s、混合调用价约 0.19 美元/百万 token 及限时 2.5 折。
- 与“Ling-3.0-flash(124B 总参 / 5.1B 激活)”相比,3.1-flash 在总参数量级上有明显提升,但激活参数与量化部署策略仍是关注重点(两者架构细节是否延续,待核实)。
- 对产业而言,卡数减半意味着同等硬件下可部署更多实例或降低单位推理成本,是稀疏 MoE + 低比特量化落地的一个可参考案例。
局限与不确定性
- Artificial Analysis 智能指数 41 的具体评测版本、对比模型与榜单时间点:待核实。
- 输出速度约 210 token/s 的测试硬件、batch size、上下文长度等条件:待核实。
- 混合调用价“约每百万 token 0.19 美元”的输入/输出计价拆分与是否含缓存:待核实。
- MXFP4 量化对精度的影响、是否有精度对比数据:待核实。
- “Hopper 部署由 8 卡降至 4 卡”的具体卡型(如 H100/H200)与显存配置:待核实。
- 限时 2.5 折的截止时间与适用范围:待核实。
可用于图书/PPT/简报的角度
- 稀疏 MoE + 低比特量化(MXFP4)如何把大模型部署卡数减半。
- “总参数量 vs 激活参数量”作为理解推理成本的关键指标。
- 开源模型定价与推理速度(token/s)如何共同决定工作流可行性。
- 从 Ling-3.0-flash 到 Ling-3.1-flash 的参数规模与部署策略演进(可作为案例时间线)。
与既有脉络的关系
- 本条是既有卡片“蚂蚁百灵 Ling-3.1-flash 开源模型(2026-10-15)”的补充:新增了参数量、量化方式、权重体积、部署卡数、智能指数、输出速度与定价等具体数字。
- 与“Ling-3.0-flash(2026-07-30)”形成同一系列不同代的对照,可用于观察参数规模与部署门槛的变化趋势。
原始材料
- Fetched title: 腾讯研究院AI速递 20261016
- Fetched description: 2.Coding Agent写代码搭轻量游戏,引擎维护状态与规则并输出结构画面,基于Wan2.2 5B改造的视频模型实时渲染精细画面; 2.Agent可自写Python扩展工具库,实验中积累103项技能和1…
- Fetched text excerpt(第四条): 四、蚂蚁百灵开源Ling-3.1-flash,部署从8卡降至4卡 1.蚂蚁百灵开源Ling-3.1-flash,总参数约560B、每token激活约25B,最高支持1M上下文; 2.Artificial Analysis智能指数41,输出速度约每秒210 token,混合调用价约每百万token 0.19美元; 3.路由专家采用MXFP4量化,权重从约534GB降至292GB,Hopper部署由8卡降至4卡;目前API限时2.5折。
- URL: https://m.sohu.com/a/1088289922_455313?scm=10001.325_13-325_13.0.0-0-0-0-0.5_1334&digest_item=3
- Parent digest: 腾讯研究院AI速递 20261016
- Parent URL: https://m.sohu.com/a/1088289922_455313?scm=10001.325_13-325_13.0.0-0-0-0-0.5_1334
发现内容有误?
免登录提交,管理员审核并完成修正后才会公开修订说明。
值得关注
与已有卡片“蚂蚁百灵 Ling-3.1-flash 开源模型(2026-10-15)”相比,本条增量信息集中在:具体参数量(560B 总参 / 25B 激活)、MXFP4 量化细节、权重体积变化(534GB→292GB)、部署卡数变化(8 卡→4 卡)、Artificial Analysis 指数 41、输出速度约 210 token/s、混合调用价约 0…
相关主题
对应的教材知识点
根据卡片内容自动匹配,点击查看已审核的教材讲解: