知识卡片：DeepSeek开源推理框架DeepInfer，兼容英伟达与昇腾

一句话结论

DeepSeek将其内部推理框架DeepInfer全面开源，该框架已支撑DeepSeek V4.1 Flash的高吞吐、低延迟大规模推理服务，并同时兼容英伟达与华为昇腾平台。

事件概述或研究问题

据腾讯研究院AI速递（20261021）整理，DeepSeek宣布将内部使用的推理框架DeepInfer全面开源。该框架此前已在DeepSeek V4.1 Flash模型的大规模推理服务中实际运行，具备高吞吐、低延迟的线上服务能力。此次开源的核心问题是：如何让一个经过生产验证的推理框架同时适配英伟达GPU与华为昇腾两类硬件平台，并对外提供可复用的推理与Token处理组件。

方法/产品要点

• DeepInfer开源：DeepSeek内部推理框架全面开源，已支撑DeepSeek V4.1 Flash的大规模推理服务。
• 支持能力：分布式推理、推测解码（speculative decoding）、SWA Bounded Replay、结构化输出等。
• 硬件兼容：同时兼容英伟达平台与华为昇腾平台。
• 配套组件：同步开源Token编解码组件deepseek-recipe，与官方API处理逻辑完整对齐。
• 持续更新：新模型推理代码也将在此持续更新。

主要结果或产业意义

DeepInfer的开源意味着DeepSeek把经过自身大规模服务验证的推理栈对外释放，且明确覆盖国产昇腾平台，为希望在昇腾或英伟达环境中部署大模型推理的团队提供了参考实现。配套的deepseek-recipe组件使外部调用与官方API的处理逻辑保持一致，降低了复现和集成的门槛。

为什么重要

• 推理框架是模型服务成本与延迟的关键环节，开源生产级框架有助于行业复用工程经验。
• 同时兼容英伟达与昇腾，在芯片供应与部署选择上提供了跨平台的可行性参考。
• 与既有“DeepSeek自研推理芯片”卡片相比，本条是软件栈层面的动作（推理框架开源），二者分属软件与硬件两条线索，不构成同一事实的重复。

局限与不确定性

• 材料未披露DeepInfer的具体性能数据（吞吐、延迟、显存占用等），相关指标待核实。
• SWA Bounded Replay的具体技术细节与实现方式，材料未展开，待核实。
• 开源许可证类型、代码仓库地址、社区治理方式等，材料未说明，待核实。
• “已支撑DeepSeek V4.1 Flash”为材料表述，具体部署规模与线上表现待核实。

可用于图书/PPT/简报的角度

• 作为“大模型推理工程化”案例：从内部框架到开源复用的路径。
• 作为“国产芯片适配”案例：推理框架同时兼容英伟达与昇腾的跨平台策略。
• 作为“开源生态与API一致性”案例：deepseek-recipe与官方API逻辑对齐的意义。
• 与DeepSeek自研推理芯片卡片并置，构成“软件栈开源＋硬件自研”的双线叙事。

原始材料

• 来源：腾讯研究院AI速递 20261021
• URL：https://m.sohu.com/a/1090360348_455313?scm=10001.325_13-325_13.0.0-0-0-0-0.5_1334&digest_item=2
• 条目原文要点：DeepSeek将内部推理框架DeepInfer全面开源，已支撑DeepSeek V4.1 Flash高吞吐、低延迟的大规模推理服务；DeepInfer支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等，兼容英伟达与华为昇腾平台；同步开源Token编解码组件deepseek-recipe，与官方API处理逻辑完整对齐，新模型推理代码也将在此持续更新。