知识卡片：NVIDIA 机密计算下的私有高性能生产级 AI 推理

一句话结论

NVIDIA 在其技术博客中给出了一套可控的 CC-on/CC-off 对比方法，并在 8 张 B200 的 DGX B200 系统上验证：经过 TensorRT LLM 的三项 CC 感知适配后，机密计算开启时的 DeepSeek-R1 NVFP4 推理仍保留 96.1%–98.2% 的输出吞吐，平均每 token 延迟（TPOT）开销控制在 1.2%–4.3%。

事件概述或研究问题

来源材料（NVIDIA Technical Blog，2026 年 9 月 22 日，作者 Lorna Aine）关注的问题是：当 LLM 推理越来越多地处理个人、企业与受监管场景中的敏感信息和专有模型上下文时，数据必须在可信环境中处理。NVIDIA Confidential Computing（CC）通过内存加密的机密虚拟机（CVM）、机密 GPU 和加密的 NVIDIA NVLink 提供了一条在可信硬件上运行生产级 AI 推理的路径。

但推理框架（如 TensorRT LLM）进入 CC 环境后，安全执行会改变内存移动、计时、调度和多 GPU 通信的既有假设；如果运行时不做适配，就会引入性能开销。因此该文的核心研究问题是：推理框架与机密计算环境需要如何协同优化，才能在启用 CC 的同时保持推理性能？文章面向正在 Blackwell GPU 上评估机密推理的 AI 平台工程师，给出可复用的开销量化方法。

方法/产品要点

1. 测量方法：CC-on 与 CC-off 对照

在同一模型、硬件、框架版本、序列长度、并行度和并发度下，仅切换 CC 状态，分别在每个并发级别计算：

• 输出吞吐保留率 = 100 ×（CC on 输出 tokens/s ÷ CC off 输出 tokens/s）
• 延迟开销（TPOT） = 100 ×（CC on TPOT ÷ CC off TPOT − 1）

2. 工作负载选择

为了“暴露”CC 开销，应选择长输入上下文、长输出生成、低并发的负载：长上下文压测 prefill 阶段的数据移动，长生成放大 decode 阶段每 token 的小额 CC 开销，低并发则减少跨请求隐藏这些成本的机会。高请求量会摊薄固定加密成本，使直接效应更难观察。

测试负载配置：

测试环境配置：

3. 三项 CC 感知适配

• 主机到设备数据移动：在 B200 CC 中，H2D 传输需经过软件加密的 bounce buffer，因为 GPU 无法直接访问受保护的 CVM 内存。这改变了推理框架的预期：pinned memory 不再提供通常的异步传输优势，部分拷贝可能阻塞调用线程。TensorRT LLM 的缓解方式是 CC 感知的内存选择——对受影响路径改用 pageable memory，而非无条件使用 pinned memory；D2H 方向则把重复的 token 与采样数据回读搬到异步 worker，避免受保护拷贝在 decode 期间阻塞主调度器（参见 TensorRT LLM PR #11573）。
• 内核自动调优计时：内核 autotuner 通常用 CUDA events 比较候选策略。在测试的 CC 配置下，CUDA event 时间戳产生不稳定的计时信号，可能使 autotuner 选中较慢的策略。缓解方式是在 CC 下改用 GPU %globaltimer 进行策略测量，在非 CC 环境继续使用 CUDA events（参见 TensorRT LLM PR #11657）。
• CC 感知的多 GPU 通信：B200 CC 配置中不提供 NVLS（NVLink SHARP）multicast。缺少 NVLS 时，NCCL_SYMMETRIC 无法获得其预期的 multicast 收益，却可能仍在切换到非 multicast 集合通信路径前产生内存注册与跨 rank 同步成本。缓解方式是：面向 CC 的框架应检测 NVLS 可用性，并针对给定消息大小、拓扑和工作负载特征选择延迟最小的通信算法。

主要结果或产业意义

在并发 1–16 范围内，CC on 保留了 CC off 输出吞吐的 96.1%–98.2%；平均 TPOT 相对基线仅增加 1.2%–4.3%（TPOT 越低越好）。文章总结称，在完成数据移动、自动调优和多 GPU 通信三项 CC 感知适配后，机密的 DeepSeek-R1 推理在 8 张 B200 上保留了超过 96% 的 CC-off 输出吞吐，每 token 延迟开销低于 5%。

产业意义在于：文章把“安全配置”和“推理优化”明确为同一个部署问题，而不是两个可以分开处理的环节。对准备把私有推理投入生产的组织，建议是启用机密计算、对运行环境做 attestation（认证/证明），并用你实际要服务的那个工作负载来跑 CC-on 与 CC-off 基准测试。

为什么重要

• 机密计算过去常被理解为“以性能换安全”的取舍；该文给出的是一个受控测量框架和一组具体工程适配，说明在 Blackwell + TensorRT LLM 上，CC 的吞吐与延迟代价可以被压到个位数百分比。
• 文中没有给出绝对吞吐或绝对 TPOT 数值，只给出相对量，因此其价值主要在方法论和适配清单，而非某个可引用的性能天花板。
• 与已有卡片的关系：现有三张卡片分别覆盖 nvmath-python v1.0 的数学库抽象、Sanctuary AI 的物理 AI 工业部署、以及用 NeMo 生成金融合成数据。本条不重复它们的任何事实，而是补充“敏感数据/专有模型上下文在生产推理中如何被硬件加密保护、以及这种保护带来哪些运行时性能工程问题”这一新维度。

局限与不确定性

• 文章只给出相对指标（吞吐保留率、TPOT 相对开销），未给出 CC off 与 CC on 的绝对吞吐与绝对 TPOT 数值——待核实。
• 结果基于单一模型（DeepSeek-R1-0528-NVFP4）、单一并行配置（TP=8/EP=1/PP=1）和单一硬件平台（DGX B200 + Intel TDX）；对其他模型、并行策略、GPU 代际或非 TDX 平台的适用性——待核实。
• 使用的 TensorRT LLM 镜像版本为 1.3.0rc22，属 release candidate；该版本及文中引用的 PR #11573、PR #11657 的最终合入与稳定发布状态——待核实。
• “NVLS 在 B200 CC 配置中不可用”是文中针对测试配置的陈述；其他 CC 配置或后续固件/驱动版本下是否仍如此——待核实。
• 成本、能效、多租户隔离的运维复杂度、attestation 流程的具体实现与合规映射——材料未涉及，待核实。
• 文章日期、作者信息与致谢名单均来自抓取内容，未做独立交叉验证。

可用于图书/PPT/简报的角度

• “安全与性能是同一个工程问题”：以该文建议为引，讨论为什么机密计算部署不能只买硬件、只开开关，而需要框架级适配。
• 可复用的开销量化模板：CC-on/CC-off 单变量对照 + 吞吐保留率 + TPOT 相对开销，这套方法可直接迁移到其他安全特性（如加密存储、隔离执行环境）的性能评估。
• “三类被打破的假设”：内存移动假设（pinned memory 失效）、计时假设（CUDA events 不稳定）、集合通信假设（无 NVLS），很适合做成一页三栏对比图。
• 负载选择的反直觉点：要看清 CC 开销，应选长上下文、长输出、低并发，而不是高 QPS 基准；这可用于讲解“压测设计要为观测目标服务”。
• 生产落地清单：启用 CC → attest 环境 → 用真实目标负载跑 CC-on/CC-off 基准 → 把安全配置与推理优化合并为一个部署议题。
• 英文关键词（便于检索与索引）：NVIDIA Confidential Computing, Confidential Computing (CC), Confidential VM (CVM), Confidential GPU, Encrypted NVLink, NVIDIA Blackwell, B200, DGX B200, TensorRT LLM, DeepSeek-R1, NVFP4, Intel TDX, NCCL, NVLS / NVLink SHARP, TPOT, KV Cache FP8, Prefill / Decode, Kernel Autotuner, Attestation, Private AI Inference.

原始材料

• 英文标题：Enabling Private High-Performance Production AI Inference with NVIDIA Confidential Computing | NVIDIA Technical Blog
• 来源：NVIDIA Technical Blog（developer.nvidia.com）
• URL：https://developer.nvidia.com/blog/enabling-private-high-performance-production-ai-inference-with-nvidia-confidential-computing
• 作者：Lorna Aine（NVIDIA Hyperscalers 团队解决方案架构师）
• 发布日期：2026 年 9 月 22 日
• 原文标签：Agentic AI / Generative AI；Data Center / Cloud；Trustworthy AI / Cybersecurity；Blackwell；NVLink；TensorRT-LLM；AI Inference；Confidential Compute
• 文中提及的延伸阅读：NVIDIA Trusted Computing 文档、TensorRT LLM 功能与 release notes、NVIDIA Confidential Compute news、博客 "Hardware-Rooted AI Security That Won’t Slow You Down"
• Track：industry；Topics：ai-industry