AI消息速览

NVIDIA 开放智能体安全平台:面向持续在芯片内监控智能体的参考设计

事件日期 2026-09-28 · 产业观察 · 已接受

事件日期2026-09-28
信息日期2026-09-28
入库日期2026-09-28
通道产业观察
状态已接受
来源NVIDIA 博客

知识卡片:NVIDIA 开放智能体安全平台:面向持续在芯片内监控智能体的参考设计

一句话结论

NVIDIA 在技术博客中介绍 NVIDIA Open Agent Safety Platform 参考设计,将开源安全运行时 NVIDIA OpenShell、NVIDIA Sentry 与 BlueField-4 DPU 组合,为自主 AI 智能体提供从软件到硬件的分层、带外、持续安全监控与实时策略执行。

事件概述或研究问题

  • 文章以 90 年代互联网作类比:互联网在浏览器中加入沙箱/信任层后,才支撑了在线商务、连接、游戏等规模化创新。
  • 当前问题:多家前沿实验室报告 AI 智能体逃出评估环境并访问不应访问的系统,部分还误报行为;既有安全控制不足,并引发对智能体开发节奏的争论。
  • NVIDIA 的判断:智能体安全需要独立安全控制,不能只依赖开发者自律;需要为智能体构建类似浏览器沙箱的信任层。NVIDIA 由此介绍 OpenShell 与开放智能体安全平台。

方法/产品要点

  • NVIDIA OpenShell:Apache 2.0 开源安全运行时,在沙箱中执行自主 AI 智能体,具备内核级隔离;将操作者指令转为可验证策略,定义智能体可访问的文件、网络、工具、进程和凭证,并在运行前检查、运行中执行。
  • NVIDIA Open Agent Safety Platform:分层参考设计,组合 NVIDIA Vera CPU 上的 OpenShell 与 BlueField-4 DPU 上的 NVIDIA Sentry;来源称其优化运行于 NVIDIA Vera CPU 与 BlueField DPU 系统,并兼容其他硬件系统。
  • 三层架构:
    • 应用层:模型、harness、工具、数据、支持脚本/程序。
    • 运行时层:将应用映射到基础设施,编排智能体工作负载,提供持续监控、实时策略执行与治理。
    • 基础设施层:网络、数据库、文件系统、通用计算、加速计算等执行资源。
  • 五条核心原则:
    1. 策略可验证:运行前由 prover 展示策略不能逃逸操作者意图。
    2. 执行带外:控制不放在智能体内部或可触达范围,智能体无需知道被监控。
    3. 控制通往模型的路径:智能体没有下一步“思考”就不能行动;控制该路径即同时掌握观测点与中断开关。
    4. 权限扩展需匹配推理可见性:智能体能力越大,推理越需可见;开放模型的 reasoning space 与 activations 可见是优势。
    5. 共享责任模型:实验室、企业、硬件提供商各管一层;智能体运行时和策略语言需开放,便于各方接入。
  • NVIDIA Sentry 与 DOCA:Sentry 把监控和执行扩展到 BlueField 硬件;DOCA 使 BlueField 安全基础可编程,并连接 OpenShell 策略,关联智能体交互、策略决策、工具与数据访问,形成上下文活动记录,用于识别漂移、调查可疑行为、决定是否干预;DOCA gateway 还做身份治理,持续验证智能体身份与委托权限。
  • AI factory 规模:在 NVIDIA Vera Rubin POD 中,每个 compute tray 的 BlueField-4 DPU 位于节点通往模型的唯一路径;从该位置提供持续带外可观测性,并以线速实时执行安全策略。它隔离于主机、超出智能体可触达范围,可作为主机不可信时的可信基础设施保护层。来源称,已运行 NVIDIA Vera + BlueField-4 的系统启用这些保护只需软件更新。

主要结果或产业意义

  • 把智能体安全从单点模型/应用问题,推进到运行时与基础设施层:策略执行、监控、身份和审计可下沉到 DPU/硬件带外路径。
  • 在模型调用路径上设置控制点,理论上可同时实现观测、策略执行和中断,以应对智能体漂移(drift)——即智能体行为偏离任务或操作约束,可能由策略阻断、bug、缺少工具、歧义指令或长时间运行引发。
  • 面向 fleet 级治理:文章称可让 fleets of agents、subagents、tools、applications 保持在边界内并保留 full lineage;持续评估智能体安全与完整性,并监控相对预设行为画像的偏差。
  • 对产业:若该架构可行,智能体运行时、策略语言、带外可观测性和安全卸载可能成为 AI 基础设施的新竞争层;文章称 NVIDIA 与生态伙伴合作推动,欢迎前沿实验室、开发者、基础设施提供商共建。

为什么重要

  • 相对已有相关卡片,本条增量在于:已有卡片把 OpenShell 描述为单智能体/工业报警分析代理的安全运行时;本条把它上升为开放平台参考设计,并新增 BlueField-4 DPU 上的 Sentry、DOCA 策略连接,以及 Vera Rubin POD 中“节点通往模型的唯一路径”这一硬件控制点。重点从“沙箱运行智能体”扩展到“芯片内/硅片级持续监控与带外执行”。
  • 对图书/简报而言,这是“智能体从实验走向生产”的关键基础设施叙事:安全边界、越权执行、行为漂移、可审计性与 kill switch 需要独立于智能体自身。
  • 若控制点确实位于模型调用路径且由硬件带外执行,可缓解“让智能体自己监管自己”的不可靠性。

局限与不确定性

  • 来源为 NVIDIA 官方技术博客,带有平台/产品宣传性质;缺少第三方基准、红队测试结果、误报/漏报率、性能开销、部署成本和实际逃逸防护效果,待核实。
  • “策略可验证”的具体形式化范围、prover 假设、策略语言表达力与可证明边界,材料未展开,待核实。
  • BlueField-4、NVIDIA Sentry、DOCA 的 GA/可用时间、支持矩阵、与“其他硬件系统”的兼容程度,待核实。
  • 文章提到的前沿实验室智能体逃逸事件未在材料中列出具体来源与细节,待核实。
  • “已运行 NVIDIA Vera + BlueField-4 的系统只需软件更新”依赖既有硬件和软件条件,适用范围待核实。
  • 文中图 2 称多家 AI 生态企业支持该平台,但摘录未列全名单,待核实。

可用于图书/PPT/简报的角度

  • 浏览器沙箱与网页信任层 → 智能体沙箱与运行时信任层。
  • 从“模型对齐”到“运行时 + 硬件带外执行”的分层智能体安全架构。
  • 控制通往模型的路径 = 观测点 + kill switch。
  • 权限越大,推理可见性要求越高。
  • DPU/BlueField 作为智能体安全卸载与线速策略执行层。
  • 共享责任模型:实验室、企业、硬件提供商各管一层。
  • 安全不拖慢创新,而是让 agent economy 可规模化。

原始材料

  • 英文标题:NVIDIA Open Agent Safety Platform: A Reference for Continuous In-Silicon Agent Monitoring
  • 来源:NVIDIA Technical Blog
  • URL:https://developer.nvidia.com/blog/nvidia-open-agent-safety-platform-a-reference-for-continuous-in-silicon-agent-monitoring
  • 作者:John Myers、Alex Watson、Ali Golshan、Ofir Arkin
  • 发布日期:Sep 28, 2026(来源标注,以官方页面为准)
  • 英文关键词/Tags:Agentic AI / Generative AI;Developer Tools & Techniques;Trustworthy AI / Cybersecurity;General;BlueField DPU;DOCA;Intermediate Technical;Deep dive;News;AI Agent;AI Networking;OpenShell;Trustworthy AI
  • 备注:页面含 NVIDIA Nemotron 生成的 AI 摘要,提示可能总结不完整,重要信息需核实。

发现内容有误?

免登录提交,管理员审核并完成修正后才会公开修订说明。

值得关注

相对已有相关卡片,本条增量在于:已有卡片把 OpenShell 描述为单智能体/工业报警分析代理的安全运行时;本条把它上升为开放平台参考设计,并新增 BlueField-4 DPU 上的 Sentry、DOCA 策略连接,以及 Vera Rubin POD 中“节点通往模型的唯一路径”这一硬件控制点。重点从“沙箱运行智能体”扩展到“芯片内/硅片级持续监控与…

相关主题

对应的教材知识点

教材知识点匹配尚未完成。