知识卡片：NVIDIA Nemotron 3.5 Super VL 用多模态推理驱动专用代理

一句话结论

NVIDIA Nemotron 3.5 Super VL 是一个开放、可定制的 120B 参数 MoE 多模态模型（每 token 激活 12B），把推理、指令跟随、工具调用与文本/图像/文档/视频理解整合进单一模型，面向可后训练为专用代理的代理式工作流。

事件概述或研究问题

• 背景：始终在线（always-on）代理正在承担更长、更复杂的企业工作流，单一请求可能涉及读文档、跨来源核查、遵循公司政策并调用多个工具。
• 研究/产品问题：如何用单一开放模型同时覆盖“推理 + 工具使用 + 文本与视觉理解”，让团队无需分别部署文本模型与视觉语言模型，也无需在两者之间传递任务上下文。
• 定位：在模型体系中，Nemotron 3.5 Super VL 负责需要推理、工具使用和文本/视觉理解结合的专门多步工作；更小的 NVIDIA Nemotron 3.5 Lightning 处理高并发文本任务，前沿模型 NVIDIA Nemotron 3 Ultra 负责复杂规划与编排。

方法/产品要点

• 架构：开放、可定制的多模态模型，120B 参数 MoE，每 token 激活 12B 参数，兼顾容量与推理效率。
• 能力覆盖：推理、指令跟随、工具使用，与文本、图像、文档、视频理解合一；视觉训练覆盖图表、表格、OCR、多页文档和视频理解。
• 代理场景：编码（测试与验证代码、分析错误、建议修复）、网络研究、文档智能（从表格/图表/版式提取信息并生成摘要与报告）、网络安全（识别漏洞、威胁分级）、视频理解（用于搜索、内容审查、事件分析）。
• 定制方式：开发者可用 NVIDIA NeMo 以自有数据、工具、策略与工作流进行后训练；NeMo AutoModel 支持监督微调（SFT）与低秩适配（LoRA），强化学习（RL）用于贴近组织工作流的代理环境。
• 开放数据集：随模型在 Hugging Face 发布，包括代理工具使用与对话数据、金融推理与工具调用数据集、指令跟随与聊天数据、长上下文转导与翻译数据、公平性数据，以及 40 个视觉语言数据集；可用于补充自有数据做 SFT 与 RL。
• 推理优化技术：LiLiCorr 推测解码、NVFP4 量化配合量化感知蒸馏（QAD）、多 token 预测、上下文复用。
• 部署：开放权重可在受支持的本地、数据中心或云环境适配与部署；模型针对 NVIDIA DGX Spark 本地运行做了优化。
• 训练方法：从 Nemotron 3 Ultra 蒸馏而来（Ultra 的编码能力配合蒸馏时的 SkewReverse 损失提升编码准确率）；后训练使用多教师同策略蒸馏（MOPD），由专门教师在文本与视觉上打分，覆盖视频推理与跟踪、视觉工具使用与对齐；并加入代理动作、代码仓库与软件工程任务训练。

主要结果或产业意义

• 吞吐：在单 GPU 上，针对代理任务的吞吐量比同尺寸级别其他开放模型最高高 5 倍。
• 代理评测：在 Hermes Bench 上得分为 63.44%，高于 Nemotron 3 Ultra 的 56.33%；在 LangChain Evals 上得分为 87.05%，高于 Ultra 的 84.3%。
• 视觉/文档：在图表推理基准 CharXiv 上得分 80.8%（对比 Nemotron 3 Nano Omni 的 63%），结合 Python 代码解释可达 84%；也是 OCRBench v2 排行榜上排名靠前的开放模型之一。
• 效率：凭借更高吞吐与 token 效率，任务完成速度提升 4 倍；在 DGX Spark 上被 EXO Labs 的独立评测列入准确率与任务完成时间的帕累托前沿。
• 行业后训练案例：
  • Scale AI 为 Skydance Corporation 的自动供应商信用处理后训练该模型，推理成本将降低 40 倍、延迟降低 5 倍。
  • Ramp 将收据图像转换为包含商户信息、日期与支付数据的结构化 JSON，预期吞吐最高提升 50%、延迟降低 10 倍。
  • AI21 与 Alice 用其进行威胁情报与漏洞分析，准确率提升 41%。
• Indic 语言：持续预训练加入 10B Indic token（取自 Nemotron-pretraining-Indic-v1 的 12 语言子集及自然 Indic 文本）；NVIDIA 发布约 2.8T token、覆盖 22 种印度语言的数据集，与 IIT Madras 及其 AI4Bharat 实验室合作开发。
• 生态协作：由 Nemotron Coalition 组织支持；Perplexity 提供高质量数据集改善中训练，Prime Intellect 提供环境帮助构建更好的教师模型。

为什么重要

• 与既有卡片的关系与增量：
  • 已有卡片关注 Nemotron 3.5 Lightning（高频执行层，30B MoE、激活 3B）和 Nemotron 3 Ultra 的 harness 工程（无需微调提升代理准确率）。本条补上同一模型家族中面向多模态专用代理的一层：120B MoE / 激活 12B，把视觉与文本理解、推理、工具使用合并进单一模型，并强调通过后训练而非仅靠 harness 适配获得专用领域性能。
  • 与 Ultra 的 harness 路线不同，本条给出的增量是：对多模态与企业专用任务，后训练（SFT / LoRA / RL）+ 开放数据集是主要手段，且给出了企业侧量化收益（成本、延迟、准确率）。
• 产业意义：企业可按自身数据、工具与策略对开放权重做后训练，并在本地、数据中心或云部署，从而在专用代理场景中以显著更低的推理成本与延迟获得高于通用前沿模型的准确率。

局限与不确定性

• 上述性能数字（吞吐 5 倍、4 倍任务完成速度、各企业成本/延迟/准确率改善、CharXiv 与 OCRBench v2 成绩）均来自 NVIDIA 博文及其中引用的合作方陈述，具体评测配置与基线口径待核实。
• “最高 5 倍吞吐”“4 倍更快任务完成”“40x 成本 / 10x 延迟”等为特定工作负载与条件下的结果，跨场景可迁移性待核实。
• NVFP4 配方依赖 NVIDIA Blackwell 架构以使用 4-bit 权重与激活；在非 Blackwell 平台以 4-bit 权重与 16-bit 激活运行同一 checkpoint，其性能差异待核实。
• 博文为 AI 生成摘要并提示内容可能不完整，重要信息需自行验证；模型细节应以 Nemotron 3.5 技术报告为准。
• 数据集规模与语言覆盖（约 2.8T token、22 种印度语言）与实际可用许可、访问条件待核实。

可用于图书/PPT/简报的角度

• 模型分层架构图：Lightning（高并发文本）— Super VL（多模态专用多步任务）— Ultra（复杂规划与编排），说明“一个模型做所有事”与“分层路由”的取舍。
• 多模态代理的合并收益：单一模型同时处理文本与视觉，避免部署两套模型与上下文传递开销。
• 企业后训练闭环：自有数据/工具/策略 → NeMo（SFT/LoRA/RL）→ 专用代理 → 可量化收益（成本、延迟、准确率）。
• 推理效率工程：LiLiCorr 推测解码、NVFP4 + QAD、多 token 预测、上下文复用如何共同压缩代理重复调用的开销。
• 开放生态与数据：开放权重 + 开放数据集（含 40 个视觉语言数据集、Indic 数据集）对专用代理开发门槛的影响。
• 精度与速度权衡：DGX Spark 上的本地部署与帕累托前沿，作为“边缘/本地运行多模态代理”的案例。

原始材料

• 标题：NVIDIA Nemotron 3.5 Super VL Powers Specialized Agents with Multimodal Reasoning | NVIDIA Technical Blog
• 来源：NVIDIA Technical Blog
• 作者：Chris Alexiuk、Chintan Patel
• 日期：Oct 15, 2026
• URL：https://developer.nvidia.com/blog/nvidia-nemotron-3-5-super-vl-powers-specialized-agents-with-multimodal-reasoning
• 关键词（原文）：Agentic AI, Generative AI, NVIDIA Nemotron 3.5 Super VL, multimodal, mixture-of-experts, post-training, NeMo, LiLiCorr, NVFP4, DGX Spark
• 相关链接（原文提及）：Nemotron 3.5 technical report、Nemotron 3.5 Super VL usage cookbook（GitHub）、NVIDIA NIM、NVIDIA NeMo AutoModel、NVIDIA NeMo RL、NVIDIA NeMo Gym、NeMo Data Designer（chart question answering、long-document understanding）、OCRBench v2 leaderboard、CharXiv benchmark