英伟达开源 120B 多模态 Agent，24GB 本地版同步登场

英伟达今天（2026 年 10 月 15 日）发布 Nemotron 3.5 Super VL，一款拥有 1200 亿总参数、每个词元激活 120 亿参数的开放多模态 Agent 模型；与此同时，英伟达还推出了采用原生 2 位量化、模型权重压缩至 24GB 的 Nemotron 3.5 Bolt 74B-A9B，以及计划于 10 月 23 日发布的 Bolt E4B 4GB。

Nemotron 3.5 Super VL 是一款把视觉理解、长文本推理、代码生成、工具调用和多步骤任务执行整合进同一模型的开放权重模型。 英伟达给它的定位不是通用聊天机器人，而是需要连续运行数小时甚至数天、反复查看文档和网页并调用外部工具的企业级 Agent 执行引擎。

这次发布最值得关注的并不是 120B 这个数字，而是英伟达正在补齐一套从数据中心到桌面设备的 Agent 模型产品线：Super VL 负责复杂的多模态执行任务，Lightning 负责高吞吐文本任务，Ultra 负责最困难的纯文本推理，Bolt 则把能力下放到本地 RTX、DGX Spark 和边缘设备。

120B 总参数，但每次只运行 12B

混合专家模型（MoE）是一种只激活部分参数处理当前输入、以较低计算量获得大模型容量的架构。 Nemotron 3.5 Super VL 拥有 120B 总参数，但每个词元只激活约 12B 参数，相当于模型拥有一个规模庞大的专家团队，却不会让所有专家同时参与每一次任务。

模型采用 Mamba-2、Transformer 注意力层与 MoE 交错组合的混合架构，并搭载 C-RADIO 视觉编码器。Mamba-2 更擅长以接近线性的计算成本处理长序列，Transformer 注意力层负责需要精确关联和全局检索的位置，MoE 则为不同类型的输入分配不同专家。

这种架构针对的正是 Agent 最棘手的成本问题。普通聊天请求通常只有几轮对话，而一个真正工作的 Agent 可能需要读取几十份文档、分析网页截图、运行代码、检查工具返回值，再根据结果调整下一步行动。上下文越长、工具调用次数越多，传统 Transformer 的推理开销就越容易失控。

Nemotron 3.5 Super VL 的上下文窗口最高达到 100 万 token，输入支持文本、图像和视频，输出为文本。根据英伟达在 Hugging Face 官方模型卡公布的信息，NVFP4 版本可部署在单台 DGX Spark、单张 H200、两张 H100 或单张 GB200 上，但实际可用上下文长度仍会受到显存、并发量和推理框架配置影响。

最高 5 倍吞吐量，必须加上适用条件

英伟达所称的最高 5 倍吞吐量，是特定单 GPU Agent 工作负载下与同级开放模型的比较结果，而不是所有任务都能稳定快 5 倍。 这个限定非常重要，因为模型推理速度会受到输入长度、输出长度、批处理规模、量化精度、工具等待时间和硬件平台共同影响。

即便如此，英伟达的优化路线仍然相当明确：它不只压缩模型，还同时改造词元生成、缓存管理和分布式调度。

投机解码是一种先批量预测多个候选词元、再由主模型一次验证的加速方法。 Nemotron 3.5 Super VL 内置多词元预测能力，并支持名为 LiLiCorr 的投机解码方案。英伟达称，在 DGX Spark 上，LiLiCorr 最高可将词元生成速度提升至原来的 2.3 倍。

NVFP4 是英伟达针对 Blackwell GPU 优化的低精度浮点格式，可使用 4 位权重和 4 位激活值降低显存占用与计算开销。 在非 Blackwell 平台上，同一量化检查点采用 4 位权重和 16 位激活值运行，因此性能收益不会完全相同。

NVIDIA Dynamo 是面向大模型推理服务的分布式调度与缓存管理框架。 在英伟达披露的 16 张 B200 测试中，当每名用户的生成速度设为每秒 50 token 时，Dynamo 通过缓存感知路由、会话亲和性和 KV 缓存卸载，最多可服务 8 倍用户，并将首词元延迟降低 85%。

这些技术放在一起，说明 Nemotron 3.5 Super VL 的核心卖点不是单次问答跑分，而是单位 GPU 在一段时间内能够完成多少个完整任务。对于需要反复调用浏览器、代码解释器和内部系统的 Agent，这个指标通常比每秒生成多少 token 更接近真实成本。

多模态不是附加功能，而是 Agent 的输入层

多模态 Agent 是能够同时读取文本、图像、文档页面和视频，并基于这些信息调用工具完成任务的智能体系统。 Nemotron 3.5 Super VL 不需要先把截图交给独立视觉模型、再把识别结果转交给语言模型，而是由同一个模型完成视觉理解、推理和工具调用。

这一设计在企业工作流中比单纯看图问答更有价值。例如，财务 Agent 可以读取收据照片，将商户、日期、金额和支付信息转换成结构化数据；软件工程 Agent 可以同时查看报错截图、源代码和终端日志；安全 Agent 可以阅读漏洞报告，再调用扫描工具验证受影响资产。

英伟达公布的企业定制案例也集中在这些场景：

• Scale AI 为 Skydance 定制供应商信用处理 Agent，预计推理成本降低 97.5%，延迟降低 80%。
• Ramp 使用模型将收据图像转换为结构化 JSON，预计吞吐量最高提升 50%，延迟降低 90%。
• AI21 与安全公司 Alice 将模型用于威胁情报和漏洞分析，任务准确率提升 40%。

这些数字来自企业定制后的特定工作负载，不能直接等同于基础模型在所有场景中的提升幅度，但它们指出了 Super VL 最现实的商业路径：企业不会只下载原始权重，而是会利用 NeMo 将自身数据、工具、审批政策和业务流程继续训练进模型。

图表推理和工具调用表现更突出

Nemotron 3.5 Super VL 的优势主要集中在图表理解、工具使用和多步骤行为控制，而不是单纯依靠知识问答跑分建立领先。 在 CharXiv 图表推理基准中，模型得分为 80.8%，高于 Nemotron 3 Nano Omni 的 63%；在允许模型结合 Python 解释图表后，成绩进一步达到 84%。

在 Hermes Bench 和 LangChain 行为评估中，Nemotron 3.5 Super VL 分别获得 63.44% 和 87.05%，超过 Nemotron 3 Ultra 的 56.33% 和 84.3%。这说明参数更少的 Super VL 并没有试图全面取代 Ultra，而是通过架构、数据和强化学习，针对 Agent 的指令遵循及工具调用做了更激进的优化。

官方 Hugging Face 模型卡还披露了更完整的测试结果：BF16 版本在 SWE-bench Verified 上获得 71.10%，LiveCodeBench v6 为 88.22%，BrowseComp 为 78，OCRBench v2 英文测试为 68.12%，中文测试为 59.15%。NVFP4 版本的大多数成绩接近 BF16，例如 SWE-bench Verified 为 71.07%，说明低精度量化没有明显摧毁模型能力；但 Terminal-Bench 2.1 从 66.70% 降至 60.80%，也表明量化并非完全没有代价。

| 测试项目 | BF16 | NVFP4 | 观察 | |---|---:|---:|---| | SWE-bench Verified | 71.10% | 71.07% | 代码修复能力基本保持 | | LiveCodeBench v6 | 88.22% | 87.41% | 量化损失较小 | | CharXiv Reasoning | 80.82% | 79.88% | 图表推理接近原精度 | | OCRBench v2 中文 | 59.15% | 59.03% | 中文 OCR 能力稳定 | | Terminal-Bench 2.1 | 66.70% | 60.80% | 复杂终端任务损失明显 |

跑分仍然不能替代实际测试，尤其是 Agent 任务会受到系统提示词、工具描述、浏览器框架和最大迭代次数影响。开发者更应该关注模型在自身工具链中的任务成功率、平均工具调用次数和失败恢复能力，而不是只比较排行榜上的单一百分比。

24GB 的 Bolt，可能比 120B 主模型更有影响力

Nemotron 3.5 Bolt 74B-A9B 24GB 是从 Super VL 压缩而来的本地多模态 Agent 模型，拥有 740 亿总参数和 90 亿激活参数。 它采用原生 2 位量化，将模型权重压缩到约 24GB，目标是在消费级或工作站级 RTX 设备上完成网页研究、代码编写、终端操作和视觉任务。

Bolt 不是简单地把 Super VL 做一次常规 GGUF 量化。根据官方模型卡，英伟达使用名为 Star Elastic 的路由器引导架构搜索，将专家数量、中间层宽度和运行状态一起纳入显存预算，再通过知识蒸馏恢复能力。模型最终保留 74B 总参数、每个词元激活 9B 参数，上下文最高支持 256K token。

| 模型 | 总参数 / 激活参数 | 精度与体积 | 最大上下文 | 主要定位 | 发布时间 | |---|---|---|---:|---|---| | Nemotron 3.5 Super VL | 120B / 12B | BF16、NVFP4 | 1M token | 企业多模态 Agent、复杂工作流 | 10 月 15 日 | | Nemotron 3.5 Bolt 74B-A9B | 74B / 9B | 原生 2 位，约 24GB 权重 | 256K token | 本地网页、代码和终端 Agent | 10 月 15 日 | | Nemotron 3.5 Bolt E4B | 未完整披露 | 约 4GB | 未披露 | 语音助手、交互角色、嵌入式界面 | 10 月 23 日 |

这里需要区分模型文件大小与实际运行显存。24GB 指的是压缩后的模型权重规模，不代表一张 24GB 显卡在任何上下文长度下都能直接运行。KV Cache、视觉编码器、中间状态和推理框架本身仍会占用额外内存。官方推荐的本地配置包括 32GB 以上独立显存或 64GB 统一内存设备；在 32GB 级配置中，参考方案使用约 28GB 运行预算和 65,536 token 上下文。

Bolt 74B 支持 llama.cpp、vLLM、Ollama、Unsloth 和 LM Studio，这意味着它不是只为英伟达企业软件栈准备的展示模型，而是主动进入开发者已经在使用的本地模型生态。对多数个人开发者而言，Bolt 可能比 Super VL 更值得立即测试，因为后者即使能在 DGX Spark 上运行，也依然属于高端开发和企业部署范畴。

英伟达要卖的仍然是完整计算栈

Nemotron 3.5 系列的战略价值，是让开放模型成为英伟达硬件和推理软件的默认工作负载。 从 NVFP4、TensorRT-LLM、NIM、Dynamo、NeMo 到 DGX Spark、RTX 和 B200，模型的每一个效率卖点都与英伟达自己的计算栈紧密绑定。

这并不意味着模型被锁死在专有平台上。Bolt 已支持 llama.cpp，Super VL 也提供 Hugging Face 权重、训练数据说明和后训练资源；但如果企业希望复现官方宣称的低延迟、高并发和长上下文性能，最终仍大概率需要进入英伟达优化过的软硬件组合。

所谓开源也需要更精确地理解。Nemotron 3.5 Super VL 与 Bolt 使用 OpenMDW 1.1 许可证，官方允许商业和非商业使用，并开放模型权重、部分训练数据与训练配方。它们属于开放权重、可定制模型，但不等于没有许可证义务的公共领域软件，企业部署前仍应审查许可证、数据来源和具体行业的合规要求。

英伟达此次发布的真正进展，是把 Agent 模型的竞争从谁的单次回答更聪明，推进到了谁能在有限显存和固定预算内完成更多完整任务。Super VL 提供数据中心级多模态能力，Bolt 则尝试把这种能力压缩到本地硬件。如果 24GB 版本能够在真实网页和代码任务中保持官方跑分所显示的能力，它会比又一个 120B 排行榜冠军更有实际意义。

参考来源

• IT之家：英伟达发布 Nemotron 3.5 Super VL 与 24GB Bolt — 汇总模型架构、企业案例、推理优化和发布时间信息。
• Hugging Face：Nemotron 3.5 Super VL 120B-A12B NVFP4 — 英伟达官方模型卡，包含架构、许可证、部署要求及完整评测结果。
• Hugging Face：Nemotron 3.5 Bolt 74B-A9B 24GB — 英伟达官方边缘模型卡，介绍 2 位量化、Star Elastic 压缩和本地硬件配置。
• GitHub：NVIDIA NeMo AutoModel — 英伟达开放的模型训练与微调工具链，可查看 Nemotron 多模态训练配方。
• GitHub：llama.cpp — Bolt 74B 本地推理支持的主要开源运行时之一。