开源权重可下推理模型·可关单卡可跑可商用 · OpenMDW License Agreement, version 1.1

Nemotron 3.5 Lightning 30B-A3B

Name: Nemotron 3.5 Lightning 30B-A3B
Author: NVIDIA

NVIDIA Nemotron 3.5 Lightning · 30B A3B · NVIDIA NVIDIA（美国） · 发布 2026-08-11 · 当前代

从 Nemotron 3 Ultra 蒸出来的 3.6B 激活执行层模型，接 Nemotron 3 Nano 的班，1M 上下文。

参数

31.6B 总 / 3.6B 激活

HYBRID

上下文

价格 / 1M tok

自建

无官方 API

最低可跑

2× RTX 3060

Q4_K_M · 21 GB · ≈190 tok/s

Arena Elo—

AA 综合指数—

真实仓库修 bug51.56

2026-10-15

GPQA 推理75.44

2026-10-15

Hugging Face ↗官方 ↗

架构简图

类型: Hybrid（线性 + 全注意力）
注意力: 交错 Mamba-2 + MoE 层，夹少量注意力层的混合 MoE
层数: 未披露
专家: 未披露
隐藏维: 未披露
词表: 未披露

官方模型卡把规格写成「30B（3B 激活）」的整数口径；按官方 BF16 仓库的 safetensors 元数据实测为 31,577,937,344 参数（31.6B），Artificial Analysis 与 the-decoder 的发布日读数同为 31.6B 总参 / 3.6B 激活，本站取后者。架构沿用 Nemotron 3 Nano 的 Mamba-Transformer 混合 MoE，网络标识为 Nemotron-3-Lightning + Multi-Token Prediction（MTP）。预训练 20T+ token、用 NVFP4 配方跑；之后单独做一段 MTP 续训，再 SFT，最后用 GRPO 在数学 / 代码 / 科学 / 指令遵循 / 多步工具调用 / 多轮对话 / 结构化输出七类环境做多环境 RL。官方同时说明它是从 Nemotron 3 Ultra 蒸馏而来，并针对 OpenClaw、Hermes Agent 这类 agent harness 做过训练。预训练数据截止 2025-09，后训练数据截止 2026-05。权重、训练数据与训练配方同步公开。

完善中

精度	权重大小	说明
BF16	66 GB	官方精度
FP8	—	暂无
Q8	—	暂无
Q4	—	暂无

消费级 24GB: 可行：官方 NVFP4 权重实测 21.6GB，支持硬件列表含 DGX Spark（GB10）与 GeForce RTX 5090；Ampere 卡走 W4A16 计算路径
单卡 80GB: BF16 可单卡 H100 80GB 跑，但官方注明单卡是显存瓶颈、验证上下文只到 256K
8×80GB 节点: 8×H100（TP8 + EP）才是官方验证满 1M 上下文的 BF16 配置；NVFP4 单卡即可开满 1M

KV Cache：体积取官方两个仓库 safetensors 文件实测合计（BF16 65.8GB / NVFP4 21.6GB），非估算。官方另给 DFlash 与 DSpark 两种投机解码草稿头，社区 GGUF 在 ggml-org/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF

⚠ 能加载 ≠ 能在满上下文 / 高并发下舒服跑。标「估」的数字来自计算器公式或社区量化文件大小。

完善中

硬件配置与预估吞吐

最低可跑（8K 上下文）

2 × RTX 3060 12GB

≈¥2,000 × 2 · 合计 ≈¥4,000 · 消费级

量化

Q4_K_M

解码

190 tok/s

最大上下文

未建模

推荐配置（≥Q8 · 32K 上下文 · ≥15 tok/s）

Mac M4 Pro 64GB

≈¥25,000 · 合计 ≈¥25,000 · 统一内存

量化

FP8

解码

38 tok/s

最大上下文

未建模

配置	量化	占用 / 显存	解码 tok/s	预填充 tok/s	最大上下文
2× RTX 3060 12GB消费级	Q4_K_M估	21 GB / 24 GB	190	3125	未建模
2× RTX 4060 Ti 16GB消费级	Q6_K估	28 GB / 32 GB	110	2750	未建模
RTX 3090 24GB消费级	Q5_K_M估	23 GB / 24 GB	245	4438	未建模
2× RTX 4070 Ti Super 16GB消费级	Q6_K估	28 GB / 32 GB	257	5500	未建模
2× RTX 5070 Ti 16GB消费级	Q6_K估	28 GB / 32 GB	342	11000	未建模
2× RTX 4080 Super 16GB消费级	Q6_K估	28 GB / 32 GB	281	6500	未建模
2× RTX 5080 16GB消费级	Q6_K估	28 GB / 32 GB	367	14000	未建模
RTX 4090 24GB消费级	Q5_K_M估	23 GB / 24 GB	264	10313	未建模
RTX 5090 32GB消费级	Q6_K估	26 GB / 32 GB	404	13125	未建模
L4 24GB工作站	Q5_K_M估	23 GB / 24 GB	79	3750	未建模
RTX A6000 48GB工作站	FP8估	33 GB / 48 GB	139	4813	未建模
RTX 6000 Ada 48GB工作站	FP8估	33 GB / 48 GB	173	5688	未建模
L40S 48GB工作站	FP8估	33 GB / 48 GB	156	5688	未建模
RTX PRO 6000 Blackwell 96GB工作站	BF16	67 GB / 96 GB	162	15625	未建模
A10 24GB数据中心	Q5_K_M估	23 GB / 24 GB	157	3875	未建模
A100 40GB数据中心	FP8估	33 GB / 40 GB	281	19500	未建模
A100 80GB数据中心	BF16	67 GB / 80 GB	184	19500	未建模
H20 96GB数据中心	BF16	67 GB / 96 GB	361	4625	未建模
昇腾 Ascend 910B 64GB数据中心	FP8估	33 GB / 64 GB	289	17500	未建模
H100 80GB PCIe数据中心	BF16	67 GB / 80 GB	181	47250	未建模
H100 80GB SXM数据中心	BF16	67 GB / 80 GB	302	61813	未建模
AMD MI300X 192GB数据中心	BF16	67 GB / 192 GB	478	81688	未建模
H200 141GB数据中心	BF16	67 GB / 141 GB	433	61813	未建模
B200 192GB数据中心	BF16	67 GB / 192 GB	722	140625	未建模
Mac M4 Pro 64GB统一内存	FP8估	33 GB / 56 GB	38	1063	未建模
DGX Spark 128GB统一内存	BF16	67 GB / 120 GB	19	3875	未建模
Mac M4 Max 128GB统一内存	BF16	67 GB / 120 GB	38	2125	未建模
Mac Studio M3 Ultra 256GB统一内存	BF16	67 GB / 240 GB	57	3563	未建模
Mac Studio M3 Ultra 512GB统一内存	BF16	67 GB / 490 GB	57	3563	未建模

单流（batch=1）估算：解码 ≈ 显存带宽 × 效率 ÷ 每 token 读取字节（激活参数 × 量化位宽 + KV）；预填充 ≈ FP16 算力 × 0.45 ÷ (2 × 激活参数)。多卡按张量并行、带宽求和 × 0.55。实际受引擎、驱动、PCIe 影响，误差 ±30%。反向查：我的卡能跑谁 →

用计算器按你的上下文与并发估算 →

编程SWE-bench Verified 51.56、SWE-bench Multilingual 39.33、Terminal-Bench 2.1 24.58（官方模型卡；NVFP4 版同口径为 52.80 / 36.47 / 23.46）。

推理GPQA Diamond（无工具）75.44、HLE（纯文本无工具）11.72、SciCode 32.60（官方模型卡）。

知识MMLU Pro 81.94、AA-Omniscience 17.50（官方模型卡，NVIDIA 用 NeMo Gym / NeMo Evaluator 统一 harness 自测）。

指令遵循IFBench（loose）71.88（官方模型卡）。

AgentPinchBench 85.37、BrowseComp 36.97、τ³-bench（Banking）9.28、GDPval-AA-V2 Elo 832（官方模型卡）。本站 tau2 列为 τ²-bench，与官方给的 τ³-bench 不同口径，未并入。

中文官方语言列表为英（含编程语言）、西、法、德、意、日，不含中文；无中文专项评测分数。

逻辑能力

这台机器的设计目标写得很直白：不当最聪明的那个，当「一直在跑」的那个。官方把它放在「前沿模型做规划编排、小模型做高频执行」这套分层里，自己只负责下半截，连配套的路由库（NeMo Switchyard）都一起发了。分数分布完全符合这个定位 —— 在 NVIDIA 自己那张统一 harness 的表上，它对上一代 Nemotron 3 Nano 的提升几乎全在 agent 与编码项（Terminal-Bench 2.1 从 8.29 到 24.58 是三倍，SWE-bench Verified 从 34.08 到 51.56，BrowseComp 从 13.74 到 36.97，AA-LCR 从 32.75 到 52.00），而知识项只从 78.46 挪到 81.94（MMLU Pro）。换句话说，蒸馏 Nemotron 3 Ultra 加 agent harness 上的 RL，买到的是「会连续调工具、能跑完长任务」，不是「懂得更多」。代价也标在同一张表上：同级的 Qwen3.6 35B-A3B 在 14 项里赢 11 项，差距最大的恰恰是 SWE-bench Verified（70.12 对 51.56）与 Terminal-Bench 2.1（44.38 对 24.58）这两项 agent 能力 —— 所以「执行层最强」这个说法只在「同 3B 激活量 + 同速度档」的约束下成立，放开约束就不成立。真正难被替代的是另外三件事：3.6B 激活带来的速度（官方称约 4 倍吞吐）、NVFP4 版 21.6GB 真能进 24GB 卡、以及连训练数据和配方一起开放让你能把它后训成自己工具链的专用执行器。合理用法就是官方说的那个：拿它当子 agent 与工具调度器，难的判断往上路由给前沿模型。本站入榜的是官方表里与站内列同口径的四项：SWE-bench Verified、GPQA Diamond（无工具）、HLE（纯文本无工具）、Terminal-Bench 2.1。

亮点

1.开放程度是同级里最彻底的一档：OpenMDW-1.1 许可、官方明写「ready for commercial use」，权重、训练数据集（nemotron-pre-training-datasets / nemotron-post-training-v3）与训练配方（NeMo Gym 里的可复现评测脚本）全部公开
2.官方定位就是「agent 的执行层」：从 Nemotron 3 Ultra 蒸馏而来，后训练专门针对 OpenClaw、Hermes Agent 这类 agent harness 与多轮工作流；相对上一代 Nemotron 3 Nano 的提升主要落在 agent 项上（Terminal-Bench 2.1 24.58 对 8.29、SWE-bench Verified 51.56 对 34.08、BrowseComp 36.97 对 13.74，官方同 harness 对比）
3.NVFP4 那份权重实测 21.6GB，是真能装进 24GB 的 30B 级 MoE：官方支持硬件列表含 DGX Spark（GB10）与 GeForce RTX 5090，Hopper 与 Ampere 走 W4A16 计算路径，官方模型卡直接给出 GGUF 的 Local AI 路径
4.三种投机解码一起放出（MTP、DFlash、DSpark），按部署场景分：DSpark 给 DGX Spark 与低并发数据中心，DFlash 给长上下文；AWS SageMaker JumpStart 上架公告引 NVIDIA 数据称约 4 倍吞吐（约 410 tokens/s）、任务完成快 30%

坑

1.知识与推理明显落后同级：按 NVIDIA 自己那张统一 harness 的对比表，Qwen3.6 35B-A3B 在 14 项里赢 11 项 —— MMLU Pro 85.63 对 81.94、GPQA Diamond 83.40 对 75.44、HLE 19.56 对 11.72、SWE-bench Verified 70.12 对 51.56、Terminal-Bench 2.1 44.38 对 24.58。它赢的是 IFBench 与速度，不是智能
2.1M 上下文有部署前提：官方硬件矩阵里，BF16 单卡 H100 80GB 只验证到 256K（官方注明受显存限制），要满 1M 得上 8×H100 TP8+EP 或 GB200；NVFP4 版才是单卡能开满 1M 的那份
3.全表分数都是 NVIDIA 自己跑的：官方在表下明写用 NeMo Gym / NeMo Evaluator 统一 harness、数值「可能与各厂商自报口径不同」，对比组（Qwen3.6、Gemma 4、Nemotron 3 Nano / Super、GPT-OSS 20B）的分数也是 NVIDIA 代跑，无第三方复测这张表
4.BF16 那份不是给生产推理用的：官方把它定位成「做后训练、领域适配、自制量化版的起点」，要部署直接用 NVFP4；BF16 的 vLLM 启动命令还得带一串 Mamba 专用参数（--mamba-backend flashinfer、--mamba-ssm-cache-dtype float16、随机取整及其 philox 轮数），少一个就容易踩精度坑
5.无官方按 token 定价：托管只有 build.nvidia.com 的 NIM 与各云厂商 / 推理平台（DeepInfra、Fireworks、Nebius、Crusoe、SageMaker JumpStart 等），实际单价随渠道变，本站不记第三方渠道价
6.纯文本，且官方语言列表为英（含编程语言）、西、法、德、意、日，不含中文，也没有中文专项评测分数
7.3.5 代的阶梯已在 2026-10-15 补齐（Super VL 120B-A12B 与 Bolt 74B-A9B 24GB 同日发布，Bolt E4B 4GB 排期 10-23），它在其中是「1M 上下文、纯文本、高吞吐」的那一档 —— 不是最聪明的那档：同族 Bolt 74B-A9B 在 13 项官方同 harness 对照里几乎全面领先（Terminal-Bench 2.1 50.98 对 23.46、BrowseComp 66.75 对 36.81、GPQA 86.43 对 75.57、HLE 25.30 对 10.47），代价是上下文只有 256K

适合：多模型 agent 架构里的执行层 / 子 agent（高频、范围明确的步骤） · 本地与端侧常驻 agent（DGX Spark、RTX 5090、单卡 H100，走 NVFP4 或 GGUF） · 需要把模型后训成自有工具与流程专用执行器的场景（权重、数据、配方全开） · 长上下文检索与多文档聚合（1M 上下文，AA-LCR 52.00）

不适合：需要最强知识与推理的任务（GPQA 75.44、HLE 11.72、MMLU Pro 81.94 均落后同级 Qwen3.6 35B-A3B） · 仓库级编码 agent 主力（SWE-bench Verified 51.56、Terminal-Bench 2.1 24.58） · 中文任务（官方语言列表不含中文，无中文评测） · 图像 / 音频输入（纯文本模型） · 想要官方固定单价的采购（无官方按 token 定价，只能走 NIM 或第三方托管）

基准	分数	来源	日期	证据
SWE-bench Verified真实仓库修 bug	51.56%	Nemotron 3.5 Lightning 官方模型卡评测表（BF16 列，NeMo Gym / NeMo Evaluator 统一 harness）	2026-10-15	厂商公布
GPQA Diamond研究生级科学问答	75.44%	Nemotron 3.5 Lightning 官方模型卡评测表（BF16 列，NeMo Gym / NeMo Evaluator 统一 harness）	2026-10-15	厂商公布
Humanity's Last Exam人类最后考试	11.72%	Nemotron 3.5 Lightning 官方模型卡评测表（BF16 列，NeMo Gym / NeMo Evaluator 统一 harness）	2026-10-15	厂商公布
Terminal-Bench终端 agent	24.58%	Nemotron 3.5 Lightning 官方模型卡评测表（BF16 列，NeMo Gym / NeMo Evaluator 统一 harness）	2026-10-15	厂商公布

更新 2026-10-16 · 排名供选型参考，基准会饱和、会泄漏、会过时。