开源权重可下推理模型·可关单卡可跑可商用 · NVIDIA Open Model License
Nemotron 3 Nano 30B-A3B
NVIDIA Nemotron 3 Nano · 30B A3B · NVIDIA · 发布 2025-12-15 · 当前代
NVIDIA 开放数据与配方的混合 Mamba MoE，1M 上下文。
参数
31.6B 总 / 3.2B 激活
HYBRID
上下文
1M
价格 / 1M tok
$0.05 / $0.20
第三方托管常见价（OpenR · 2026-08-28
最低可跑
2× RTX 3060
Q4_K_M · 21 GB · ≈213 tok/s
Arena Elo—
AA 综合指数15
2026-08-28
竞赛编程74.1
2026-08-28
GPQA 推理75.7
2026-08-28
架构简图
- 类型
- Hybrid（线性 + 全注意力）
- 注意力
- Mamba-2 + 稀疏注意力 混合 MoE
- 层数
- 未披露
- 专家
- 未披露
- 隐藏维
- 未披露
- 词表
- 未披露
混合 Mamba-Transformer MoE；训练数据、配方开放。KV 未建模（Mamba 状态为主）。
完善中
| 精度 | 权重大小 | 说明 |
|---|---|---|
| BF16 | 63 GB估 | 官方精度 |
| FP8 | 33 GB估 | |
| Q8 | 34 GB估 | |
| Q4 | 19 GB估 | GGUF Q4_K_M 或等效 |
- 消费级 24GB
- Q4 约 19 GB（估）
- 单卡 80GB
- BF16 舒适
- 8×80GB 节点
- 未评估
⚠ 能加载 ≠ 能在满上下文 / 高并发下舒服跑。标「估」的数字来自 计算器 公式或社区量化文件大小。
完善中
硬件配置与预估吞吐
最低可跑（8K 上下文）
2 × RTX 3060 12GB
≈¥2,000 × 2 · 合计 ≈¥4,000 · 消费级
量化
Q4_K_M
解码
213 tok/s
最大上下文
未建模
推荐配置（≥Q8 · 32K 上下文 · ≥15 tok/s）
Mac M4 Pro 64GB
≈¥25,000 · 合计 ≈¥25,000 · 统一内存
量化
FP8
解码
43 tok/s
最大上下文
未建模
| 配置 | 量化 | 占用 / 显存 | 解码 tok/s | 预填充 tok/s | 最大上下文 |
|---|---|---|---|---|---|
| 2× RTX 3060 12GB消费级 | Q4_K_M | 21 GB / 24 GB | 213 | 3516 | 未建模 |
| 2× RTX 4060 Ti 16GB消费级 | Q6_K估 | 28 GB / 32 GB | 124 | 3094 | 未建模 |
| RTX 3090 24GB消费级 | Q5_K_M估 | 23 GB / 24 GB | 276 | 4992 | 未建模 |
| 2× RTX 4070 Ti Super 16GB消费级 | Q6_K估 | 28 GB / 32 GB | 289 | 6188 | 未建模 |
| 2× RTX 5070 Ti 16GB消费级 | Q6_K估 | 28 GB / 32 GB | 385 | 12375 | 未建模 |
| 2× RTX 4080 Super 16GB消费级 | Q6_K估 | 28 GB / 32 GB | 316 | 7313 | 未建模 |
| 2× RTX 5080 16GB消费级 | Q6_K估 | 28 GB / 32 GB | 413 | 15750 | 未建模 |
| RTX 4090 24GB消费级 | Q5_K_M估 | 23 GB / 24 GB | 297 | 11602 | 未建模 |
| RTX 5090 32GB消费级 | Q6_K估 | 26 GB / 32 GB | 455 | 14766 | 未建模 |
| L4 24GB工作站 | Q5_K_M估 | 23 GB / 24 GB | 88 | 4219 | 未建模 |
| RTX A6000 48GB工作站 | FP8 | 34 GB / 48 GB | 156 | 5414 | 未建模 |
| RTX 6000 Ada 48GB工作站 | FP8 | 34 GB / 48 GB | 195 | 6398 | 未建模 |
| L40S 48GB工作站 | FP8 | 34 GB / 48 GB | 176 | 6398 | 未建模 |
| RTX PRO 6000 Blackwell 96GB工作站 | BF16 | 64 GB / 96 GB | 182 | 17578 | 未建模 |
| A10 24GB数据中心 | Q5_K_M估 | 23 GB / 24 GB | 177 | 4359 | 未建模 |
| A100 40GB数据中心 | FP8 | 34 GB / 40 GB | 316 | 21938 | 未建模 |
| A100 80GB数据中心 | BF16 | 64 GB / 80 GB | 207 | 21938 | 未建模 |
| H20 96GB数据中心 | BF16 | 64 GB / 96 GB | 406 | 5203 | 未建模 |
| 昇腾 Ascend 910B 64GB数据中心 | FP8 | 34 GB / 64 GB | 325 | 19688 | 未建模 |
| H100 80GB PCIe数据中心 | BF16 | 64 GB / 80 GB | 203 | 53156 | 未建模 |
| H100 80GB SXM数据中心 | BF16 | 64 GB / 80 GB | 340 | 69539 | 未建模 |
| AMD MI300X 192GB数据中心 | BF16 | 64 GB / 192 GB | 538 | 91898 | 未建模 |
| H200 141GB数据中心 | BF16 | 64 GB / 141 GB | 488 | 69539 | 未建模 |
| B200 192GB数据中心 | BF16 | 64 GB / 192 GB | 813 | 158203 | 未建模 |
| Mac M4 Pro 64GB统一内存 | FP8 | 34 GB / 56 GB | 43 | 1195 | 未建模 |
| DGX Spark 128GB统一内存 | BF16 | 64 GB / 120 GB | 21 | 4359 | 未建模 |
| Mac M4 Max 128GB统一内存 | BF16 | 64 GB / 120 GB | 43 | 2391 | 未建模 |
| Mac Studio M3 Ultra 256GB统一内存 | BF16 | 64 GB / 240 GB | 64 | 4008 | 未建模 |
| Mac Studio M3 Ultra 512GB统一内存 | BF16 | 64 GB / 490 GB | 64 | 4008 | 未建模 |
单流（batch=1）估算：解码 ≈ 显存带宽 × 效率 ÷ 每 token 读取字节（激活参数 × 量化位宽 + KV）；预填充 ≈ FP16 算力 × 0.45 ÷ (2 × 激活参数)。多卡按张量并行、带宽求和 × 0.55。实际受引擎、驱动、PCIe 影响，误差 ±30%。反向查：我的卡能跑谁 →
编程LiveCodeBench v6 68.3、SWE-bench（OpenHands）38.8、Terminal-Bench hard 8.5（官方模型卡）。
推理GPQA 73.0（无工具）/ 75.0（工具）、HLE 10.6 / 15.5（工具）、MMLU-Pro 78.3（官方模型卡）。
数学AIME 2025 89.1（无工具）/ 99.2（工具）、MiniF2F pass@1 50.0（官方模型卡）。
指令遵循IFBench 71.5、Arena-Hard-V2 均值 67.7（官方模型卡）。
Agenttau2-bench 均值 49.0、BFCL v4 53.8（官方模型卡）。
中文官方语言列表为英德西法意日，不含中文；MMLU-ProX 59.5。
逻辑能力
考试型推理相对体量良好，思考可开关；工程型待验证。
亮点
- 1.训练数据 / 配方开放
- 2.Mamba 混合，长上下文吞吐高
- 3.3.2B 激活
坑
- 1.新架构，llama.cpp 支持滞后
- 2.新模型，独立评测少
- 3.NVIDIA 许可非 Apache（但允许商用）
适合：长上下文低延迟推理 · 架构研究
不适合：成熟生态依赖
| 基准 | 分数 | 来源 | 日期 | 证据 |
|---|---|---|---|---|
| LiveCodeBench竞赛编程 | 68.3% | NVIDIA 模型卡 | 2025-12-20 | 厂商公布 |
| GPQA Diamond研究生级科学问答 | 73.7% | NVIDIA 模型卡 | 2025-12-20 | 厂商公布 |
| Humanity's Last Exam人类最后考试 | 10.6% | NVIDIA 模型卡 | 2025-12-20 | 厂商公布 |
| AIME 2025美国数学邀请赛 | 89.1% | NVIDIA 模型卡 | 2025-12-20 | 厂商公布 |
| τ²-bench工具调用 agent | 49% | NVIDIA 模型卡 | 2025-12-20 | 厂商公布 |
| Artificial Analysis Intelligence IndexAA 综合指数 | 15 | Artificial Analysis (v4.1.1) | 2026-08-28 | 独立复测 |
| GPQA Diamond研究生级科学问答 | 75.7% | Artificial Analysis (v4.1.1) | 2026-08-28 | 独立复测 |
| Humanity's Last Exam人类最后考试 | 11.4% | Artificial Analysis (v4.1.1) | 2026-08-28 | 独立复测 |
| AIME 2025美国数学邀请赛 | 91% | Artificial Analysis (v4.1.1) | 2026-08-28 | 独立复测 |
| LiveCodeBench竞赛编程 | 74.1% | Artificial Analysis (v4.1.1) | 2026-08-28 | 独立复测 |
| SciCode科学计算编程 | 29.6% | Artificial Analysis (v4.1.1) | 2026-08-28 | 独立复测 |
| Terminal-Bench Hard终端 agent（AA 困难子集） | 13.6% | Artificial Analysis (v4.1.1) | 2026-08-28 | 独立复测 |
| τ²-Bench Telecom工具调用 agent（电信域） | 40.9% | Artificial Analysis (v4.1.1) | 2026-08-28 | 独立复测 |
| IFBench指令遵循 | 71.1% | Artificial Analysis (v4.1.1) | 2026-08-28 | 独立复测 |
| Terminal-Bench终端 agent | 6.7% | Artificial Analysis · Terminal-Bench 2.1 | 2026-08-28 | 独立复测 |
| τ³-Bench Banking工具调用 agent（银行域） | 6% | Artificial Analysis · τ³-Bench Banking | 2026-08-28 | 独立复测 |
| LMArena Chinese Elo中文人类偏好 Elo | 1347 | LMArena Text · Chinese (style control) | 2026-08-28 | 独立复测 |
更新 2026-08-28 · 排名供选型参考，基准会饱和、会泄漏、会过时。