开源权重可下已被替代可商用 · NVIDIA Open Model License
Nemotron-4 340B
Nemotron-4 · 340B · NVIDIA · 发布 2024-06-14 · 已被替代 → NVIDIA Nemotron 3 Ultra 550B-A55B
NVIDIA 为合成数据而生的 340B Dense，许可允许用输出训练。
参数
340B
DENSE
上下文
4K
价格 / 1M tok
自建
无官方 API
最低可跑
Mac Studio M3 Ultra
Q4_K_M · 203 GB · ≈2.0 tok/s
Arena Elo—
AA 综合指数—
代码—
GPQA 推理—
架构简图
- 类型
- Dense
- 注意力
- GQA（96 Q 头 / 8 KV 头）
- 层数
- 96
- 隐藏维
- 18432
- 词表
- 256,000
9T token；NeMo 格式发布（非 HF 原生）；4K 上下文；同发 Reward 模型。
完善中
| 精度 | 权重大小 | 说明 |
|---|---|---|
| BF16 | 680 GB估 | 官方精度 |
| FP8 | — | 暂无 |
| Q8 | 360 GB估 | |
| Q4 | 197 GB估 | GGUF Q4_K_M 或等效 |
- 消费级 24GB
- 不可行
- 单卡 80GB
- 不可行
- 8×80GB 节点
- BF16 680 GB 需 16×80GB；官方推荐 8×H200 或 FP8 8×H100
KV Cache：8×192×2×96×2 B = 576 KiB/token。 ≈ 576 KiB/token
⚠ 能加载 ≠ 能在满上下文 / 高并发下舒服跑。标「估」的数字来自 计算器 公式或社区量化文件大小。
完善中
硬件配置与预估吞吐
最低可跑（8K 上下文）
Mac Studio M3 Ultra 256GB
≈¥50,000 · 合计 ≈¥50,000 · 统一内存
量化
Q4_K_M
解码
2.0 tok/s
最大上下文
74K
推荐配置（≥Q8 · 32K 上下文 · ≥15 tok/s）
4 × H20 96GB
≈¥100,000 × 4 · 合计 ≈¥400,000 · 数据中心
量化
FP8
解码
25 tok/s
最大上下文
139K
| 配置 | 量化 | 占用 / 显存 | 解码 tok/s | 预填充 tok/s | 最大上下文 |
|---|---|---|---|---|---|
| 8× L40S 48GB工作站 | FP8估 | 352 GB / 384 GB | 11 | 482 | 122K |
| 4× RTX PRO 6000 Blackwell 96GB工作站 | FP8估 | 347 GB / 384 GB | 12 | 662 | 139K |
| 8× A100 40GB数据中心 | Q6_K估 | 286 GB / 320 GB | 25 | 1652 | 68K |
| 4× A100 80GB数据中心 | Q6_K估 | 281 GB / 320 GB | 16 | 826 | 77K |
| 4× H20 96GB数据中心 | FP8估 | 347 GB / 384 GB | 26 | 196 | 139K |
| 4× 昇腾 Ascend 910B 64GB数据中心 | Q5_K_M估 | 244 GB / 256 GB | 15 | 741 | 30K |
| 4× H100 80GB PCIe数据中心 | Q6_K估 | 281 GB / 320 GB | 16 | 2001 | 77K |
| 4× H100 80GB SXM数据中心 | Q6_K估 | 281 GB / 320 GB | 27 | 2618 | 77K |
| 2× AMD MI300X 192GB数据中心 | FP8估 | 345 GB / 384 GB | 17 | 1730 | 148K |
| 2× H200 141GB数据中心 | Q6_K估 | 279 GB / 282 GB | 19 | 1309 | 14K |
| 2× B200 192GB数据中心 | FP8估 | 345 GB / 384 GB | 26 | 2978 | 148K |
| 2× DGX Spark 128GB统一内存 | Q4_K_M | 204 GB / 240 GB | 1.4 | 82 | 72K |
| Mac Studio M3 Ultra 256GB统一内存 | Q4_K_M | 203 GB / 240 GB | 2.0 | 38 | 74K |
| Mac Studio M3 Ultra 512GB统一内存 | FP8估 | 343 GB / 490 GB | 1.2 | 38 | 529K |
单流（batch=1）估算：解码 ≈ 显存带宽 × 效率 ÷ 每 token 读取字节（激活参数 × 量化位宽 + KV）；预填充 ≈ FP16 算力 × 0.45 ÷ (2 × 激活参数)。多卡按张量并行、带宽求和 × 0.55。实际受引擎、驱动、PCIe 影响，误差 ±30%。反向查：我的卡能跑谁 →
可用维度不足 3 个，不绘制雷达图
数学GSM8K 92.3%（官方）。
知识MMLU 78.7%（官方）。
中文弱。
逻辑能力
非推理模型一线：MMLU 78.7%、GSM8K 92.3%（官方 Instruct）。
亮点
- 1.Open Model License 明确允许用其输出训练商业模型
- 2.配套 Reward 模型，RewardBench 当年第一
- 3.98% 对齐数据为合成，展示合成数据流水线
坑
- 1.上下文仅 4K
- 2.NeMo 格式，HF 生态支持弱
- 3.340B Dense 部署成本极高，实用价值被 Llama 3.1 405B 覆盖
适合：合成数据生成 · 奖励模型研究
不适合：长文本 · 日常部署
暂无带来源的分数。
更新 2026-08-28 · 排名供选型参考，基准会饱和、会泄漏、会过时。