Llama 3.1 405B
Llama 3.1 · 405B · Meta · 发布 2024-07-23 · 已被替代 → Llama 4 Maverick
首个正面对标 GPT-4o 的开放权重旗舰，Dense 405B。
- 类型
- Dense
- 注意力
- GQA（128 Q 头 / 8 KV 头）
- 层数
- 126
- 隐藏维
- 16384
- 词表
- 128,256
史上最大开放 Dense 模型；15.6T token；上下文 128K；官方另发 FP8 版。
类型：Dense Transformer，405.9B 参数。
- 126 层，隐藏维 16,384，FFN 53,248，词表 128,256
- GQA：128 Query 头 / 8 KV 头，head_dim 128
- RoPE θ=500,000，llama3 型 RoPE scaling（8K 原生 → 128K）
- 预训练 15.6T token，训练 FLOPs 3.8×10²⁵，16K H100
参考：《The Llama 3 Herd of Models》。
| 精度 | 权重大小 | 说明 |
|---|---|---|
| BF16 | 812 GB估 | 官方精度 |
| FP8 | 406 GB估 | |
| Q8 | 430 GB估 | |
| Q4 | 243 GB估 | GGUF Q4_K_M 或等效 |
- 消费级 24GB
- 不可行
- 单卡 80GB
- 不可行（单卡）
- 8×80GB 节点
- FP8 官方版 8×H100 可服务（405 GB 权重 + KV）；BF16 需 16×80GB
KV Cache：8×128×2×126×2 B = 504 KiB/token；128K 上下文约 63 GB。 ≈ 504 KiB/token
⚠ 能加载 ≠ 能在满上下文 / 高并发下舒服跑。标「估」的数字来自 计算器 公式或社区量化文件大小。
| 精度 | 权重大小 | 参考硬件 | 说明 |
|---|---|---|---|
| BF16 | 812 GB | 16×80GB | 官方 safetensors |
| FP8 | 406 GB | 8×H100 | 官方 FP8 版（动态量化） |
| Q4 | ≈ 243 GB（估） | 4×80GB 起 | GGUF 需拆分，社区 Q4_K_M 约 243 GB |
KV Cache：504 KiB/token（BF16）。
参考配置：
- 8×H100 80GB：FP8 权重 406 GB，剩余 ~230 GB 给 KV，可服务 128K 少量并发
- 单卡任何消费级：不可行
| 配置 | 量化 | 占用 / 显存 | 解码 tok/s | 预填充 tok/s | 最大上下文 |
|---|---|---|---|---|---|
| 8× L40S 48GB工作站 | Q6_K估 | 338 GB / 384 GB | 12 | 404 | 101K |
| 4× RTX PRO 6000 Blackwell 96GB工作站 | Q6_K估 | 333 GB / 384 GB | 12 | 554 | 111K |
| 8× A100 40GB数据中心 | Q5_K_M估 | 294 GB / 320 GB | 24 | 1384 | 62K |
| 4× A100 80GB数据中心 | Q5_K_M估 | 289 GB / 320 GB | 16 | 692 | 71K |
| 4× H20 96GB数据中心 | Q6_K估 | 333 GB / 384 GB | 27 | 164 | 111K |
| 4× 昇腾 Ascend 910B 64GB数据中心 | Q4_K_M | 252 GB / 256 GB | 15 | 621 | 17K |
| 4× H100 80GB PCIe数据中心 | Q5_K_M估 | 289 GB / 320 GB | 15 | 1676 | 71K |
| 4× H100 80GB SXM数据中心 | Q5_K_M估 | 289 GB / 320 GB | 26 | 2193 | 71K |
| 2× AMD MI300X 192GB数据中心 | Q6_K估 | 331 GB / 384 GB | 18 | 1449 | 116K |
| 2× H200 141GB数据中心 | Q4_K_M | 249 GB / 282 GB | 22 | 1096 | 74K |
| 2× B200 192GB数据中心 | Q6_K估 | 331 GB / 384 GB | 27 | 2494 | 116K |
| Mac Studio M3 Ultra 512GB统一内存 | FP8 | 409 GB / 490 GB | 1.0 | 32 | 337K |
单流（batch=1）估算：解码 ≈ 显存带宽 × 效率 ÷ 每 token 读取字节（激活参数 × 量化位宽 + KV）；预填充 ≈ FP16 算力 × 0.45 ÷ (2 × 激活参数)。多卡按张量并行、带宽求和 × 0.55。实际受引擎、驱动、PCIe 影响，误差 ±30%。反向查：我的卡能跑谁 →
编程HumanEval 89.0%（官方）；无 SWE-bench 官方数。
推理GPQA 50.7%（0-shot，官方模型卡）。
数学MATH 73.8%（官方）；AIME 未报告。
知识MMLU 87.3%（官方）。
AgentBFCL 88.5%（官方），原生 tool-calling 模板。
中文官方 8 语言不含中文，中文可用但不强。
非推理模型的天花板级别：GPQA 50.7%、MATH 73.8%（官方）。逻辑链条稳定、指令遵循强，但遇到需要长思考的题目会直接给出错误答案而非停下来推演。今天 30B 级推理模型在数学 / 代码上已能超过它。
- 1.2024 年 7 月开源首次在多项基准追平 GPT-4o / Claude 3.5 Sonnet
- 2.许可明确允许用其输出做蒸馏，成为大量小模型的教师
- 3.128K 上下文 + 原生工具调用格式，8 种语言官方支持
- 1.Dense 405B 推理成本极高，FP8 也要 8×H100，性价比已被 MoE 碾压
- 2.无推理模式，数学 / 代码在 2025 年后明显落后
- 3.月活 7 亿以上企业需单独授权
| 基准 | 分数 | 来源 | 日期 | 证据 |
|---|---|---|---|---|
| GPQA Diamond研究生级科学问答 | 49% | Llama 3.3 模型卡（GPQA Diamond CoT 对照列） | 2024-07-23 | 厂商公布 |
更新 2026-08-28 · 排名供选型参考，基准会饱和、会泄漏、会过时。