开源权重可下已被替代限制许可 · Llama 3.3 Community License
Llama 3.3 70B
Llama 3.3 · 70B · Meta · 发布 2024-12-06 · 已被替代 → Llama 4 Maverick
用 70B 达到 405B 水平，2024 年末最划算的开源通用模型。
参数
70.6B
DENSE
上下文
128K
价格 / 1M tok
$0.23 / $0.40
第三方托管常见价（DeepI · 2026-08-28
最低可跑
2× RTX 3090
Q4_K_M · 47 GB · ≈24 tok/s
Arena Elo—
AA 综合指数—
代码—
GPQA 推理50.5
2024-12-06
架构简图
- 类型
- Dense
- 注意力
- GQA（64 Q 头 / 8 KV 头）
- 层数
- 80
- 隐藏维
- 8192
- 词表
- 128,256
结构同 3.1 70B，仅后训练升级（在线 RL），接近 405B 表现。
完善中
| 精度 | 权重大小 | 说明 |
|---|---|---|
| BF16 | 141 GB | 官方精度 |
| FP8 | — | 暂无 |
| Q8 | 75 GB | |
| Q4 | 43 GB | GGUF Q4_K_M 或等效 |
- 消费级 24GB
- Q4_K_M 42.5 GB 需 2×24GB
- 单卡 80GB
- Q4 单卡 80GB 可跑 32K；BF16 2×80GB
- 8×80GB 节点
- BF16 高并发服务
KV Cache：320 KiB/token；32K 上下文约 10 GB。 ≈ 320 KiB/token
⚠ 能加载 ≠ 能在满上下文 / 高并发下舒服跑。标「估」的数字来自 计算器 公式或社区量化文件大小。
完善中
硬件配置与预估吞吐
最低可跑（8K 上下文）
2 × RTX 3090 24GB
二手 ≈¥5,000 × 2 · 合计 ≈¥10,000 · 消费级
量化
Q4_K_M
解码
24 tok/s
最大上下文
10K
推荐配置（≥Q8 · 32K 上下文 · ≥15 tok/s）
4 × RTX 3090 24GB
二手 ≈¥5,000 × 4 · 合计 ≈¥20,000 · 消费级
量化
FP8
解码
27 tok/s
最大上下文
132K
| 配置 | 量化 | 占用 / 显存 | 解码 tok/s | 预填充 tok/s | 最大上下文 |
|---|---|---|---|---|---|
| 2× RTX 3090 24GB消费级 | Q4_K_M | 47 GB / 48 GB | 24 | 453 | 10K |
| 2× RTX 4090 24GB消费级 | Q4_K_M | 47 GB / 48 GB | 25 | 1052 | 10K |
| 2× RTX 5090 32GB消费级 | Q6_K估 | 61 GB / 64 GB | 33 | 1339 | 16K |
| 2× L4 24GB工作站 | Q4_K_M | 47 GB / 48 GB | 7.6 | 382 | 10K |
| RTX A6000 48GB工作站 | Q4_K_M | 46 GB / 48 GB | 11 | 245 | 14K |
| RTX 6000 Ada 48GB工作站 | Q4_K_M | 46 GB / 48 GB | 14 | 290 | 14K |
| L40S 48GB工作站 | Q4_K_M | 46 GB / 48 GB | 13 | 290 | 14K |
| RTX PRO 6000 Blackwell 96GB工作站 | FP8估 | 73 GB / 96 GB | 16 | 797 | 155K |
| 2× A10 24GB数据中心 | Q4_K_M | 47 GB / 48 GB | 15 | 395 | 10K |
| 2× A100 40GB数据中心 | FP8估 | 74 GB / 80 GB | 24 | 1989 | 45K |
| A100 80GB数据中心 | FP8估 | 73 GB / 80 GB | 18 | 994 | 52K |
| H20 96GB数据中心 | FP8估 | 73 GB / 96 GB | 36 | 236 | 155K |
| 昇腾 Ascend 910B 64GB数据中心 | Q6_K估 | 60 GB / 64 GB | 18 | 892 | 20K |
| H100 80GB PCIe数据中心 | FP8估 | 73 GB / 80 GB | 18 | 2409 | 52K |
| H100 80GB SXM数据中心 | FP8估 | 73 GB / 80 GB | 30 | 3152 | 52K |
| AMD MI300X 192GB数据中心 | BF16 | 145 GB / 192 GB | 24 | 4165 | 159K |
| H200 141GB数据中心 | FP8估 | 73 GB / 141 GB | 43 | 3152 | 443K |
| B200 192GB数据中心 | BF16 | 145 GB / 192 GB | 36 | 7171 | 159K |
| Mac M4 Pro 64GB统一内存 | Q5_K_M估 | 52 GB / 56 GB | 2.7 | 54 | 19K |
| DGX Spark 128GB统一内存 | FP8估 | 73 GB / 120 GB | 1.9 | 198 | 308K |
| Mac M4 Max 128GB统一内存 | FP8估 | 73 GB / 120 GB | 3.8 | 108 | 308K |
| Mac Studio M3 Ultra 256GB统一内存 | BF16 | 145 GB / 240 GB | 2.8 | 182 | 312K |
| Mac Studio M3 Ultra 512GB统一内存 | BF16 | 145 GB / 490 GB | 2.8 | 182 | 1.1M |
单流（batch=1）估算：解码 ≈ 显存带宽 × 效率 ÷ 每 token 读取字节（激活参数 × 量化位宽 + KV）；预填充 ≈ FP16 算力 × 0.45 ÷ (2 × 激活参数)。多卡按张量并行、带宽求和 × 0.55。实际受引擎、驱动、PCIe 影响，误差 ±30%。反向查：我的卡能跑谁 →
可用维度不足 3 个，不绘制雷达图
编程HumanEval 88.4%（官方）。
推理GPQA Diamond 50.5%（CoT，官方模型卡）。
数学MATH 77.0%（官方）。
知识MMLU 86.0%（官方）。
AgentBFCL v2 77.3%（官方）。
逻辑能力
非推理模型中上：GPQA Diamond 50.5%、MATH 77.0%（官方）。指令遵循与对话稳定，但复杂数学与 agent 任务不及 2025 年推理模型。
亮点
- 1.官方称多数基准追平 3.1 405B，成本仅 1/6
- 2.128K 上下文，原生工具调用，8 语言
- 3.Q4 单张 80GB 卡即可服务
坑
- 1.无推理模式，2025 年后数学 / 代码榜被 DeepSeek / Qwen 拉开
- 2.中文不是官方语言，质量一般
- 3.Llama 许可对大企业与再分发有限制
适合：英文通用助手私有化 · 替代 405B 的低成本方案
不适合：竞赛数学 / 深度代码 · 中文优先场景
| 基准 | 分数 | 来源 | 日期 | 证据 |
|---|---|---|---|---|
| GPQA Diamond研究生级科学问答 | 50.5% | Llama 3.3 模型卡 | 2024-12-06 | 厂商公布 |
更新 2026-08-28 · 排名供选型参考，基准会饱和、会泄漏、会过时。