DeepSeek-V3
DeepSeek-V3（1226） · DeepSeek 深度求索 · 发布 2024-12-26 · 已被替代 → DeepSeek-V3-0324
560 万美元训出的开源 GPT-4o 级，MoE 时代的分水岭。
- 类型
- MoE
- 注意力
- MLA（kv_lora_rank 512 + rope 64）
- 层数
- 61
- 专家
- 256 · 激活 8 + 共享
- 隐藏维
- 7168
- 词表
- 129,280
14.8T token 预训练；FP8 混合精度；MTP 多 token 预测；256 路由专家 top-8 + 1 共享专家；128K。
类型：MoE Transformer，671B 总参 / 37B 激活。
- 61 层（前 3 层 Dense FFN），隐藏维 7168，词表 129,280
- DeepSeekMoE：256 路由专家（FFN 2048）top-8 + 1 共享专家，无辅助损失负载均衡
- MLA：128 头，kv_lora_rank 512，qk_nope 128 + qk_rope 64，v_head 128
- MTP（多 token 预测）模块 1 层，推理可用作投机解码
- 上下文 128K（YaRN 两阶段扩展）
参考：DeepSeek-V3 技术报告（arXiv 2412.19437）。
| 精度 | 权重大小 | 说明 |
|---|---|---|
| BF16 | 1342 GB | 官方精度 |
| FP8 | 671 GB | |
| Q8 | 711 GB | |
| Q4 | 404 GB | GGUF Q4_K_M 或等效 |
- 消费级 24GB
- 不可行
- 单卡 80GB
- 不可行（单卡）
- 8×80GB 节点
- 官方 FP8 671 GB 权重 8×H100 可服务（需 FP8 引擎）；BF16 需 16×80GB；Q4 404 GB 8×80GB 可跑
KV Cache：MLA 压缩 KV：(512+64)×61×2 B ≈ 68.6 KiB/token；128K 上下文仅 8.6 GB。 ≈ 68.6 KiB/token
⚠ 能加载 ≠ 能在满上下文 / 高并发下舒服跑。标「估」的数字来自 计算器 公式或社区量化文件大小。
| 精度 | 权重大小 | 参考硬件 | 说明 |
|---|---|---|---|
| FP8 | ≈ 671 GB | 8×H100/H200 | 官方原生 FP8 权重 |
| BF16 | 1342 GB | 16×80GB | 需转换 |
| Q4 | 404 GB | 8×80GB / 大内存 CPU | GGUF Q4_K_M（unsloth） |
| 1.58-bit | ≈ 131 GB | 2×80GB | unsloth 动态量化，质量有损 |
KV Cache：MLA ≈ 68.6 KiB/token，128K 仅 8.6 GB，是同规模 GQA 模型的 1/10。
参考配置：
- 8×H200 141GB：FP8 + 长上下文高并发（官方推荐）
- 8×H100 80GB：FP8 勉强（640 GB 显存需专家卸载或 Q8）
- Mac Studio 512GB：Q4 可跑，约 5–10 tok/s
| 配置 | 量化 | 占用 / 显存 | 解码 tok/s | 预填充 tok/s | 最大上下文 |
|---|---|---|---|---|---|
| 8× RTX PRO 6000 Blackwell 96GB工作站 | FP8 | 681 GB / 768 GB | 211 | 12162 | 2.5M |
| 8× A100 80GB数据中心 | Q6_K估 | 547 GB / 640 GB | 297 | 15178 | 1.4M |
| 8× H20 96GB数据中心 | FP8 | 681 GB / 768 GB | 472 | 3600 | 2.5M |
| 8× 昇腾 Ascend 910B 64GB数据中心 | Q5_K_M估 | 473 GB / 512 GB | 270 | 13622 | 588K |
| 8× H100 80GB PCIe数据中心 | Q6_K估 | 547 GB / 640 GB | 292 | 36778 | 1.4M |
| 8× H100 80GB SXM数据中心 | Q6_K估 | 547 GB / 640 GB | 488 | 48114 | 1.4M |
| 4× AMD MI300X 192GB数据中心 | FP8 | 676 GB / 768 GB | 313 | 31792 | 2.7M |
| 4× H200 141GB数据中心 | Q6_K估 | 542 GB / 564 GB | 350 | 24057 | 334K |
| 4× B200 192GB数据中心 | FP8 | 676 GB / 768 GB | 472 | 54730 | 2.7M |
| Mac Studio M3 Ultra 512GB统一内存 | Q5_K_M估 | 465 GB / 490 GB | 16 | 347 | 385K |
单流（batch=1）估算：解码 ≈ 显存带宽 × 效率 ÷ 每 token 读取字节（激活参数 × 量化位宽 + KV）；预填充 ≈ FP16 算力 × 0.45 ÷ (2 × 激活参数)。多卡按张量并行、带宽求和 × 0.55。实际受引擎、驱动、PCIe 影响，误差 ±30%。反向查：我的卡能跑谁 →
编程LiveCodeBench 40.5%（Pass@1-COT）、Codeforces 51.6 百分位（官方）。
推理GPQA Diamond 59.1%（官方）。
数学MATH-500 90.2%、AIME 2024 39.2%（官方）。
知识MMLU-Pro 75.9%（官方）。
Agent工具调用可用但不稳（0324 改善）。
中文C-Eval 86.5%、中文 SimpleQA 64.8%（官方），中文顶级。
非推理模型顶级：MATH-500 90.2%、GPQA 59.1%、LiveCodeBench 40.5%、Codeforces 51.6 百分位（官方）。逻辑与代码表现在 2024 年末开源第一，但没有长思考能力，复杂题目依赖单次前向。
- 1.官方称训练成本仅 2.788M H800 GPU 小时，性能对标 GPT-4o / Claude 3.5
- 2.MLA + 无辅助损失负载均衡 + MTP + FP8 训练
- 3.MIT 许可（权重），API 价格极低
- 1.671B 总参，本地部署需 8×80GB 以上
- 2.无推理模式，Agent 与工具调用弱于后续 0324
- 3.早期版本在英文长对话中偶有中文夹杂
| 基准 | 分数 | 来源 | 日期 | 证据 |
|---|---|---|---|---|
| LiveCodeBench竞赛编程 | 40.5% | DeepSeek-V3 模型卡（LiveCodeBench Pass@1-COT） | 2024-12-26 | 厂商公布 |
| GPQA Diamond研究生级科学问答 | 59.1% | DeepSeek-V3 模型卡（LiveCodeBench Pass@1-COT） | 2024-12-26 | 厂商公布 |
更新 2026-08-28 · 排名供选型参考，基准会饱和、会泄漏、会过时。