开源权重可下已被替代可商用 · DeepSeek License（代码 MIT）
DeepSeek-V2
DeepSeek-V2 · DeepSeek 深度求索 · 发布 2024-05-06 · 已被替代 → DeepSeek-V3
MLA + DeepSeekMoE 的首秀，引爆中国 API 价格战。
参数
236B 总 / 21B 激活
MOE
上下文
128K
价格 / 1M tok
自建
无官方 API
最低可跑
Mac Studio M3 Ultra
FP8 · 237 GB · ≈19 tok/s
Arena Elo—
AA 综合指数—
竞赛编程32.5
2024-05-06
GPQA 推理—
架构简图
- 类型
- MoE
- 注意力
- MLA（kv_lora_rank 512 + rope 64）
- 层数
- 60
- 专家
- 160 · 激活 6 + 共享
- 隐藏维
- 5120
- 词表
- 102,400
MLA 与 DeepSeekMoE 首次亮相：160 路由专家 top-6 + 2 共享专家；上下文 128K。
完善中
| 精度 | 权重大小 | 说明 |
|---|---|---|
| BF16 | 472 GB估 | 官方精度 |
| FP8 | — | 暂无 |
| Q8 | 250 GB估 | |
| Q4 | 137 GB估 | GGUF Q4_K_M 或等效 |
- 消费级 24GB
- 不可行
- 单卡 80GB
- 不可行（单卡）；Q4 约 137 GB 需 2×80GB
- 8×80GB 节点
- BF16 472 GB，8×80GB 可服务
KV Cache：MLA 压缩 KV：(512+64)×60×2 B ≈ 67.5 KiB/token，比同规模 GQA 小 10 倍以上。 ≈ 67.5 KiB/token
⚠ 能加载 ≠ 能在满上下文 / 高并发下舒服跑。标「估」的数字来自 计算器 公式或社区量化文件大小。
完善中
硬件配置与预估吞吐
最低可跑（8K 上下文）
Mac Studio M3 Ultra 256GB
≈¥50,000 · 合计 ≈¥50,000 · 统一内存
量化
FP8
解码
19 tok/s
最大上下文
85K
推荐配置（≥Q8 · 32K 上下文 · ≥15 tok/s）
Mac Studio M3 Ultra 256GB
≈¥50,000 · 合计 ≈¥50,000 · 统一内存
量化
FP8
解码
19 tok/s
最大上下文
85K
| 配置 | 量化 | 占用 / 显存 | 解码 tok/s | 预填充 tok/s | 最大上下文 |
|---|---|---|---|---|---|
| 8× L4 24GB工作站 | Q5_K_M估 | 173 GB / 192 GB | 88 | 5143 | 297K |
| 4× RTX A6000 48GB工作站 | Q5_K_M估 | 168 GB / 192 GB | 112 | 3300 | 370K |
| 4× RTX 6000 Ada 48GB工作站 | Q5_K_M估 | 168 GB / 192 GB | 140 | 3900 | 370K |
| 4× L40S 48GB工作站 | Q5_K_M估 | 168 GB / 192 GB | 126 | 3900 | 370K |
| 2× RTX PRO 6000 Blackwell 96GB工作站 | Q6_K估 | 192 GB / 192 GB | 114 | 5357 | 12K |
| 8× A10 24GB数据中心 | Q5_K_M估 | 173 GB / 192 GB | 175 | 5314 | 297K |
| 4× A100 40GB数据中心 | Q4_K_M | 142 GB / 160 GB | 268 | 13371 | 278K |
| 2× A100 80GB数据中心 | Q4_K_M | 140 GB / 160 GB | 176 | 6686 | 314K |
| 2× H20 96GB数据中心 | Q6_K估 | 192 GB / 192 GB | 253 | 1586 | 12K |
| 4× 昇腾 Ascend 910B 64GB数据中心 | FP8估 | 241 GB / 256 GB | 165 | 12000 | 461K |
| 2× H100 80GB PCIe数据中心 | Q4_K_M | 140 GB / 160 GB | 173 | 16200 | 314K |
| 2× H100 80GB SXM数据中心 | Q4_K_M | 140 GB / 160 GB | 289 | 21193 | 314K |
| AMD MI300X 192GB数据中心 | Q6_K估 | 191 GB / 192 GB | 198 | 14004 | 30K |
| H200 141GB数据中心 | Q4_K_M | 139 GB / 141 GB | 245 | 10596 | 44K |
| B200 192GB数据中心 | Q6_K估 | 191 GB / 192 GB | 299 | 24107 | 30K |
| 2× DGX Spark 128GB统一内存 | FP8估 | 239 GB / 240 GB | 13 | 1329 | 49K |
| Mac Studio M3 Ultra 256GB统一内存 | FP8估 | 237 GB / 240 GB | 19 | 611 | 85K |
| Mac Studio M3 Ultra 512GB统一内存 | BF16 | 474 GB / 490 GB | 9.6 | 611 | 255K |
单流（batch=1）估算：解码 ≈ 显存带宽 × 效率 ÷ 每 token 读取字节（激活参数 × 量化位宽 + KV）；预填充 ≈ FP16 算力 × 0.45 ÷ (2 × 激活参数)。多卡按张量并行、带宽求和 × 0.55。实际受引擎、驱动、PCIe 影响，误差 ±30%。反向查：我的卡能跑谁 →
可用维度不足 3 个，不绘制雷达图
编程LiveCodeBench(0901-0401) 32.5%（Chat，官方）。
知识MMLU 78.5%（官方基座）。
中文C-Eval 81.7%（官方）。
逻辑能力
2024 年中开源一线：MMLU 78.5%、GSM8K 79.2%（基座，官方）。无推理链训练。
亮点
- 1.首创 MLA，KV 缓存减少 93%
- 2.236B 总参仅 21B 激活，训练成本比 67B Dense 低 42.5%
- 3.API 定价 1 元/百万 token 掀起价格战
坑
- 1.自定义架构，早期推理框架支持慢
- 2.非 Apache/MIT 权重许可（含使用限制条款）
- 3.被 V2.5 / V3 快速取代
适合：MLA / MoE 架构研究
不适合：新项目
| 基准 | 分数 | 来源 | 日期 | 证据 |
|---|---|---|---|---|
| LiveCodeBench竞赛编程 | 32.5% | DeepSeek-V2 模型卡（LiveCodeBench 0901-0401） | 2024-05-06 | 厂商公布 |
更新 2026-08-28 · 排名供选型参考，基准会饱和、会泄漏、会过时。