开源权重可下已被替代可商用 · MIT
DeepSeek-V3-0324
DeepSeek-V3（0324） · DeepSeek 深度求索 · 发布 2025-03-24 · 已被替代 → DeepSeek-V3.1
V3 的大幅增强版，非推理模型中首次逼近 Claude 3.7。
参数
671B 总 / 37B 激活
MOE
上下文
128K
输出 8K
价格 / 1M tok
$0.27 / $1.10
DeepSeek 官方 AP · 2026-08-28
最低可跑
Mac Studio M3 Ultra
Q5_K_M · 465 GB · ≈16 tok/s
Arena Elo—
AA 综合指数—
真实仓库修 bug45.4
2025-03-24
GPQA 推理68.4
2025-03-24
架构简图
- 类型
- MoE
- 注意力
- MLA（kv_lora_rank 512 + rope 64）
- 层数
- 61
- 专家
- 256 · 激活 8 + 共享
- 隐藏维
- 7168
- 词表
- 129,280
结构同 V3；后训练吸收 R1 的 RL 方法；128K。
完善中
| 精度 | 权重大小 | 说明 |
|---|---|---|
| BF16 | 1342 GB | 官方精度 |
| FP8 | 671 GB | |
| Q8 | 711 GB | |
| Q4 | 404 GB | GGUF Q4_K_M 或等效 |
- 消费级 24GB
- 不可行
- 单卡 80GB
- 不可行（单卡）
- 8×80GB 节点
- 官方 FP8 671 GB 权重 8×H100 可服务（需 FP8 引擎）；BF16 需 16×80GB；Q4 404 GB 8×80GB 可跑
KV Cache：MLA 压缩 KV：(512+64)×61×2 B ≈ 68.6 KiB/token；128K 上下文仅 8.6 GB。 ≈ 68.6 KiB/token
⚠ 能加载 ≠ 能在满上下文 / 高并发下舒服跑。标「估」的数字来自 计算器 公式或社区量化文件大小。
完善中
硬件配置与预估吞吐
最低可跑（8K 上下文）
Mac Studio M3 Ultra 512GB
≈¥75,000 · 合计 ≈¥75,000 · 统一内存
量化
Q5_K_M
解码
16 tok/s
最大上下文
385K
推荐配置（≥Q8 · 32K 上下文 · ≥15 tok/s）
8 × RTX PRO 6000 Blackwell 96GB
≈¥70,000 × 8 · 合计 ≈¥560,000 · 工作站
量化
FP8
解码
207 tok/s
最大上下文
2.5M
| 配置 | 量化 | 占用 / 显存 | 解码 tok/s | 预填充 tok/s | 最大上下文 |
|---|---|---|---|---|---|
| 8× RTX PRO 6000 Blackwell 96GB工作站 | FP8 | 681 GB / 768 GB | 211 | 12162 | 2.5M |
| 8× A100 80GB数据中心 | Q6_K估 | 547 GB / 640 GB | 297 | 15178 | 1.4M |
| 8× H20 96GB数据中心 | FP8 | 681 GB / 768 GB | 472 | 3600 | 2.5M |
| 8× 昇腾 Ascend 910B 64GB数据中心 | Q5_K_M估 | 473 GB / 512 GB | 270 | 13622 | 588K |
| 8× H100 80GB PCIe数据中心 | Q6_K估 | 547 GB / 640 GB | 292 | 36778 | 1.4M |
| 8× H100 80GB SXM数据中心 | Q6_K估 | 547 GB / 640 GB | 488 | 48114 | 1.4M |
| 4× AMD MI300X 192GB数据中心 | FP8 | 676 GB / 768 GB | 313 | 31792 | 2.7M |
| 4× H200 141GB数据中心 | Q6_K估 | 542 GB / 564 GB | 350 | 24057 | 334K |
| 4× B200 192GB数据中心 | FP8 | 676 GB / 768 GB | 472 | 54730 | 2.7M |
| Mac Studio M3 Ultra 512GB统一内存 | Q5_K_M估 | 465 GB / 490 GB | 16 | 347 | 385K |
单流（batch=1）估算：解码 ≈ 显存带宽 × 效率 ÷ 每 token 读取字节（激活参数 × 量化位宽 + KV）；预填充 ≈ FP16 算力 × 0.45 ÷ (2 × 激活参数)。多卡按张量并行、带宽求和 × 0.55。实际受引擎、驱动、PCIe 影响，误差 ±30%。反向查：我的卡能跑谁 →
编程LiveCodeBench 49.2%（官方）。
推理GPQA Diamond 68.4%（官方）。
数学AIME 2024 59.4%（官方）。
Agent函数调用较 V3 明显改善。
中文中文顶级。
逻辑能力
非推理模型顶级：GPQA 68.4%、AIME 2024 59.4%、LiveCodeBench 49.2%（官方）。吸收了 R1 的 RL 技巧，单次前向的推理能力大幅提升，工具调用可用。
亮点
- 1.GPQA 59.1 → 68.4、LiveCodeBench 39.2 → 49.2（官方）
- 2.前端代码与函数调用明显改善
- 3.MIT 许可，权重与 V3 结构相同可直接替换
坑
- 1.仍无推理模式
- 2.671B 部署门槛不变
- 3.被 V3.1（思考 + 非思考合一）取代
适合：通用与代码 · API 低成本调用
不适合：单机本地部署 · 多模态
| 基准 | 分数 | 来源 | 日期 | 证据 |
|---|---|---|---|---|
| SWE-bench Verified真实仓库修 bug | 45.4% | DeepSeek-V3-0324 / V3.1 模型卡对照列 | 2025-03-24 | 厂商公布 |
| LiveCodeBench竞赛编程 | 49.2% | DeepSeek-V3-0324 / V3.1 模型卡对照列 | 2025-03-24 | 厂商公布 |
| GPQA Diamond研究生级科学问答 | 68.4% | DeepSeek-V3-0324 / V3.1 模型卡对照列 | 2025-03-24 | 厂商公布 |
| Terminal-Bench终端 agent | 13.3% | DeepSeek-V3-0324 / V3.1 模型卡对照列 | 2025-03-24 | 厂商公布 |
更新 2026-08-28 · 排名供选型参考，基准会饱和、会泄漏、会过时。