DeepSeek-R1
DeepSeek-R1（0120） · DeepSeek 深度求索 · 发布 2025-01-20 · 已被替代 → DeepSeek-R1-0528
开源推理模型的引爆点，纯 RL 训出 o1 级能力。
- 类型
- MoE
- 注意力
- MLA（kv_lora_rank 512 + rope 64）
- 层数
- 61
- 专家
- 256 · 激活 8 + 共享
- 隐藏维
- 7168
- 词表
- 129,280
基于 V3-Base，GRPO 纯强化学习 + 冷启动 SFT 两阶段；始终输出 <think>；128K。
类型：MoE Transformer，与 DeepSeek-V3 完全相同的结构，671B 总参 / 37B 激活。
- 61 层，隐藏维 7168，256 路由专家 top-8 + 1 共享专家
- MLA 注意力，KV ≈ 68.6 KiB/token
- 输出格式：
<think>…</think>后接答案，思考链不可关闭 - 上下文 128K，官方建议最大输出 32K（0528 版 64K）
参考：《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL》。
| 精度 | 权重大小 | 说明 |
|---|---|---|
| BF16 | 1342 GB | 官方精度 |
| FP8 | 671 GB | |
| Q8 | 711 GB | |
| Q4 | 404 GB | GGUF Q4_K_M 或等效 |
- 消费级 24GB
- 不可行
- 单卡 80GB
- 不可行（单卡）
- 8×80GB 节点
- 官方 FP8 671 GB 权重 8×H100 可服务（需 FP8 引擎）；BF16 需 16×80GB；Q4 404 GB 8×80GB 可跑
KV Cache：MLA 压缩 KV：(512+64)×61×2 B ≈ 68.6 KiB/token；128K 上下文仅 8.6 GB。 ≈ 68.6 KiB/token
⚠ 能加载 ≠ 能在满上下文 / 高并发下舒服跑。标「估」的数字来自 计算器 公式或社区量化文件大小。
| 精度 | 权重大小 | 参考硬件 | 说明 |
|---|---|---|---|
| FP8 | ≈ 671 GB | 8×H100/H200 | 官方原生 FP8 |
| BF16 | 1342 GB | 16×80GB | 需转换 |
| Q4 | 404 GB | 8×80GB | GGUF Q4_K_M（unsloth） |
| 1.58-bit | ≈ 131 GB | 2×80GB / 大内存 | unsloth 动态量化 |
KV Cache：≈ 68.6 KiB/token；推理链常达 10–30K token，KV 预算按此规划。
参考配置：
- 8×H200：FP8 高并发
- 本地：只能靠蒸馏版（R1-Distill-Qwen-32B 单卡 24GB Q4）
| 配置 | 量化 | 占用 / 显存 | 解码 tok/s | 预填充 tok/s | 最大上下文 |
|---|---|---|---|---|---|
| 8× RTX PRO 6000 Blackwell 96GB工作站 | FP8 | 681 GB / 768 GB | 211 | 12162 | 2.5M |
| 8× A100 80GB数据中心 | Q6_K估 | 547 GB / 640 GB | 297 | 15178 | 1.4M |
| 8× H20 96GB数据中心 | FP8 | 681 GB / 768 GB | 472 | 3600 | 2.5M |
| 8× 昇腾 Ascend 910B 64GB数据中心 | Q5_K_M估 | 473 GB / 512 GB | 270 | 13622 | 588K |
| 8× H100 80GB PCIe数据中心 | Q6_K估 | 547 GB / 640 GB | 292 | 36778 | 1.4M |
| 8× H100 80GB SXM数据中心 | Q6_K估 | 547 GB / 640 GB | 488 | 48114 | 1.4M |
| 4× AMD MI300X 192GB数据中心 | FP8 | 676 GB / 768 GB | 313 | 31792 | 2.7M |
| 4× H200 141GB数据中心 | Q6_K估 | 542 GB / 564 GB | 350 | 24057 | 334K |
| 4× B200 192GB数据中心 | FP8 | 676 GB / 768 GB | 472 | 54730 | 2.7M |
| Mac Studio M3 Ultra 512GB统一内存 | Q5_K_M估 | 465 GB / 490 GB | 16 | 347 | 385K |
单流（batch=1）估算：解码 ≈ 显存带宽 × 效率 ÷ 每 token 读取字节（激活参数 × 量化位宽 + KV）；预填充 ≈ FP16 算力 × 0.45 ÷ (2 × 激活参数)。多卡按张量并行、带宽求和 × 0.55。实际受引擎、驱动、PCIe 影响，误差 ±30%。反向查：我的卡能跑谁 →
编程LiveCodeBench 65.9%、Codeforces 2029 分、SWE-bench Verified 49.2%（官方）。
推理GPQA Diamond 71.5%（官方）。
数学AIME 2024 79.8%、MATH-500 97.3%（官方）。
知识MMLU-Pro 84.0%（官方）。
Agent弱：工具调用不在训练目标内。
中文C-Eval 91.8%（官方）。
考试型推理 2025 年初开源第一：AIME 2024 79.8%、MATH-500 97.3%、GPQA 71.5%、LiveCodeBench 65.9%、SWE-bench Verified 49.2%（官方）。逻辑严密、善于自我纠错，但不擅长工具调用与结构化输出，且过度思考简单问题。
- 1.首个开源 o1 级推理模型，AIME 2024 79.8%、GPQA 71.5%（官方）
- 2.MIT 许可，思维链完整公开
- 3.同时发布 6 个蒸馏小模型（1.5B–70B）
- 1.工具调用与 JSON 输出弱，agent 场景不稳
- 2.思考链极长且偶有语言混杂，0528 版才修复
- 3.671B 本地门槛高，API 高峰期不稳定
| 基准 | 分数 | 来源 | 日期 | 证据 |
|---|---|---|---|---|
| SWE-bench Verified真实仓库修 bug | 49.2% | DeepSeek-R1 模型卡（LiveCodeBench Pass@1-COT） | 2025-01-20 | 厂商公布 |
| LiveCodeBench竞赛编程 | 65.9% | DeepSeek-R1 模型卡（LiveCodeBench Pass@1-COT） | 2025-01-20 | 厂商公布 |
| GPQA Diamond研究生级科学问答 | 71.5% | DeepSeek-R1 模型卡（LiveCodeBench Pass@1-COT） | 2025-01-20 | 厂商公布 |
更新 2026-08-28 · 排名供选型参考，基准会饱和、会泄漏、会过时。