开源权重可下推理模型单卡可跑已被替代可商用 · Apache-2.0
QwQ-32B
通义千问 QwQ · 32B · Alibaba 阿里巴巴 · 发布 2025-03-05 · 已被替代 → Qwen3-32B
32B 追平 DeepSeek-R1 的推理模型，单卡可跑。
参数
32.5B
DENSE
上下文
128K
输出 32K
价格 / 1M tok
自建
无官方 API
最低可跑
RTX 3090
Q4_K_M · 23 GB · ≈29 tok/s
Arena Elo—
AA 综合指数—
竞赛编程63.4
2025-03-05
GPQA 推理—
架构简图
- 类型
- Dense
- 注意力
- GQA（40 Q 头 / 8 KV 头）
- 层数
- 64
- 隐藏维
- 5120
- 词表
- 152,064
基于 Qwen2.5-32B 用 RL 训练的推理模型；131K 上下文（YaRN）；始终输出 <think>。
完善中
| 精度 | 权重大小 | 说明 |
|---|---|---|
| BF16 | 65 GB | 官方精度 |
| FP8 | — | 暂无 |
| Q8 | 35 GB | |
| Q4 | 20 GB | GGUF Q4_K_M 或等效 |
- 消费级 24GB
- Q4_K_M 19.9 GB 可加载，但长思考易 OOM，建议 IQ4_XS + 16K
- 单卡 80GB
- BF16 单卡，32K 上下文
- 8×80GB 节点
- 高并发
KV Cache：256 KiB/token；思考链常达 10K+，KV 预留要大。 ≈ 256 KiB/token
⚠ 能加载 ≠ 能在满上下文 / 高并发下舒服跑。标「估」的数字来自 计算器 公式或社区量化文件大小。
完善中
硬件配置与预估吞吐
最低可跑（8K 上下文）
RTX 3090 24GB
二手 ≈¥5,000 · 合计 ≈¥5,000 · 消费级
量化
Q4_K_M
解码
29 tok/s
最大上下文
12K
推荐配置（≥Q8 · 32K 上下文 · ≥15 tok/s）
2 × RTX 3090 24GB
二手 ≈¥5,000 × 2 · 合计 ≈¥10,000 · 消费级
量化
FP8
解码
28 tok/s
最大上下文
105K
| 配置 | 量化 | 占用 / 显存 | 解码 tok/s | 预填充 tok/s | 最大上下文 |
|---|---|---|---|---|---|
| 2× RTX 4060 Ti 16GB消费级 | Q6_K估 | 30 GB / 32 GB | 11 | 305 | 14K |
| RTX 3090 24GB消费级 | Q4_K_M | 23 GB / 24 GB | 29 | 492 | 12K |
| 2× RTX 4070 Ti Super 16GB消费级 | Q6_K估 | 30 GB / 32 GB | 26 | 609 | 14K |
| 2× RTX 5070 Ti 16GB消费级 | Q6_K估 | 30 GB / 32 GB | 35 | 1218 | 14K |
| 2× RTX 4080 Super 16GB消费级 | Q6_K估 | 30 GB / 32 GB | 29 | 720 | 14K |
| 2× RTX 5080 16GB消费级 | Q6_K估 | 30 GB / 32 GB | 38 | 1551 | 14K |
| RTX 4090 24GB消费级 | Q4_K_M | 23 GB / 24 GB | 31 | 1142 | 12K |
| RTX 5090 32GB消费级 | Q6_K估 | 29 GB / 32 GB | 41 | 1454 | 19K |
| L4 24GB工作站 | Q4_K_M | 23 GB / 24 GB | 9.3 | 415 | 12K |
| RTX A6000 48GB工作站 | FP8估 | 35 GB / 48 GB | 15 | 533 | 114K |
| RTX 6000 Ada 48GB工作站 | FP8估 | 35 GB / 48 GB | 19 | 630 | 114K |
| L40S 48GB工作站 | FP8估 | 35 GB / 48 GB | 17 | 630 | 114K |
| RTX PRO 6000 Blackwell 96GB工作站 | BF16 | 68 GB / 96 GB | 17 | 1731 | 119K |
| A10 24GB数据中心 | Q4_K_M | 23 GB / 24 GB | 19 | 429 | 12K |
| A100 40GB数据中心 | FP8估 | 35 GB / 40 GB | 30 | 2160 | 50K |
| A100 80GB数据中心 | BF16 | 68 GB / 80 GB | 20 | 2160 | 55K |
| H20 96GB数据中心 | BF16 | 68 GB / 96 GB | 39 | 512 | 119K |
| 昇腾 Ascend 910B 64GB数据中心 | FP8估 | 35 GB / 64 GB | 31 | 1938 | 242K |
| H100 80GB PCIe数据中心 | BF16 | 68 GB / 80 GB | 19 | 5234 | 55K |
| H100 80GB SXM数据中心 | BF16 | 68 GB / 80 GB | 32 | 6847 | 55K |
| AMD MI300X 192GB数据中心 | BF16 | 68 GB / 192 GB | 51 | 9048 | 503K |
| H200 141GB数据中心 | BF16 | 68 GB / 141 GB | 46 | 6847 | 299K |
| B200 192GB数据中心 | BF16 | 68 GB / 192 GB | 77 | 15577 | 503K |
| Mac M4 Pro 64GB统一内存 | FP8估 | 35 GB / 56 GB | 4.1 | 118 | 178K |
| DGX Spark 128GB统一内存 | BF16 | 68 GB / 120 GB | 2.0 | 429 | 215K |
| Mac M4 Max 128GB统一内存 | BF16 | 68 GB / 120 GB | 4.1 | 235 | 215K |
| Mac Studio M3 Ultra 256GB统一内存 | BF16 | 68 GB / 240 GB | 6.1 | 395 | 695K |
| Mac Studio M3 Ultra 512GB统一内存 | BF16 | 68 GB / 490 GB | 6.1 | 395 | 1.7M |
单流（batch=1）估算：解码 ≈ 显存带宽 × 效率 ÷ 每 token 读取字节（激活参数 × 量化位宽 + KV）；预填充 ≈ FP16 算力 × 0.45 ÷ (2 × 激活参数)。多卡按张量并行、带宽求和 × 0.55。实际受引擎、驱动、PCIe 影响，误差 ±30%。反向查：我的卡能跑谁 →
可用维度不足 3 个，不绘制雷达图
编程LiveCodeBench 63.4%（官方）。
数学AIME 2024 79.5%（官方）。
AgentBFCL 66.4%（官方）。
中文中文推理好。
逻辑能力
考试型推理极强：AIME 2024 79.5%、LiveCodeBench 63.4%（官方）。数学与算法题可靠，但通用知识与写作弱于同尺寸 Qwen2.5，且常出现过度思考。
亮点
- 1.官方基准与 671B 的 R1 相当（AIME24 79.5%、LCB 63.4%）
- 2.Apache-2.0，24GB 卡 Q4 可跑
- 3.RL 阶段加入工具调用，agent 能力比蒸馏版好
坑
- 1.无法关闭思考，简单问题也输出长链
- 2.思考经常上万 token，吞吐与显存压力大
- 3.采样参数敏感（需 temp 0.6、top-p 0.95），否则死循环
适合：本地数学 / 算法求解 · 推理蒸馏数据生成
不适合：低延迟对话 · 知识问答 / 写作
| 基准 | 分数 | 来源 | 日期 | 证据 |
|---|---|---|---|---|
| LiveCodeBench竞赛编程 | 63.4% | QwQ-32B 博客（LiveCodeBench 24.08-25.02） | 2025-03-05 | 厂商公布 |
更新 2026-08-28 · 排名供选型参考，基准会饱和、会泄漏、会过时。