Qwen3-32B
通义千问 3 · 32B · Alibaba 阿里巴巴 · 发布 2025-04-29 · 已被替代 → Qwen3.8-27B
单卡 24GB 能跑的 Dense 全能型，混合思考可开关。
- 类型
- Dense
- 注意力
- GQA（64 Q 头 / 8 KV 头）
- 层数
- 64
- 隐藏维
- 5120
- 词表
- 151,936
Dense 模型；原生 32K，YaRN 至 128K。混合思考：/think 与 /no_think 软开关。
类型：Dense Transformer，32.8B 参数（含 embedding），31.2B 非 embedding。
- 64 层，隐藏维 5120，词表 151,936
- GQA：64 Query 头 / 8 KV 头，head_dim 128；QK-Norm
- 上下文：原生 32,768；YaRN factor 4 到 131,072
- Tied embeddings：否
参考：Qwen3 技术报告。
| 精度 | 权重大小 | 说明 |
|---|---|---|
| BF16 | 66 GB | 官方精度 |
| FP8 | 33 GB | |
| Q8 | 35 GB | |
| Q4 | 20 GB | GGUF Q4_K_M 或等效 |
- 消费级 24GB
- Q4_K_M 19.8 GB 可加载，留 ~4 GB 给 KV，约 8–16K 上下文
- 单卡 80GB
- BF16 65.6 GB 单卡可跑，KV 余量约 14 GB
- 8×80GB 节点
- 过剩；用于高并发服务
KV Cache：8 KV 头 × 128 × 2 × 64 层 × 2 B = 256 KiB/token。32K 上下文 ≈ 8 GB。 ≈ 256 KiB/token
⚠ 能加载 ≠ 能在满上下文 / 高并发下舒服跑。标「估」的数字来自 计算器 公式或社区量化文件大小。
| 精度 | 权重大小 | 参考显存 | 说明 |
|---|---|---|---|
| BF16 | 65.6 GB | 80GB 单卡 | 官方 safetensors |
| FP8 | ≈ 33 GB | 48GB | 官方 FP8 版 |
| Q8 | 34.8 GB | 48GB | GGUF Q8_0 |
| Q4 | 19.8 GB | 24GB | GGUF Q4_K_M |
KV Cache：256 KiB/token（BF16）。
参考配置：
- RTX 4090 24GB：Q4_K_M，上下文 8–16K，单并发
- A100/H100 80GB：BF16，32K 上下文，中等并发
- 8×80GB：高并发服务
| 配置 | 量化 | 占用 / 显存 | 解码 tok/s | 预填充 tok/s | 最大上下文 |
|---|---|---|---|---|---|
| 2× RTX 4060 Ti 16GB消费级 | Q6_K估 | 31 GB / 32 GB | 11 | 302 | 13K |
| RTX 3090 24GB消费级 | Q4_K_M | 23 GB / 24 GB | 29 | 487 | 12K |
| 2× RTX 4070 Ti Super 16GB消费级 | Q6_K估 | 31 GB / 32 GB | 26 | 604 | 13K |
| 2× RTX 5070 Ti 16GB消费级 | Q6_K估 | 31 GB / 32 GB | 35 | 1207 | 13K |
| 2× RTX 4080 Super 16GB消费级 | Q6_K估 | 31 GB / 32 GB | 29 | 713 | 13K |
| 2× RTX 5080 16GB消费级 | Q6_K估 | 31 GB / 32 GB | 37 | 1537 | 13K |
| RTX 4090 24GB消费级 | Q4_K_M | 23 GB / 24 GB | 31 | 1132 | 12K |
| RTX 5090 32GB消费级 | Q6_K估 | 29 GB / 32 GB | 41 | 1441 | 18K |
| L4 24GB工作站 | Q4_K_M | 23 GB / 24 GB | 9.2 | 412 | 12K |
| RTX A6000 48GB工作站 | FP8 | 35 GB / 48 GB | 15 | 528 | 110K |
| RTX 6000 Ada 48GB工作站 | FP8 | 35 GB / 48 GB | 18 | 624 | 110K |
| L40S 48GB工作站 | FP8 | 35 GB / 48 GB | 17 | 624 | 110K |
| RTX PRO 6000 Blackwell 96GB工作站 | BF16 | 69 GB / 96 GB | 17 | 1715 | 117K |
| A10 24GB数据中心 | Q4_K_M | 23 GB / 24 GB | 18 | 425 | 12K |
| A100 40GB数据中心 | FP8 | 35 GB / 40 GB | 30 | 2140 | 46K |
| A100 80GB数据中心 | BF16 | 69 GB / 80 GB | 20 | 2140 | 53K |
| H20 96GB数据中心 | BF16 | 69 GB / 96 GB | 38 | 508 | 117K |
| 昇腾 Ascend 910B 64GB数据中心 | FP8 | 35 GB / 64 GB | 31 | 1921 | 238K |
| H100 80GB PCIe数据中心 | BF16 | 69 GB / 80 GB | 19 | 5186 | 53K |
| H100 80GB SXM数据中心 | BF16 | 69 GB / 80 GB | 32 | 6784 | 53K |
| AMD MI300X 192GB数据中心 | BF16 | 69 GB / 192 GB | 51 | 8966 | 501K |
| H200 141GB数据中心 | BF16 | 69 GB / 141 GB | 46 | 6784 | 297K |
| B200 192GB数据中心 | BF16 | 69 GB / 192 GB | 77 | 15434 | 501K |
| Mac M4 Pro 64GB统一内存 | FP8 | 35 GB / 56 GB | 4.0 | 117 | 174K |
| DGX Spark 128GB统一内存 | BF16 | 69 GB / 120 GB | 2.0 | 425 | 213K |
| Mac M4 Max 128GB统一内存 | BF16 | 69 GB / 120 GB | 4.0 | 233 | 213K |
| Mac Studio M3 Ultra 256GB统一内存 | BF16 | 69 GB / 240 GB | 6.0 | 391 | 693K |
| Mac Studio M3 Ultra 512GB统一内存 | BF16 | 69 GB / 490 GB | 6.0 | 391 | 1.7M |
单流（batch=1）估算：解码 ≈ 显存带宽 × 效率 ÷ 每 token 读取字节（激活参数 × 量化位宽 + KV）；预填充 ≈ FP16 算力 × 0.45 ÷ (2 × 激活参数)。多卡按张量并行、带宽求和 × 0.55。实际受引擎、驱动、PCIe 影响，误差 ±30%。反向查：我的卡能跑谁 →
编程LiveCodeBench v5 ~65%（思考，官方）；日常代码可用。
推理GPQA Diamond 68.4%（思考，官方）。
数学AIME 2025 72.9%（思考，官方）。
AgentBFCL-v3 70.3%（官方）。
中文中文顶级的 32B 档。
开启思考后考试型推理接近 2025 年初的 o1 水平（AIME 2025 72.9%），关闭思考则退化为常规 32B 指令模型。Dense 结构让它在多轮对话与指令遵循上比 30B-A3B 更稳，但吞吐慢 3–4 倍。常见问题：思考模式对简单问题也会展开长链。
- 1.Q4 量化 19.8 GB，RTX 4090 / 3090 单卡可跑
- 2.同一权重 /think 与 /no_think 切换，无需两套模型
- 3.Apache-2.0，微调生态最完整的 30B 档之一
- 1.原生上下文 32K，128K 需 YaRN 且会略降短文本质量
- 2.24GB 卡上 Q4 只剩 ~4 GB 给 KV，长对话会 OOM
- 3.已被 2507 系列 MoE 小模型（30B-A3B）在多数榜上超过，但 Dense 仍更稳
| 基准 | 分数 | 来源 | 日期 | 证据 |
|---|---|---|---|---|
| LMArena Text Elo人类偏好 Elo | 1360 | LMArena Text (style control) | 2025-12-20 | 独立复测 |
| LiveCodeBench竞赛编程 | 65.7% | Qwen3 技术报告 | 2025-12-20 | 厂商公布 |
| GPQA Diamond研究生级科学问答 | 68.4% | Qwen3 技术报告 | 2025-12-20 | 厂商公布 |
| AIME 2025美国数学邀请赛 | 72.9% | Qwen3 技术报告 | 2025-12-20 | 厂商公布 |
更新 2025-12-20 · 排名供选型参考，基准会饱和、会泄漏、会过时。