Qwen3-30B-A3B-Thinking-2507
通义千问 3 · 30B 小 MoE 推理版 · Alibaba 阿里巴巴 · 发布 2025-07-30 · 已被替代 → Qwen3.8-27B
3B 激活的小 MoE，单卡跑出 32B 级推理，速度快 3 倍。
- 类型
- MoE
- 注意力
- GQA（32 Q 头 / 4 KV 头）
- 层数
- 48
- 专家
- 128 · 激活 8
- 隐藏维
- 2048
- 词表
- 151,936
每 token 只算 3.3B，CPU / Apple Silicon 也能有可用速度。原生 262K 上下文。
类型：MoE，30.5B 总 / 3.3B 激活。
- 48 层，隐藏维 2048，词表 151,936
- 专家：128 个，每 token 激活 8 个，无共享专家
- GQA：32 Q 头 / 4 KV 头，head_dim 128
- 上下文：原生 262,144
参考：Qwen3 技术报告。
| 精度 | 权重大小 | 说明 |
|---|---|---|
| BF16 | 61 GB | 官方精度 |
| FP8 | 31 GB | |
| Q8 | 33 GB | |
| Q4 | 19 GB | GGUF Q4_K_M 或等效 |
- 消费级 24GB
- Q4_K_M 18.6 GB，剩 ~5 GB 给 KV ≈ 40K 上下文；生成速度 100+ tok/s
- 单卡 80GB
- BF16 61 GB 可跑，KV 余量 ~15 GB
- 8×80GB 节点
- 过剩
KV Cache：4 KV 头 × 128 × 2 × 48 层 × 2 B = 96 KiB/token。 ≈ 96 KiB/token
⚠ 能加载 ≠ 能在满上下文 / 高并发下舒服跑。标「估」的数字来自 计算器 公式或社区量化文件大小。
| 精度 | 权重大小 | 参考显存 | 说明 |
|---|---|---|---|
| BF16 | 61 GB | 80GB | 官方 |
| FP8 | ≈ 31 GB | 48GB | 官方 FP8 版 |
| Q8 | 32.5 GB | 48GB | GGUF |
| Q4 | 18.6 GB | 24GB | GGUF Q4_K_M |
KV Cache：96 KiB/token，128K 上下文 ≈ 12 GB。
参考配置：
- 24GB：Q4，~40K 上下文
- 80GB：BF16，128K 上下文可行
- Mac 64GB 统一内存：Q8 舒适
| 配置 | 量化 | 占用 / 显存 | 解码 tok/s | 预填充 tok/s | 最大上下文 |
|---|---|---|---|---|---|
| 2× RTX 3060 12GB消费级 | Q4_K_M | 22 GB / 24 GB | 146 | 3409 | 32K |
| 2× RTX 4060 Ti 16GB消费级 | Q6_K估 | 28 GB / 32 GB | 92 | 3000 | 55K |
| RTX 3090 24GB消费级 | Q5_K_M估 | 23 GB / 24 GB | 197 | 4841 | 19K |
| 2× RTX 4070 Ti Super 16GB消费级 | Q6_K估 | 28 GB / 32 GB | 215 | 6000 | 55K |
| 2× RTX 5070 Ti 16GB消费级 | Q6_K估 | 28 GB / 32 GB | 286 | 12000 | 55K |
| 2× RTX 4080 Super 16GB消费级 | Q6_K估 | 28 GB / 32 GB | 235 | 7091 | 55K |
| 2× RTX 5080 16GB消费级 | Q6_K估 | 28 GB / 32 GB | 307 | 15273 | 55K |
| RTX 4090 24GB消费级 | Q5_K_M估 | 23 GB / 24 GB | 213 | 11250 | 19K |
| RTX 5090 32GB消费级 | Q6_K估 | 26 GB / 32 GB | 338 | 14318 | 68K |
| L4 24GB工作站 | Q5_K_M估 | 23 GB / 24 GB | 63 | 4091 | 19K |
| RTX A6000 48GB工作站 | FP8 | 33 GB / 48 GB | 135 | 5250 | 337K |
| RTX 6000 Ada 48GB工作站 | FP8 | 33 GB / 48 GB | 169 | 6205 | 337K |
| L40S 48GB工作站 | FP8 | 33 GB / 48 GB | 152 | 6205 | 337K |
| RTX PRO 6000 Blackwell 96GB工作站 | BF16 | 63 GB / 96 GB | 157 | 17045 | 361K |
| A10 24GB数据中心 | Q5_K_M估 | 23 GB / 24 GB | 127 | 4227 | 19K |
| A100 40GB数据中心 | FP8 | 33 GB / 40 GB | 273 | 21273 | 166K |
| A100 80GB数据中心 | BF16 | 63 GB / 80 GB | 179 | 21273 | 190K |
| H20 96GB数据中心 | BF16 | 63 GB / 96 GB | 351 | 5045 | 361K |
| 昇腾 Ascend 910B 64GB数据中心 | BF16 | 63 GB / 64 GB | 140 | 19091 | 19K |
| H100 80GB PCIe数据中心 | BF16 | 63 GB / 80 GB | 176 | 51545 | 190K |
| H100 80GB SXM数据中心 | BF16 | 63 GB / 80 GB | 294 | 67432 | 190K |
| AMD MI300X 192GB数据中心 | BF16 | 63 GB / 192 GB | 465 | 89114 | 1.4M |
| H200 141GB数据中心 | BF16 | 63 GB / 141 GB | 421 | 67432 | 841K |
| B200 192GB数据中心 | BF16 | 63 GB / 192 GB | 702 | 153409 | 1.4M |
| Mac M4 Pro 64GB统一内存 | FP8 | 33 GB / 56 GB | 37 | 1159 | 508K |
| DGX Spark 128GB统一内存 | BF16 | 63 GB / 120 GB | 18 | 4227 | 617K |
| Mac M4 Max 128GB统一内存 | BF16 | 63 GB / 120 GB | 37 | 2318 | 617K |
| Mac Studio M3 Ultra 256GB统一内存 | BF16 | 63 GB / 240 GB | 55 | 3886 | 1.9M |
| Mac Studio M3 Ultra 512GB统一内存 | BF16 | 63 GB / 490 GB | 55 | 3886 | 4.5M |
单流（batch=1）估算：解码 ≈ 显存带宽 × 效率 ÷ 每 token 读取字节（激活参数 × 量化位宽 + KV）；预填充 ≈ FP16 算力 × 0.45 ÷ (2 × 激活参数)。多卡按张量并行、带宽求和 × 0.55。实际受引擎、驱动、PCIe 影响，误差 ±30%。反向查：我的卡能跑谁 →
编程LiveCodeBench v6 66.0%（官方）。
推理GPQA Diamond 73.4%（官方）。
数学AIME 2025 85.0%（官方）。
AgentBFCL-v3 72.4%（官方）。
中文中文良好。
考试型推理相对其体量非常强，思考链长度控制好于 235B 版。工程型推理（多文件代码修改）明显弱，容易丢失约束。事实知识覆盖不足，幻觉高于 Dense 32B。适合「快、便宜、要有推理能力」的场景，不适合做知识库问答主力。
- 1.激活仅 3.3B，4090 上 100+ tok/s，Mac M 系列也可用
- 2.AIME 2025 85%，推理分超过 Dense 的 Qwen3-32B
- 3.原生 256K 上下文，KV 仅 96 KiB/token
- 1.30B 总参数仍要 18.6 GB（Q4）显存，不是「3B 模型」
- 2.小激活量导致知识广度与指令细节遵循弱于 Dense 32B
- 3.Thinking 版不可关闭思考，短问答成本高，用 Instruct-2507
| 基准 | 分数 | 来源 | 日期 | 证据 |
|---|---|---|---|---|
| LMArena Text Elo人类偏好 Elo | 1370 | LMArena Text (style control) | 2025-12-20 | 独立复测 |
| LiveCodeBench竞赛编程 | 66% | Qwen3-30B-A3B-Thinking-2507 模型卡 | 2025-12-20 | 厂商公布 |
| GPQA Diamond研究生级科学问答 | 73.4% | Qwen3-30B-A3B-Thinking-2507 模型卡 | 2025-12-20 | 厂商公布 |
| AIME 2025美国数学邀请赛 | 85% | Qwen3-30B-A3B-Thinking-2507 模型卡 | 2025-12-20 | 厂商公布 |
更新 2025-12-20 · 排名供选型参考，基准会饱和、会泄漏、会过时。