开源权重可下已被替代可商用 · Apache-2.0
Mixtral 8x22B
Mixtral · 8x22B · Mistral AI · 发布 2024-04-17 · 已被替代 → Mistral Large 3
Mistral 最后一款开源大 MoE，Apache-2.0 的 141B。
参数
141B 总 / 39B 激活
MOE
上下文
64K
价格 / 1M tok
自建
无官方 API
最低可跑
4× RTX 3090
Q4_K_M · 92 GB · ≈84 tok/s
Arena Elo—
AA 综合指数—
代码—
GPQA 推理—
架构简图
- 类型
- MoE
- 注意力
- GQA（48 Q 头 / 8 KV 头）
- 层数
- 56
- 专家
- 8 · 激活 2
- 隐藏维
- 6144
- 词表
- 32,768
64K 上下文；原生函数调用；数学与多语言强化。
完善中
| 精度 | 权重大小 | 说明 |
|---|---|---|
| BF16 | 282 GB | 官方精度 |
| FP8 | — | 暂无 |
| Q8 | 150 GB | |
| Q4 | 86 GB | GGUF Q4_K_M 或等效 |
- 消费级 24GB
- 不可行
- 单卡 80GB
- Q4_K_M 85.6 GB 略超单卡，需 2×80GB；BF16 4×80GB
- 8×80GB 节点
- BF16 高并发
KV Cache：224 KiB/token；64K 约 14 GB。 ≈ 224 KiB/token
⚠ 能加载 ≠ 能在满上下文 / 高并发下舒服跑。标「估」的数字来自 计算器 公式或社区量化文件大小。
完善中
硬件配置与预估吞吐
最低可跑（8K 上下文）
4 × RTX 3090 24GB
二手 ≈¥5,000 × 4 · 合计 ≈¥20,000 · 消费级
量化
Q4_K_M
解码
84 tok/s
最大上下文
26K
推荐配置（≥Q8 · 32K 上下文 · ≥15 tok/s）
8 × A10 24GB
云 ≈$0.6/h × 8 · 合计 ≈¥96,000 · 数据中心
量化
FP8
解码
62 tok/s
最大上下文
379K
| 配置 | 量化 | 占用 / 显存 | 解码 tok/s | 预填充 tok/s | 最大上下文 |
|---|---|---|---|---|---|
| 4× RTX 3090 24GB消费级 | Q4_K_M | 92 GB / 96 GB | 84 | 1638 | 26K |
| 4× RTX 4090 24GB消费级 | Q4_K_M | 92 GB / 96 GB | 91 | 3808 | 26K |
| 4× RTX 5090 32GB消费级 | Q6_K估 | 119 GB / 128 GB | 119 | 4846 | 48K |
| 4× L4 24GB工作站 | Q4_K_M | 92 GB / 96 GB | 27 | 1385 | 26K |
| 2× RTX A6000 48GB工作站 | Q4_K_M | 90 GB / 96 GB | 34 | 888 | 37K |
| 2× RTX 6000 Ada 48GB工作站 | Q4_K_M | 90 GB / 96 GB | 43 | 1050 | 37K |
| 2× L40S 48GB工作站 | Q4_K_M | 90 GB / 96 GB | 39 | 1050 | 37K |
| RTX PRO 6000 Blackwell 96GB工作站 | Q4_K_M | 89 GB / 96 GB | 48 | 1442 | 42K |
| 4× A10 24GB数据中心 | Q4_K_M | 92 GB / 96 GB | 54 | 1431 | 26K |
| 4× A100 40GB数据中心 | FP8估 | 147 GB / 160 GB | 86 | 7200 | 130K |
| 2× A100 80GB数据中心 | FP8估 | 144 GB / 160 GB | 56 | 3600 | 152K |
| H20 96GB数据中心 | Q4_K_M | 89 GB / 96 GB | 106 | 427 | 42K |
| 2× 昇腾 Ascend 910B 64GB数据中心 | Q6_K估 | 117 GB / 128 GB | 53 | 3231 | 59K |
| 2× H100 80GB PCIe数据中心 | FP8估 | 144 GB / 160 GB | 55 | 8723 | 152K |
| 2× H100 80GB SXM数据中心 | FP8估 | 144 GB / 160 GB | 92 | 11412 | 152K |
| AMD MI300X 192GB数据中心 | FP8估 | 143 GB / 192 GB | 86 | 7540 | 455K |
| H200 141GB数据中心 | Q6_K估 | 116 GB / 141 GB | 94 | 5706 | 123K |
| B200 192GB数据中心 | FP8估 | 143 GB / 192 GB | 130 | 12981 | 455K |
| DGX Spark 128GB统一内存 | Q6_K估 | 116 GB / 120 GB | 4.1 | 358 | 27K |
| Mac M4 Max 128GB统一内存 | Q6_K估 | 116 GB / 120 GB | 8.3 | 196 | 27K |
| Mac Studio M3 Ultra 256GB统一内存 | FP8估 | 143 GB / 240 GB | 10 | 329 | 894K |
| Mac Studio M3 Ultra 512GB统一内存 | BF16 | 285 GB / 490 GB | 5.1 | 329 | 945K |
单流（batch=1）估算：解码 ≈ 显存带宽 × 效率 ÷ 每 token 读取字节（激活参数 × 量化位宽 + KV）；预填充 ≈ FP16 算力 × 0.45 ÷ (2 × 激活参数)。多卡按张量并行、带宽求和 × 0.55。实际受引擎、驱动、PCIe 影响，误差 ±30%。反向查：我的卡能跑谁 →
可用维度不足 3 个，不绘制雷达图
编程HumanEval 45.1%（官方基座）。
数学GSM8K 78.6%（官方）。
知识MMLU 77.8%（官方）。
中文弱。
逻辑能力
非推理模型中游偏上：MMLU 77.8%、GSM8K 78.6%（官方）。多语言与函数调用是亮点，复杂推理一般。
亮点
- 1.Apache-2.0，2024 年初最大的无限制商用模型之一
- 2.64K 上下文 + 原生函数调用
- 3.39B 激活，吞吐远高于同期 70B Dense
坑
- 1.141B 总参显存压力大，至少 2×80GB
- 2.中文弱，词表 32K
- 3.被随后的 Llama 3 70B / Qwen2 72B 迅速超过
适合：需 Apache-2.0 的大模型私有化 · 欧洲多语言
不适合：中文 · 单卡部署
暂无带来源的分数。
更新 2026-08-28 · 排名供选型参考，基准会饱和、会泄漏、会过时。