开源权重可下多模态单卡可跑已被替代可商用 · Apache-2.0
Mistral Small 3.1
Mistral Small 3.1 · 24B · Mistral AI · 发布 2025-03-17 · 已被替代 → Mistral Small 3.2
24B 多模态 Apache-2.0，单卡跑图文 128K 上下文。
参数
24B
DENSE
上下文
128K
价格 / 1M tok
$0.10 / $0.30
Mistral 官方 API · 2026-08-28
最低可跑
2× RTX 3060
Q6_K · 23 GB · ≈19 tok/s
Arena Elo—
AA 综合指数—
代码—
GPQA 推理46
2025-03-17
架构简图
- 类型
- Dense
- 注意力
- GQA（32 Q 头 / 8 KV 头）
- 层数
- 40
- 隐藏维
- 5120
- 词表
- 131,072
在 Small 3 基础上加入视觉编码器（Pixtral 式）与 128K 上下文。
完善中
| 精度 | 权重大小 | 说明 |
|---|---|---|
| BF16 | 48 GB | 官方精度 |
| FP8 | — | 暂无 |
| Q8 | 25 GB | |
| Q4 | 14 GB | GGUF Q4_K_M 或等效 |
- 消费级 24GB
- Q4_K_M ≈14 GB，可跑 32K+；BF16 48 GB 需 2 卡
- 单卡 80GB
- BF16 单卡 + 大 KV
- 8×80GB 节点
- 过剩
KV Cache：160 KiB/token；32K 约 5 GB。 ≈ 160 KiB/token
⚠ 能加载 ≠ 能在满上下文 / 高并发下舒服跑。标「估」的数字来自 计算器 公式或社区量化文件大小。
完善中
硬件配置与预估吞吐
最低可跑（8K 上下文）
2 × RTX 3060 12GB
≈¥2,000 × 2 · 合计 ≈¥4,000 · 消费级
量化
Q6_K
解码
19 tok/s
最大上下文
15K
推荐配置（≥Q8 · 32K 上下文 · ≥15 tok/s）
2 × RTX 4070 Ti Super 16GB
≈¥6,000 × 2 · 合计 ≈¥12,000 · 消费级
量化
FP8
解码
28 tok/s
最大上下文
72K
| 配置 | 量化 | 占用 / 显存 | 解码 tok/s | 预填充 tok/s | 最大上下文 |
|---|---|---|---|---|---|
| 2× RTX 3060 12GB消费级 | Q6_K估 | 23 GB / 24 GB | 19 | 469 | 15K |
| 2× RTX 4060 Ti 16GB消费级 | FP8估 | 27 GB / 32 GB | 13 | 413 | 72K |
| RTX 3090 24GB消费级 | Q6_K估 | 22 GB / 24 GB | 30 | 666 | 23K |
| 2× RTX 4070 Ti Super 16GB消费级 | FP8估 | 27 GB / 32 GB | 30 | 825 | 72K |
| 2× RTX 5070 Ti 16GB消费级 | FP8估 | 27 GB / 32 GB | 40 | 1650 | 72K |
| 2× RTX 4080 Super 16GB消费级 | FP8估 | 27 GB / 32 GB | 33 | 975 | 72K |
| 2× RTX 5080 16GB消费级 | FP8估 | 27 GB / 32 GB | 43 | 2100 | 72K |
| RTX 4090 24GB消费级 | Q6_K估 | 22 GB / 24 GB | 32 | 1547 | 23K |
| RTX 5090 32GB消费级 | FP8估 | 26 GB / 32 GB | 47 | 1969 | 87K |
| L4 24GB工作站 | Q6_K估 | 22 GB / 24 GB | 9.5 | 563 | 23K |
| RTX A6000 48GB工作站 | FP8估 | 26 GB / 48 GB | 20 | 722 | 292K |
| RTX 6000 Ada 48GB工作站 | FP8估 | 26 GB / 48 GB | 25 | 853 | 292K |
| L40S 48GB工作站 | FP8估 | 26 GB / 48 GB | 23 | 853 | 292K |
| RTX PRO 6000 Blackwell 96GB工作站 | BF16 | 50 GB / 96 GB | 24 | 2344 | 300K |
| A10 24GB数据中心 | Q6_K估 | 22 GB / 24 GB | 19 | 581 | 23K |
| A100 40GB数据中心 | FP8估 | 26 GB / 40 GB | 41 | 2925 | 189K |
| A100 80GB数据中心 | BF16 | 50 GB / 80 GB | 27 | 2925 | 197K |
| H20 96GB数据中心 | BF16 | 50 GB / 96 GB | 53 | 694 | 300K |
| 昇腾 Ascend 910B 64GB数据中心 | BF16 | 50 GB / 64 GB | 21 | 2625 | 95K |
| H100 80GB PCIe数据中心 | BF16 | 50 GB / 80 GB | 26 | 7088 | 197K |
| H100 80GB SXM数据中心 | BF16 | 50 GB / 80 GB | 44 | 9272 | 197K |
| AMD MI300X 192GB数据中心 | BF16 | 50 GB / 192 GB | 70 | 12253 | 914K |
| H200 141GB数据中心 | BF16 | 50 GB / 141 GB | 63 | 9272 | 588K |
| B200 192GB数据中心 | BF16 | 50 GB / 192 GB | 105 | 21094 | 914K |
| Mac M4 Pro 64GB统一内存 | BF16 | 50 GB / 56 GB | 2.8 | 159 | 44K |
| DGX Spark 128GB统一内存 | BF16 | 50 GB / 120 GB | 2.8 | 581 | 453K |
| Mac M4 Max 128GB统一内存 | BF16 | 50 GB / 120 GB | 5.5 | 319 | 453K |
| Mac Studio M3 Ultra 256GB统一内存 | BF16 | 50 GB / 240 GB | 8.3 | 534 | 1.2M |
| Mac Studio M3 Ultra 512GB统一内存 | BF16 | 50 GB / 490 GB | 8.3 | 534 | 2.8M |
单流（batch=1）估算：解码 ≈ 显存带宽 × 效率 ÷ 每 token 读取字节（激活参数 × 量化位宽 + KV）；预填充 ≈ FP16 算力 × 0.45 ÷ (2 × 激活参数)。多卡按张量并行、带宽求和 × 0.55。实际受引擎、驱动、PCIe 影响，误差 ±30%。反向查：我的卡能跑谁 →
可用维度不足 3 个，不绘制雷达图
编程HumanEval 88.41%（官方）。
推理GPQA Diamond 45.96%（5-shot CoT，官方）。
数学MATH 69.3%（官方）。
多模态MMMU 64.0%（官方）。
中文一般。
逻辑能力
非推理 24B 档中游：GPQA Diamond 45.96%、MATH 69.3%（官方）。日常逻辑够用，复杂推理让位给 Magistral / Qwen3。
亮点
- 1.Apache-2.0，图文多模态 + 128K，24GB 卡可跑 Q4
- 2.官方称超越 Gemma 3 / GPT-4o mini
- 3.函数调用与 JSON 输出稳定
坑
- 1.无推理模式，GPQA Diamond 46%
- 2.中文一般，欧洲语言更强
- 3.3.2 版（2025-06）修复了重复输出等问题，建议直接用 3.2
适合：单卡多模态助手 · 低延迟函数调用
不适合：深度推理 · 中文优先
| 基准 | 分数 | 来源 | 日期 | 证据 |
|---|---|---|---|---|
| GPQA Diamond研究生级科学问答 | 46% | Mistral Small 3.1 模型卡 | 2025-03-17 | 厂商公布 |
| MMMU多模态理解 | 64% | Mistral Small 3.1 模型卡 | 2025-03-17 | 厂商公布 |
更新 2026-08-28 · 排名供选型参考，基准会饱和、会泄漏、会过时。