开源权重可下单卡可跑已被替代可商用 · Apache-2.0
Mistral 7B
Mistral · 7B · Mistral AI · 发布 2023-09-27 · 已被替代 → Mistral Small 3.2
7B 击败 Llama 2 13B 的 2023 年经典，Apache-2.0。
参数
7.25B
DENSE
上下文
32K
价格 / 1M tok
自建
无官方 API
最低可跑
RTX 3060
FP8 · 8.9 GB · ≈30 tok/s
Arena Elo—
AA 综合指数—
代码—
GPQA 推理—
架构简图
- 类型
- Dense
- 注意力
- GQA（32 Q 头 / 8 KV 头）；v0.1 用 4K 滑窗
- 层数
- 32
- 隐藏维
- 4096
- 词表
- 32,768
v0.1（2023-09）4K 滑窗 8K 上下文；v0.3（2024-05）词表 32,768 并支持函数调用，上下文 32K。
完善中
| 精度 | 权重大小 | 说明 |
|---|---|---|
| BF16 | 15 GB | 官方精度 |
| FP8 | — | 暂无 |
| Q8 | 7.7 GB | |
| Q4 | 4.4 GB | GGUF Q4_K_M 或等效 |
- 消费级 24GB
- BF16 14.5 GB 单卡随便跑
- 单卡 80GB
- 高并发
- 8×80GB 节点
- 过剩
KV Cache：128 KiB/token。 ≈ 128 KiB/token
⚠ 能加载 ≠ 能在满上下文 / 高并发下舒服跑。标「估」的数字来自 计算器 公式或社区量化文件大小。
完善中
硬件配置与预估吞吐
最低可跑（8K 上下文）
RTX 3060 12GB
≈¥2,000 · 合计 ≈¥2,000 · 消费级
量化
FP8
解码
30 tok/s
最大上下文
57K
推荐配置（≥Q8 · 32K 上下文 · ≥15 tok/s）
RTX 3060 12GB
≈¥2,000 · 合计 ≈¥2,000 · 消费级
量化
FP8
解码
25 tok/s
最大上下文
57K
| 配置 | 量化 | 占用 / 显存 | 解码 tok/s | 预填充 tok/s | 最大上下文 |
|---|---|---|---|---|---|
| RTX 3060 12GB消费级 | FP8估 | 8.9 GB / 12 GB | 30 | 776 | 57K |
| RTX 4060 Ti 16GB消费级 | FP8估 | 8.9 GB / 16 GB | 24 | 683 | 121K |
| RTX 3090 24GB消费级 | BF16 | 17 GB / 24 GB | 39 | 2203 | 66K |
| RTX 4070 Ti Super 16GB消费级 | FP8估 | 8.9 GB / 16 GB | 56 | 1366 | 121K |
| RTX 5070 Ti 16GB消费级 | FP8估 | 8.9 GB / 16 GB | 75 | 2731 | 121K |
| RTX 4080 Super 16GB消费级 | FP8估 | 8.9 GB / 16 GB | 61 | 1614 | 121K |
| RTX 5080 16GB消费级 | FP8估 | 8.9 GB / 16 GB | 80 | 3476 | 121K |
| RTX 4090 24GB消费级 | BF16 | 17 GB / 24 GB | 42 | 5121 | 66K |
| RTX 5090 32GB消费级 | BF16 | 17 GB / 32 GB | 75 | 6517 | 130K |
| L4 24GB工作站 | BF16 | 17 GB / 24 GB | 13 | 1862 | 66K |
| RTX A6000 48GB工作站 | BF16 | 17 GB / 48 GB | 32 | 2390 | 258K |
| RTX 6000 Ada 48GB工作站 | BF16 | 17 GB / 48 GB | 40 | 2824 | 258K |
| L40S 48GB工作站 | BF16 | 17 GB / 48 GB | 36 | 2824 | 258K |
| RTX PRO 6000 Blackwell 96GB工作站 | BF16 | 17 GB / 96 GB | 75 | 7759 | 642K |
| A10 24GB数据中心 | BF16 | 17 GB / 24 GB | 25 | 1924 | 66K |
| A100 40GB数据中心 | BF16 | 17 GB / 40 GB | 65 | 9683 | 194K |
| A100 80GB数据中心 | BF16 | 17 GB / 80 GB | 85 | 9683 | 514K |
| H20 96GB数据中心 | BF16 | 17 GB / 96 GB | 167 | 2297 | 642K |
| 昇腾 Ascend 910B 64GB数据中心 | BF16 | 17 GB / 64 GB | 67 | 8690 | 386K |
| H100 80GB PCIe数据中心 | BF16 | 17 GB / 80 GB | 83 | 23462 | 514K |
| H100 80GB SXM数据中心 | BF16 | 17 GB / 80 GB | 140 | 30693 | 514K |
| AMD MI300X 192GB数据中心 | BF16 | 17 GB / 192 GB | 221 | 40562 | 1.4M |
| H200 141GB数据中心 | BF16 | 17 GB / 141 GB | 200 | 30693 | 1002K |
| B200 192GB数据中心 | BF16 | 17 GB / 192 GB | 334 | 69828 | 1.4M |
| Mac M4 Pro 64GB统一内存 | BF16 | 17 GB / 56 GB | 8.8 | 528 | 322K |
| DGX Spark 128GB统一内存 | BF16 | 17 GB / 120 GB | 8.8 | 1924 | 834K |
| Mac M4 Max 128GB统一内存 | BF16 | 17 GB / 120 GB | 18 | 1055 | 834K |
| Mac Studio M3 Ultra 256GB统一内存 | BF16 | 17 GB / 240 GB | 26 | 1769 | 1.8M |
| Mac Studio M3 Ultra 512GB统一内存 | BF16 | 17 GB / 490 GB | 26 | 1769 | 3.7M |
单流（batch=1）估算：解码 ≈ 显存带宽 × 效率 ÷ 每 token 读取字节（激活参数 × 量化位宽 + KV）；预填充 ≈ FP16 算力 × 0.45 ÷ (2 × 激活参数)。多卡按张量并行、带宽求和 × 0.55。实际受引擎、驱动、PCIe 影响，误差 ±30%。反向查：我的卡能跑谁 →
可用维度不足 3 个，不绘制雷达图
知识MMLU 60.1%（v0.1 官方论文）。
中文弱。
逻辑能力
入门级：无 CoT 训练，MMLU 60% 档。适合简单指令与分类，复杂推理不可靠。
亮点
- 1.Apache-2.0，无任何商用限制
- 2.GQA + 滑窗注意力，推理快、显存省
- 3.衍生了 Zephyr、OpenHermes 等大量微调
坑
- 1.能力属 2023 年水平，早已被 Qwen / Gemma 小模型超过
- 2.中文弱，词表 32K
- 3.v0.1 与 v0.3 上下文与模板不同，易混淆
适合：教学 / 微调实验 · 低资源英文任务
不适合：新项目 · 中文
暂无带来源的分数。
更新 2026-08-28 · 排名供选型参考，基准会饱和、会泄漏、会过时。