开源权重可下已被替代限制许可 · Mistral Research License

Mistral Large 2

Name: Mistral Large 2
Author: Mistral AI

Mistral AI · 发布 2024-07-24 · 已被替代 → Mistral Large 3

123B 稠密开放权重旗舰，代码与多语言追平 GPT-4o。

参数

123B

DENSE

上下文

128K

输出 8K

价格 / 1M tok

$2.00 / $6.00

Mistral 定价页（20 · 2024-09-17

最低可跑

4× RTX 3090

Q5_K_M · 90 GB · ≈24 tok/s

Arena Elo—

AA 综合指数—

代码—

GPQA 推理—

Hugging Face ↗官方 ↗

架构简图

类型: Dense
注意力: 未披露
层数: 未披露
隐藏维: 未披露
词表: 未披露

123B 稠密模型，权重以 MRL 许可公开（研究 / 非商用），商用需另行授权。

完善中

精度	权重大小	说明
BF16	246 GB估	官方精度
FP8	123 GB估
Q8	—	暂无
Q4	70 GB估	GGUF Q4_K_M 或等效

消费级 24GB: 未评估
单卡 80GB: q4 可跑
8×80GB 节点: bf16 全上下文

KV Cache：128K 上下文 KV 占用大，单卡 80GB 需 q4 且限制上下文

⚠ 能加载 ≠ 能在满上下文 / 高并发下舒服跑。标「估」的数字来自计算器公式或社区量化文件大小。

完善中

硬件配置与预估吞吐

最低可跑（8K 上下文）

4 × RTX 3090 24GB

二手 ≈¥5,000 × 4 · 合计 ≈¥20,000 · 消费级

量化

Q5_K_M

解码

24 tok/s

最大上下文

未建模

推荐配置（≥Q8 · 32K 上下文 · ≥15 tok/s）

4 × RTX 5090 32GB

≈¥16,000 × 4 · 合计 ≈¥64,000 · 消费级

量化

FP8

解码

32 tok/s

最大上下文

未建模

配置	量化	占用 / 显存	解码 tok/s	预填充 tok/s	最大上下文
4× RTX 3090 24GB消费级	Q5_K_M估	90 GB / 96 GB	24	520	未建模
4× RTX 4090 24GB消费级	Q5_K_M估	90 GB / 96 GB	26	1207	未建模
4× RTX 5090 32GB消费级	FP8	128 GB / 128 GB	32	1537	未建模
4× L4 24GB工作站	Q5_K_M估	90 GB / 96 GB	7.8	439	未建模
2× RTX A6000 48GB工作站	Q5_K_M估	87 GB / 96 GB	10.0	282	未建模
2× RTX 6000 Ada 48GB工作站	Q5_K_M估	87 GB / 96 GB	12	333	未建模
2× L40S 48GB工作站	Q5_K_M估	87 GB / 96 GB	11	333	未建模
RTX PRO 6000 Blackwell 96GB工作站	Q5_K_M估	86 GB / 96 GB	14	457	未建模
4× A10 24GB数据中心	Q5_K_M估	90 GB / 96 GB	16	454	未建模
2× A100 40GB数据中心	Q4_K_M	72 GB / 80 GB	24	1141	未建模
A100 80GB数据中心	Q4_K_M	71 GB / 80 GB	19	571	未建模
H20 96GB数据中心	Q5_K_M估	86 GB / 96 GB	31	135	未建模
2× 昇腾 Ascend 910B 64GB数据中心	FP8	125 GB / 128 GB	14	1024	未建模
H100 80GB PCIe数据中心	Q4_K_M	71 GB / 80 GB	18	1383	未建模
H100 80GB SXM数据中心	Q4_K_M	71 GB / 80 GB	31	1809	未建模
AMD MI300X 192GB数据中心	FP8	124 GB / 192 GB	28	2391	未建模
H200 141GB数据中心	FP8	124 GB / 141 GB	25	1809	未建模
B200 192GB数据中心	FP8	124 GB / 192 GB	42	4116	未建模
DGX Spark 128GB统一内存	Q6_K估	100 GB / 120 GB	1.4	113	未建模
Mac M4 Max 128GB统一内存	Q6_K估	100 GB / 120 GB	2.8	62	未建模
Mac Studio M3 Ultra 256GB统一内存	FP8	124 GB / 240 GB	3.3	104	未建模
Mac Studio M3 Ultra 512GB统一内存	BF16	247 GB / 490 GB	1.7	104	未建模

单流（batch=1）估算：解码 ≈ 显存带宽 × 效率 ÷ 每 token 读取字节（激活参数 × 量化位宽 + KV）；预填充 ≈ FP16 算力 × 0.45 ÷ (2 × 激活参数)。多卡按张量并行、带宽求和 × 0.55。实际受引擎、驱动、PCIe 影响，误差 ±30%。反向查：我的卡能跑谁 →

用计算器按你的上下文与并发估算 →

可用维度不足 3 个，不绘制雷达图

完善中

逻辑能力

非推理模型中的中上水平，MATH 71.5%；函数调用与多轮遵循较好。

亮点

1.MMLU 84.0%、HumanEval 92%，与 GPT-4o / Llama 3.1 405B 同档
2.123B 稠密可单节点部署，权重公开
3.80+ 编程语言、强多语言支持

坑

1.MRL 许可：商用需付费授权
2.无视觉（2411 版仍纯文本）
3.无推理模式，GPQA 未公布

适合：历史对照 · 研究用途的本地部署

不适合：未授权的商用 · 新项目

暂无带来源的分数。

更新 2026-08-28 · 排名供选型参考，基准会饱和、会泄漏、会过时。