开源权重可下推理模型·可关多模态限制许可 · Modified MIT License
Mistral Medium 3.5
Mistral Medium 3.5 · Mistral AI · 发布 2026-04-29 · 当前代
Mistral 128B 稠密开源旗舰，SWE-bench 77.6%。
参数
128B
DENSE
上下文
256K
价格 / 1M tok
$1.50 / $7.50
Mistral 定价页 · 2026-08-28
最低可跑
4× RTX 3090
Q5_K_M · 96 GB · ≈23 tok/s
Arena Elo—
AA 综合指数30
2026-08-28
真实仓库修 bug77.6
2026-08-28
GPQA 推理74.8
2026-08-28
架构简图
- 类型
- Dense
- 注意力
- GQA（96 Q 头 / 8 KV 头），无滑窗
- 层数
- 88
- 隐藏维
- 12288
- 词表
- 131,072
稠密 Transformer，YaRN RoPE（theta 1e6，factor 64）扩到 256K。自研视觉编码器（48 层，1664 维，1540px，可变分辨率 / 长宽比）。官方配套 EAGLE 投机解码器。
类型：稠密 Transformer，128B 参数。
- 88 层，隐藏维 12288，FFN 28672，词表 131,072
- GQA：96 Q 头 / 8 KV 头，head_dim 128，无滑窗
- RoPE theta 1e6 + YaRN（factor 64）扩到 256K
- 视觉编码器：从零训练的 Pixtral 系 48 层、1664 维、1540px、patch 14，2× 空间合并，支持可变图片尺寸与长宽比
- 官方提供 EAGLE 投机解码器（Mistral-Medium-3.5-128B-EAGLE）
参考：HF 模型卡 config.json。
| 精度 | 权重大小 | 说明 |
|---|---|---|
| BF16 | 256 GB估 | 官方精度 |
| FP8 | 128 GB估 | |
| Q8 | 133 GB估 | |
| Q4 | 74 GB估 | GGUF Q4_K_M 或等效 |
- 消费级 24GB
- 不可行
- 单卡 80GB
- NVFP4 / Q4 约 74 GB 勉强单卡，上下文很短；官方说法「最少 4 张 GPU」
- 8×80GB 节点
- BF16 TP8 官方示例配置，长上下文高并发
KV Cache：8 KV 头 × 128 × 2 × 88 层 × 2 B = 352 KiB/token，128K 上下文约 44 GB，长上下文显存占用不小。 ≈ 352 KiB/token
⚠ 能加载 ≠ 能在满上下文 / 高并发下舒服跑。标「估」的数字来自 计算器 公式或社区量化文件大小。
| 精度 | 权重大小 | 参考显存 |
|---|---|---|
| BF16 | ≈ 256 GB | 4×80GB 起（官方「最少 4 张 GPU」） |
| FP8 | ≈ 128 GB | 2×80GB |
| NVFP4 / Q4（估算） | ≈ 74 GB | 单卡 80GB 极勉强，仅短上下文 |
KV Cache：8 KV 头 × 128 × 2 × 88 层 × 2 B = 352 KiB/token；32K 上下文 ≈ 11 GB，128K ≈ 44 GB。
参考配置：
- 24GB：不可行
- 80GB：Q4 权重 74 GB + 几 GB KV，仅原型验证
- 4×80GB：FP8 + 长上下文，实际推荐起点
- 8×80GB：官方 vLLM 示例
--tensor-parallel-size 8
硬件配置与预估吞吐
最低可跑（8K 上下文）
4 × RTX 3090 24GB
二手 ≈¥5,000 × 4 · 合计 ≈¥20,000 · 消费级
量化
Q5_K_M
解码
23 tok/s
最大上下文
8K
推荐配置（≥Q8 · 32K 上下文 · ≥15 tok/s）
2 × A100 80GB
云 ≈$1.5/h × 2 · 合计 ≈¥120,000 · 数据中心
量化
FP8
解码
17 tok/s
最大上下文
172K
| 配置 | 量化 | 占用 / 显存 | 解码 tok/s | 预填充 tok/s | 最大上下文 |
|---|---|---|---|---|---|
| 4× RTX 3090 24GB消费级 | Q5_K_M估 | 96 GB / 96 GB | 23 | 499 | 8K |
| 4× RTX 4090 24GB消费级 | Q5_K_M估 | 96 GB / 96 GB | 24 | 1160 | 8K |
| 4× RTX 5090 32GB消费级 | Q6_K估 | 110 GB / 128 GB | 37 | 1477 | 61K |
| 4× L4 24GB工作站 | Q5_K_M估 | 96 GB / 96 GB | 7.2 | 422 | 8K |
| 2× RTX A6000 48GB工作站 | Q5_K_M估 | 93 GB / 96 GB | 9.3 | 271 | 15K |
| 2× RTX 6000 Ada 48GB工作站 | Q5_K_M估 | 93 GB / 96 GB | 12 | 320 | 15K |
| 2× L40S 48GB工作站 | Q5_K_M估 | 93 GB / 96 GB | 10 | 320 | 15K |
| RTX PRO 6000 Blackwell 96GB工作站 | Q5_K_M估 | 92 GB / 96 GB | 13 | 439 | 19K |
| 4× A10 24GB数据中心 | Q5_K_M估 | 96 GB / 96 GB | 14 | 436 | 8K |
| 2× A100 40GB数据中心 | Q4_K_M | 79 GB / 80 GB | 22 | 1097 | 10K |
| A100 80GB数据中心 | Q4_K_M | 78 GB / 80 GB | 17 | 548 | 14K |
| H20 96GB数据中心 | Q5_K_M估 | 92 GB / 96 GB | 28 | 130 | 19K |
| 2× 昇腾 Ascend 910B 64GB数据中心 | Q6_K估 | 108 GB / 128 GB | 17 | 984 | 67K |
| H100 80GB PCIe数据中心 | Q4_K_M | 78 GB / 80 GB | 17 | 1329 | 14K |
| H100 80GB SXM数据中心 | Q4_K_M | 78 GB / 80 GB | 28 | 1738 | 14K |
| AMD MI300X 192GB数据中心 | FP8 | 131 GB / 192 GB | 27 | 2297 | 365K |
| H200 141GB数据中心 | FP8 | 131 GB / 141 GB | 24 | 1738 | 69K |
| B200 192GB数据中心 | FP8 | 131 GB / 192 GB | 40 | 3955 | 365K |
| DGX Spark 128GB统一内存 | Q6_K估 | 106 GB / 120 GB | 1.3 | 109 | 48K |
| Mac M4 Max 128GB统一内存 | Q6_K估 | 106 GB / 120 GB | 2.6 | 60 | 48K |
| Mac Studio M3 Ultra 256GB统一内存 | FP8 | 131 GB / 240 GB | 3.2 | 100 | 645K |
| Mac Studio M3 Ultra 512GB统一内存 | BF16 | 260 GB / 490 GB | 1.6 | 100 | 677K |
单流（batch=1）估算：解码 ≈ 显存带宽 × 效率 ÷ 每 token 读取字节（激活参数 × 量化位宽 + KV）；预填充 ≈ FP16 算力 × 0.45 ÷ (2 × 激活参数)。多卡按张量并行、带宽求和 × 0.55。实际受引擎、驱动、PCIe 影响，误差 ±30%。反向查：我的卡能跑谁 →
编程SWE-bench Verified 77.6%（官方）。
Agentτ³-Telecom 91.4%（官方）。
多模态自研视觉编码器，支持可变分辨率图片。
中文官方多语言支持含中文，独立数据少。
逻辑能力
工程型推理强（SWE-bench 77.6%、AA 智能指数 30 居开源中上），考试型推理官方未给 GPQA / AIME 数字，独立复测有限。reasoning=none 时退化为普通指令模型。
亮点
- 1.SWE-bench Verified 77.6%、τ³-Telecom 91.4%（官方），Mistral 系最强工程模型
- 2.指令 / 推理 / 编程 / 视觉合一，reasoning effort 按请求可调
- 3.开放权重，256K 上下文，配 EAGLE 投机解码
坑
- 1.Modified MIT：公司上月全球合并营收超 2000 万美元即不得使用，需另签商业许可
- 2.128B 稠密，单卡 80GB 只能勉强 Q4 跑短上下文，实际要 4 卡起
- 3.API 输出 $7.5/M 偏贵；中文能力独立数据少
适合：自托管编程 agent / Vibe 类工具 · 多工具长任务 agent · 欧洲合规场景
不适合：大型企业（营收超阈值）自部署 · 24GB 单卡本地
| 基准 | 分数 | 来源 | 日期 | 证据 |
|---|---|---|---|---|
| Artificial Analysis Intelligence IndexAA 综合指数 | 30 | Artificial Analysis Intelligence Index v3 | 2026-08-28 | 独立复测 |
| SWE-bench Verified真实仓库修 bug | 77.6% | Mistral Medium 3.5 模型卡 | 2026-08-28 | 厂商公布 |
| Artificial Analysis Intelligence IndexAA 综合指数 | 30 | Artificial Analysis (v4.1.1) | 2026-08-28 | 独立复测 |
| GPQA Diamond研究生级科学问答 | 74.8% | Artificial Analysis (v4.1.1) | 2026-08-28 | 独立复测 |
| Humanity's Last Exam人类最后考试 | 13.8% | Artificial Analysis (v4.1.1) | 2026-08-28 | 独立复测 |
| SciCode科学计算编程 | 39.6% | Artificial Analysis (v4.1.1) | 2026-08-28 | 独立复测 |
| Terminal-Bench Hard终端 agent（AA 困难子集） | 33.3% | Artificial Analysis (v4.1.1) | 2026-08-28 | 独立复测 |
| τ²-Bench Telecom工具调用 agent（电信域） | 94.2% | Artificial Analysis (v4.1.1) | 2026-08-28 | 独立复测 |
| MMMU-Pro多模态理解（Pro） | 64.9% | Artificial Analysis (v4.1.1) | 2026-08-28 | 独立复测 |
| IFBench指令遵循 | 68.8% | Artificial Analysis (v4.1.1) | 2026-08-28 | 独立复测 |
| Terminal-Bench终端 agent | 50.6% | Artificial Analysis · Terminal-Bench 2.1 | 2026-08-28 | 独立复测 |
| τ³-Bench Banking工具调用 agent（银行域） | 15.1% | Artificial Analysis · τ³-Bench Banking | 2026-08-28 | 独立复测 |
| LMArena Chinese Elo中文人类偏好 Elo | 1448 | LMArena Text · Chinese (style control) | 2026-08-28 | 独立复测 |
更新 2026-08-28 · 排名供选型参考，基准会饱和、会泄漏、会过时。