Mellum2.1 Thinking
JetBrains Mellum2.1 · JetBrains JetBrains（捷克） · 发布 2026-10-08 · 当前代
Apache 2.0 的 12B/2.5B 激活编码 agent 小模型，SWE-bench Verified 从 2.0 干到 47.0。
- 类型
- MoE
- 注意力
- GQA，32 Q 头 / 4 KV 头；滑动窗口 1,024，每 4 层里有 3 层用滑窗
- 层数
- 28
- 专家
- 64 · 激活 8
- 隐藏维
- 2304
- 词表
- 98,304
官方模型卡：28 层 MoE，64 路由专家每 token 走 8 个；FFN 中间维 7168、MoE 中间维 896；词表 98,304，权重精度 bfloat16。架构与 2026-06 开源的 Mellum2 完全一致，官方明说本次几乎全部改动都在后训练 —— RL 从最后一小段升级为训练主体，在真实仓库里带 shell 与文件编辑工具训练、以测试通过为奖励，训练期跑了数百万个沙箱。base_model 为 JetBrains/Mellum2-12B-A2.5B-Base。这是思考模型，先输出推理再给答案。
完善中
| 精度 | 权重大小 | 说明 |
|---|---|---|
| BF16 | 24 GB估 | 官方精度 |
| FP8 | — | 暂无 |
| Q8 | — | 暂无 |
| Q4 | — | 暂无 |
- 消费级 24GB
- 勉强不够：BF16 权重本身约 24GB 就占满单卡，要么上双卡要么等官方 GGUF
- 单卡 80GB
- 充裕：单张 80GB 可跑满 131,072 上下文
- 8×80GB 节点
- 过剩
KV Cache：BF16 体积按 12B×2 字节推算，官方模型卡只给精度未给文件体积；官方 vLLM 命令为 --max-model-len 131072 --reasoning-parser qwen3，带工具再加 --enable-auto-tool-choice --tool-call-parser hermes。GGUF 与 vLLM 的 MTP 投机解码头官方写「coming soon」
⚠ 能加载 ≠ 能在满上下文 / 高并发下舒服跑。标「估」的数字来自 计算器 公式或社区量化文件大小。
完善中
| 配置 | 量化 | 占用 / 显存 | 解码 tok/s | 预填充 tok/s | 最大上下文 |
|---|---|---|---|---|---|
| RTX 3060 12GB消费级 | Q6_K估 | 11 GB / 12 GB | 117 | 2250 | 未建模 |
| RTX 4060 Ti 16GB消费级 | FP8估 | 13 GB / 16 GB | 75 | 1980 | 未建模 |
| RTX 3090 24GB消费级 | FP8估 | 13 GB / 24 GB | 243 | 6390 | 未建模 |
| RTX 4070 Ti Super 16GB消费级 | FP8估 | 13 GB / 16 GB | 175 | 3960 | 未建模 |
| RTX 5070 Ti 16GB消费级 | FP8估 | 13 GB / 16 GB | 233 | 7920 | 未建模 |
| RTX 4080 Super 16GB消费级 | FP8估 | 13 GB / 16 GB | 191 | 4680 | 未建模 |
| RTX 5080 16GB消费级 | FP8估 | 13 GB / 16 GB | 250 | 10080 | 未建模 |
| RTX 4090 24GB消费级 | FP8估 | 13 GB / 24 GB | 262 | 14850 | 未建模 |
| RTX 5090 32GB消费级 | BF16 | 25 GB / 32 GB | 233 | 18900 | 未建模 |
| L4 24GB工作站 | FP8估 | 13 GB / 24 GB | 78 | 5400 | 未建模 |
| RTX A6000 48GB工作站 | BF16 | 25 GB / 48 GB | 100 | 6930 | 未建模 |
| RTX 6000 Ada 48GB工作站 | BF16 | 25 GB / 48 GB | 125 | 8190 | 未建模 |
| L40S 48GB工作站 | BF16 | 25 GB / 48 GB | 112 | 8190 | 未建模 |
| RTX PRO 6000 Blackwell 96GB工作站 | BF16 | 25 GB / 96 GB | 233 | 22500 | 未建模 |
| A10 24GB数据中心 | FP8估 | 13 GB / 24 GB | 156 | 5580 | 未建模 |
| A100 40GB数据中心 | BF16 | 25 GB / 40 GB | 202 | 28080 | 未建模 |
| A100 80GB数据中心 | BF16 | 25 GB / 80 GB | 265 | 28080 | 未建模 |
| H20 96GB数据中心 | BF16 | 25 GB / 96 GB | 520 | 6660 | 未建模 |
| 昇腾 Ascend 910B 64GB数据中心 | BF16 | 25 GB / 64 GB | 208 | 25200 | 未建模 |
| H100 80GB PCIe数据中心 | BF16 | 25 GB / 80 GB | 260 | 68040 | 未建模 |
| H100 80GB SXM数据中心 | BF16 | 25 GB / 80 GB | 436 | 89010 | 未建模 |
| AMD MI300X 192GB数据中心 | BF16 | 25 GB / 192 GB | 689 | 117630 | 未建模 |
| H200 141GB数据中心 | BF16 | 25 GB / 141 GB | 624 | 89010 | 未建模 |
| B200 192GB数据中心 | BF16 | 25 GB / 192 GB | 1040 | 202500 | 未建模 |
| Mac M4 Pro 64GB统一内存 | BF16 | 25 GB / 56 GB | 27 | 1530 | 未建模 |
| DGX Spark 128GB统一内存 | BF16 | 25 GB / 120 GB | 27 | 5580 | 未建模 |
| Mac M4 Max 128GB统一内存 | BF16 | 25 GB / 120 GB | 55 | 3060 | 未建模 |
| Mac Studio M3 Ultra 256GB统一内存 | BF16 | 25 GB / 240 GB | 82 | 5130 | 未建模 |
| Mac Studio M3 Ultra 512GB统一内存 | BF16 | 25 GB / 490 GB | 82 | 5130 | 未建模 |
单流（batch=1）估算：解码 ≈ 显存带宽 × 效率 ÷ 每 token 读取字节（激活参数 × 量化位宽 + KV）；预填充 ≈ FP16 算力 × 0.45 ÷ (2 × 激活参数)。多卡按张量并行、带宽求和 × 0.55。实际受引擎、驱动、PCIe 影响，误差 ±30%。反向查：我的卡能跑谁 →
编程LiveCodeBench v6 82.0、HumanEval+ 91.5、MBPP+ 79.4（官方模型卡，非 agent 项用 greedy 解码）。
数学AIME 83.3（官方模型卡，为 AIME 2025 与 2026 各 30 题的均值，与本站 aime25 列口径不同）、GSM-Plus 88.3。
知识GPQA Diamond 64.6、MMLU-Redux 87.8、MixEval-Hard 46.4（官方模型卡）。
指令遵循IFEval 90.6（官方模型卡）。
AgentSWE-bench Verified 47.0、SWE-bench Pro 28.0、Terminal-Bench 2.1 17.4（官方模型卡；agent 项统一用 Pi v0.73.1 harness、114K 上下文、每轮 ≤16K token、temperature 1.0）。工具调用 BFCL v4 62.3（五子任务宏平均）、WorkBench 44.6、ToolHop 49.1。
中文无：官方模型卡语言标签仅 en，未提供中文支持声明或中文评测。
这是「架构不动、把算力全砸进 RL」的典型样本，也是本站少见的能把前后代放在同一管线里直接对比的案例。JetBrains 自己把 Mellum2 用新管线重跑了一遍，所以 2.0 → 47.0 这种跃升不是换口径换出来的：agent 类评测统一用开源 Pi v0.73.1 harness（shell + 文件工具）、114K 上下文、每轮上限 16K token，对比组每个模型都跑同一套。形状上它是「编码强、知识弱」：LiveCodeBench v6 82.0 明显高过 Qwen3.5-9B 的 75.4，但 GPQA Diamond 64.6 对 77.8 差了 13 个点，MixEval-Hard 46.4 对 50.3 也落后 —— 2.5B 激活量换来的速度是有代价的，它不是通用知识模型。工具调用同样分裂：BFCL v4（五个子任务宏平均）62.3 领先，但 WorkBench 44.6 比自家上一代 45.1 还略降、ToolHop 49.1 低于 Qwen3.5-9B 的 52.0，说明多跳与真实业务工具链仍是弱项。数学上 AIME 取的是 2025 与 2026 两套各 30 题的均值，和本站 aime25 列不是同一口径，故未并入总榜。整体适合当「便宜、快、能自托管」的 agent 执行单元，不适合当需要广知识面的主模型。
- 1.Apache 2.0、12B 总参只激活 2.5B，131,072 上下文 —— 定位是能跑在自己机器上的 agent 工人与子 agent
- 2.纯后训练换来的 agent 能力跃升：同一套评测管线下 SWE-bench Verified 2.0 → 47.0、Terminal-Bench 2.1 0.6 → 17.4、SWE-bench Pro 0.0 → 28.0
- 3.编码与工具调用在同级里领先：LiveCodeBench v6 82.0、HumanEval+ 91.5、MBPP+ 79.4、BFCL v4 62.3，四项都高于 Qwen3.5-9B 与 Gemma 4 E4B
- 4.官方称重载下是对比组里最快的，吞吐接近 Qwen3.5-9B 的两倍；单请求配 MTP 约快 1.6 倍
- 1.agent 分数的绝对水位仍然低：Terminal-Bench 2.1 只有 17.4，SWE-bench Pro 28.0，长时程终端任务远谈不上能独立干活，官方定位也是「agent 里的工人」而非主控
- 2.同级对比并非全胜：Qwen3.5-9B 在 SWE-bench Verified（50.0）、SWE-bench Pro（38.0）、GPQA Diamond（77.8 对 64.6）、AIME（86.7 对 83.3）上都更高
- 3.全部分数由 JetBrains 自己用同一管线跑出，模型卡里逐条标 verified: false，目前无独立复测
- 4.部署现在只有 vLLM 一条顺路：GGUF（llama.cpp / Ollama / LM Studio）与 MTP 头官方都写「coming soon」，24GB 单卡吃不下 BF16
- 5.官方语言标签只有英文（language: en），模型卡无任何中文评测，中文能力未知
- 6.安全侧有退步项：XSTest 合规率 88.8 低于 Mellum2 的 91.2 与对比组（Gemma 4 E4B 95.2、Qwen3.5-9B 95.6），只有 HarmBench 从 21.5 降到 8.5 是改善
| 基准 | 分数 | 来源 | 日期 | 证据 |
|---|---|---|---|---|
| SWE-bench Verified真实仓库修 bug | 47% | Mellum2.1 官方模型卡评测表（LiveCodeBench v6 / GPQA Diamond / Terminal-Bench 2.1） | 2026-10-12 | 厂商公布 |
| LiveCodeBench竞赛编程 | 82% | Mellum2.1 官方模型卡评测表（LiveCodeBench v6 / GPQA Diamond / Terminal-Bench 2.1） | 2026-10-12 | 厂商公布 |
| GPQA Diamond研究生级科学问答 | 64.6% | Mellum2.1 官方模型卡评测表（LiveCodeBench v6 / GPQA Diamond / Terminal-Bench 2.1） | 2026-10-12 | 厂商公布 |
| Terminal-Bench终端 agent | 17.4% | Mellum2.1 官方模型卡评测表（LiveCodeBench v6 / GPQA Diamond / Terminal-Bench 2.1） | 2026-10-12 | 厂商公布 |
更新 2026-10-12 · 排名供选型参考，基准会饱和、会泄漏、会过时。