开源权重可下推理模型·可关单卡可跑可商用 · Apache-2.0
Granite 4.2 30B
IBM Granite 4.2 30B · IBM · 发布 2026-08-25 · 当前代
IBM 30B 稠密推理模型，Apache-2.0，24GB 可跑。
参数
30B
DENSE
上下文
128K
价格 / 1M tok
自建
无官方 API
最低可跑
2× RTX 3060
Q4_K_M · 22 GB · ≈20 tok/s
Arena Elo—
AA 综合指数24
2026-08-28
竞赛编程75.8
2026-08-28
GPQA 推理64.4
2026-08-28
架构简图
- 类型
- Dense
- 注意力
- GQA（32 Q / 8 KV）
- 层数
- 64
- 隐藏维
- 4096
- 词表
- 100,352
稠密 Transformer，FFN 32768，RoPE theta 1e7；原生 128K，可扩 512K。基于 Granite-4.1-30B-Base 后训练，<think> 三档思考模式。 上下文：128K（可扩 512K）。
完善中
| 精度 | 权重大小 | 说明 |
|---|---|---|
| BF16 | 60 GB估 | 官方精度 |
| FP8 | 30 GB估 | |
| Q8 | 32 GB估 | |
| Q4 | 17 GB估 | GGUF Q4_K_M 或等效 |
- 消费级 24GB
- Q4 约 17 GB 可跑，KV 256 KiB/token 上下文有限
- 单卡 80GB
- BF16 60 GB 单卡 + 数万 token 上下文
- 8×80GB 节点
- 未评估
⚠ 能加载 ≠ 能在满上下文 / 高并发下舒服跑。标「估」的数字来自 计算器 公式或社区量化文件大小。
完善中
硬件配置与预估吞吐
最低可跑（8K 上下文）
2 × RTX 3060 12GB
≈¥2,000 × 2 · 合计 ≈¥4,000 · 消费级
量化
Q4_K_M
解码
20 tok/s
最大上下文
17K
推荐配置（≥Q8 · 32K 上下文 · ≥15 tok/s）
2 × RTX 3090 24GB
二手 ≈¥5,000 × 2 · 合计 ≈¥10,000 · 消费级
量化
FP8
解码
30 tok/s
最大上下文
124K
| 配置 | 量化 | 占用 / 显存 | 解码 tok/s | 预填充 tok/s | 最大上下文 |
|---|---|---|---|---|---|
| 2× RTX 3060 12GB消费级 | Q4_K_M | 22 GB / 24 GB | 20 | 375 | 17K |
| 2× RTX 4060 Ti 16GB消费级 | Q6_K估 | 28 GB / 32 GB | 12 | 330 | 22K |
| RTX 3090 24GB消费级 | Q5_K_M估 | 24 GB / 24 GB | 27 | 533 | 8K |
| 2× RTX 4070 Ti Super 16GB消费级 | Q6_K估 | 28 GB / 32 GB | 28 | 660 | 22K |
| 2× RTX 5070 Ti 16GB消费级 | Q6_K估 | 28 GB / 32 GB | 38 | 1320 | 22K |
| 2× RTX 4080 Super 16GB消费级 | Q6_K估 | 28 GB / 32 GB | 31 | 780 | 22K |
| 2× RTX 5080 16GB消费级 | Q6_K估 | 28 GB / 32 GB | 40 | 1680 | 22K |
| RTX 4090 24GB消费级 | Q5_K_M估 | 24 GB / 24 GB | 29 | 1238 | 8K |
| RTX 5090 32GB消费级 | Q6_K估 | 27 GB / 32 GB | 45 | 1575 | 27K |
| L4 24GB工作站 | Q5_K_M估 | 24 GB / 24 GB | 8.5 | 450 | 8K |
| RTX A6000 48GB工作站 | FP8 | 32 GB / 48 GB | 16 | 578 | 134K |
| RTX 6000 Ada 48GB工作站 | FP8 | 32 GB / 48 GB | 20 | 683 | 134K |
| L40S 48GB工作站 | FP8 | 32 GB / 48 GB | 18 | 683 | 134K |
| RTX PRO 6000 Blackwell 96GB工作站 | BF16 | 63 GB / 96 GB | 19 | 1875 | 139K |
| A10 24GB数据中心 | Q5_K_M估 | 24 GB / 24 GB | 17 | 465 | 8K |
| A100 40GB数据中心 | FP8 | 32 GB / 40 GB | 33 | 2340 | 70K |
| A100 80GB数据中心 | BF16 | 63 GB / 80 GB | 21 | 2340 | 75K |
| H20 96GB数据中心 | BF16 | 63 GB / 96 GB | 42 | 555 | 139K |
| 昇腾 Ascend 910B 64GB数据中心 | BF16 | 63 GB / 64 GB | 17 | 2100 | 11K |
| H100 80GB PCIe数据中心 | BF16 | 63 GB / 80 GB | 21 | 5670 | 75K |
| H100 80GB SXM数据中心 | BF16 | 63 GB / 80 GB | 35 | 7418 | 75K |
| AMD MI300X 192GB数据中心 | BF16 | 63 GB / 192 GB | 55 | 9803 | 523K |
| H200 141GB数据中心 | BF16 | 63 GB / 141 GB | 50 | 7418 | 319K |
| B200 192GB数据中心 | BF16 | 63 GB / 192 GB | 84 | 16875 | 523K |
| Mac M4 Pro 64GB统一内存 | FP8 | 32 GB / 56 GB | 4.4 | 128 | 198K |
| DGX Spark 128GB统一内存 | BF16 | 63 GB / 120 GB | 2.2 | 465 | 235K |
| Mac M4 Max 128GB统一内存 | BF16 | 63 GB / 120 GB | 4.4 | 255 | 235K |
| Mac Studio M3 Ultra 256GB统一内存 | BF16 | 63 GB / 240 GB | 6.6 | 428 | 715K |
| Mac Studio M3 Ultra 512GB统一内存 | BF16 | 63 GB / 490 GB | 6.6 | 428 | 1.7M |
单流（batch=1）估算：解码 ≈ 显存带宽 × 效率 ÷ 每 token 读取字节（激活参数 × 量化位宽 + KV）；预填充 ≈ FP16 算力 × 0.45 ÷ (2 × 激活参数)。多卡按张量并行、带宽求和 × 0.55。实际受引擎、驱动、PCIe 影响，误差 ±30%。反向查：我的卡能跑谁 →
编程LiveCodeBench v6 75.77、SWE-bench Pro 33.29（官方）。
推理GPQA 66.41、MMLU-Pro 77.60（官方）。
数学AIME 2025 89.17（官方）。
AgentBFCL v4 61.39（官方）。
中文官方 12 语言含中文。
逻辑能力
考试型推理数学强（AIME 89.2）、GPQA 66.4 中游；工程型推理一般（SWE-bench Pro 33.3）。
亮点
- 1.AIME 2025 89.2、LiveCodeBench v6 75.8、MMLU-Pro 77.6（官方）
- 2.Apache-2.0，企业友好，12 种语言含中文
- 3.Q4 约 17 GB，24GB 单卡本地
坑
- 1.刚发布 3 天，AA 智能指数 24 低于 Muse Glimmer（35）
- 2.SWE-bench Pro 33.3，编程 agent 弱
- 3.无视觉（Granite Vision 另出）
适合：企业内网合规部署 · 24GB 本地推理 / 工具调用
不适合：编程 agent 主力 · 多模态
| 基准 | 分数 | 来源 | 日期 | 证据 |
|---|---|---|---|---|
| Artificial Analysis Intelligence IndexAA 综合指数 | 24 | Artificial Analysis Intelligence Index v3 | 2026-08-28 | 独立复测 |
| LiveCodeBench竞赛编程 | 75.8% | Granite 4.2 30B 模型卡 | 2026-08-28 | 厂商公布 |
| GPQA Diamond研究生级科学问答 | 66.4% | Granite 4.2 30B 模型卡 | 2026-08-28 | 厂商公布 |
| AIME 2025美国数学邀请赛 | 89.2% | Granite 4.2 30B 模型卡 | 2026-08-28 | 厂商公布 |
| Artificial Analysis Intelligence IndexAA 综合指数 | 24 | Artificial Analysis (v4.1.1) | 2026-08-28 | 独立复测 |
| GPQA Diamond研究生级科学问答 | 64.4% | Artificial Analysis (v4.1.1) | 2026-08-28 | 独立复测 |
| Humanity's Last Exam人类最后考试 | 11.2% | Artificial Analysis (v4.1.1) | 2026-08-28 | 独立复测 |
| SciCode科学计算编程 | 36.6% | Artificial Analysis (v4.1.1) | 2026-08-28 | 独立复测 |
| Terminal-Bench终端 agent | 26.6% | Artificial Analysis · Terminal-Bench 2.1 | 2026-08-28 | 独立复测 |
| τ³-Bench Banking工具调用 agent（银行域） | 14.4% | Artificial Analysis · τ³-Bench Banking | 2026-08-28 | 独立复测 |
更新 2026-08-28 · 排名供选型参考，基准会饱和、会泄漏、会过时。