开源权重可下单卡可跑已被替代限制许可 · GLM-4 License
GLM-4-9B
智谱 GLM-4 · 9B · Z.ai 智谱 · 发布 2024-06-05 · 已被替代 → GLM-4.5-Air
2024 年中文 9B 最强之一，128K/1M 长文本单卡可跑。
参数
9.4B
DENSE
上下文
128K
价格 / 1M tok
自建
无官方 API
最低可跑
RTX 3060
FP8 · 11 GB · ≈24 tok/s
Arena Elo—
AA 综合指数—
代码—
GPQA 推理—
架构简图
- 类型
- Dense
- 注意力
- GQA（32 Q 头 / 2 KV 头）
- 层数
- 40
- 隐藏维
- 4096
- 词表
- 151,552
10T 多语言 token；128K 上下文（另有 1M 版）；原生函数调用；26 语言。
完善中
| 精度 | 权重大小 | 说明 |
|---|---|---|
| BF16 | 19 GB | 官方精度 |
| FP8 | — | 暂无 |
| Q8 | 10 GB | |
| Q4 | 6.3 GB | GGUF Q4_K_M 或等效 |
- 消费级 24GB
- BF16 18.8 GB 单卡可跑 32K+
- 单卡 80GB
- 高并发 / 1M 版
- 8×80GB 节点
- 过剩
KV Cache：2×128×2×40×2 B = 40 KiB/token，极省，128K 仅 5 GB。 ≈ 40 KiB/token
⚠ 能加载 ≠ 能在满上下文 / 高并发下舒服跑。标「估」的数字来自 计算器 公式或社区量化文件大小。
完善中
硬件配置与预估吞吐
最低可跑（8K 上下文）
RTX 3060 12GB
≈¥2,000 · 合计 ≈¥2,000 · 消费级
量化
FP8
解码
24 tok/s
最大上下文
72K
推荐配置（≥Q8 · 32K 上下文 · ≥15 tok/s）
RTX 3060 12GB
≈¥2,000 · 合计 ≈¥2,000 · 消费级
量化
FP8
解码
23 tok/s
最大上下文
72K
| 配置 | 量化 | 占用 / 显存 | 解码 tok/s | 预填充 tok/s | 最大上下文 |
|---|---|---|---|---|---|
| RTX 3060 12GB消费级 | FP8估 | 11 GB / 12 GB | 24 | 598 | 72K |
| RTX 4060 Ti 16GB消费级 | FP8估 | 11 GB / 16 GB | 20 | 527 | 276K |
| RTX 3090 24GB消费级 | BF16 | 20 GB / 24 GB | 32 | 1699 | 102K |
| RTX 4070 Ti Super 16GB消费级 | FP8估 | 11 GB / 16 GB | 46 | 1053 | 276K |
| RTX 5070 Ti 16GB消费级 | FP8估 | 11 GB / 16 GB | 61 | 2106 | 276K |
| RTX 4080 Super 16GB消费级 | FP8估 | 11 GB / 16 GB | 50 | 1245 | 276K |
| RTX 5080 16GB消费级 | FP8估 | 11 GB / 16 GB | 65 | 2681 | 276K |
| RTX 4090 24GB消费级 | BF16 | 20 GB / 24 GB | 34 | 3949 | 102K |
| RTX 5090 32GB消费级 | BF16 | 20 GB / 32 GB | 61 | 5027 | 307K |
| L4 24GB工作站 | BF16 | 20 GB / 24 GB | 10 | 1436 | 102K |
| RTX A6000 48GB工作站 | BF16 | 20 GB / 48 GB | 26 | 1843 | 717K |
| RTX 6000 Ada 48GB工作站 | BF16 | 20 GB / 48 GB | 33 | 2178 | 717K |
| L40S 48GB工作站 | BF16 | 20 GB / 48 GB | 29 | 2178 | 717K |
| RTX PRO 6000 Blackwell 96GB工作站 | BF16 | 20 GB / 96 GB | 61 | 5984 | 1.9M |
| A10 24GB数据中心 | BF16 | 20 GB / 24 GB | 20 | 1484 | 102K |
| A100 40GB数据中心 | BF16 | 20 GB / 40 GB | 53 | 7468 | 512K |
| A100 80GB数据中心 | BF16 | 20 GB / 80 GB | 69 | 7468 | 1.5M |
| H20 96GB数据中心 | BF16 | 20 GB / 96 GB | 136 | 1771 | 1.9M |
| 昇腾 Ascend 910B 64GB数据中心 | BF16 | 20 GB / 64 GB | 54 | 6702 | 1.1M |
| H100 80GB PCIe数据中心 | BF16 | 20 GB / 80 GB | 68 | 18096 | 1.5M |
| H100 80GB SXM数据中心 | BF16 | 20 GB / 80 GB | 114 | 23673 | 1.5M |
| AMD MI300X 192GB数据中心 | BF16 | 20 GB / 192 GB | 180 | 31285 | 4.3M |
| H200 141GB数据中心 | BF16 | 20 GB / 141 GB | 163 | 23673 | 3.0M |
| B200 192GB数据中心 | BF16 | 20 GB / 192 GB | 272 | 53856 | 4.3M |
| Mac M4 Pro 64GB统一内存 | BF16 | 20 GB / 56 GB | 7.1 | 407 | 922K |
| DGX Spark 128GB统一内存 | BF16 | 20 GB / 120 GB | 7.1 | 1484 | 2.5M |
| Mac M4 Max 128GB统一内存 | BF16 | 20 GB / 120 GB | 14 | 814 | 2.5M |
| Mac Studio M3 Ultra 256GB统一内存 | BF16 | 20 GB / 240 GB | 21 | 1364 | 5.5M |
| Mac Studio M3 Ultra 512GB统一内存 | BF16 | 20 GB / 490 GB | 21 | 1364 | 11.8M |
单流（batch=1）估算：解码 ≈ 显存带宽 × 效率 ÷ 每 token 读取字节（激活参数 × 量化位宽 + KV）；预填充 ≈ FP16 算力 × 0.45 ÷ (2 × 激活参数)。多卡按张量并行、带宽求和 × 0.55。实际受引擎、驱动、PCIe 影响，误差 ±30%。反向查：我的卡能跑谁 →
可用维度不足 3 个，不绘制雷达图
数学MATH 50.6%（官方）。
知识MMLU 72.4%（官方）。
Agent函数调用原生，Berkeley FC 榜同期领先。
中文C-Eval 75.6%（官方），中文强。
逻辑能力
9B 中上：MMLU 72.4%、GSM8K 79.6%、MATH 50.6%（官方）。
亮点
- 1.2 KV 头，KV 极省，1M 上下文版本单卡可用
- 2.中文与函数调用当年同尺寸领先
- 3.GLM-4V-9B 同期提供视觉版
坑
- 1.自有许可需登记，商用有条件
- 2.chatglm 自定义代码，框架兼容偶有问题
- 3.被 GLM-4-0414 / 4.5-Air 取代
适合：中文长文本 · 轻量 agent
不适合：复杂推理
暂无带来源的分数。
更新 2026-08-28 · 排名供选型参考，基准会饱和、会泄漏、会过时。