GLM-4.6
智谱 GLM-4.6 · Z.ai 智谱 · 发布 2025-09-30 · 已被替代 → GLM-5.2
MIT 许可、Agent 编程向的开源旗舰，Claude Code 替代热门。
- 类型
- MoE
- 注意力
- GQA（96 Q 头 / 8 KV 头）+ 部分 RoPE
- 层数
- 92
- 专家
- 160 · 激活 8 + 共享
- 隐藏维
- 5120
- 词表
- 151,552
沿用 GLM-4.5 结构：更深更窄的 MoE（层数多、专家维度小），带 MTP 层加速投机解码。上下文从 128K 扩到 200K。
类型：MoE，355B 总 / 32B 激活。
- 92 层（含 MTP 层），隐藏维 5120，词表 151,552
- 专家：160 路由 + 1 共享，每 token 激活 8 个路由专家
- GQA：96 Q 头 / 8 KV 头，head_dim 128；部分 RoPE
- 设计取向：「更深更窄」——层多、专家小，官方认为深度对推理更有利
- 上下文 200K
- MTP 层支持投机解码
参考：GLM-4.5 技术报告（arXiv 2508.06471）。
| 精度 | 权重大小 | 说明 |
|---|---|---|
| BF16 | 710 GB估 | 官方精度 |
| FP8 | 355 GB估 | |
| Q8 | — | 暂无 |
| Q4 | 200 GB估 | GGUF Q4_K_M 或等效 |
- 消费级 24GB
- 不可行
- 单卡 80GB
- 不可行
- 8×80GB 节点
- BF16 710 GB 需 8×H200 或 16×H100；FP8 8×H100 可服务
KV Cache：8 KV 头 × 128 × 2 × 92 层 × 2 B ≈ 368 KiB/token；深层结构导致 KV 偏大。 ≈ 368 KiB/token
⚠ 能加载 ≠ 能在满上下文 / 高并发下舒服跑。标「估」的数字来自 计算器 公式或社区量化文件大小。
| 精度 | 权重大小 | 参考显存 |
|---|---|---|
| BF16 | ≈ 710 GB | 8×H200 |
| FP8 | ≈ 355 GB | 8×H100 |
| Q4 | ≈ 200 GB（估） | 4×80GB |
KV Cache：≈ 368 KiB/token。128K 上下文单请求 ≈ 46 GB，是同规模 MLA 模型的 5 倍以上。
参考配置：
- 24GB / 80GB：不可行
- 8×H100：FP8 权重 + 有限并发
- 8×H200：BF16 舒适
| 配置 | 量化 | 占用 / 显存 | 解码 tok/s | 预填充 tok/s | 最大上下文 |
|---|---|---|---|---|---|
| 8× L40S 48GB工作站 | FP8 | 366 GB / 384 GB | 113 | 5119 | 108K |
| 4× RTX PRO 6000 Blackwell 96GB工作站 | FP8 | 361 GB / 384 GB | 118 | 7031 | 135K |
| 8× A100 40GB数据中心 | Q6_K估 | 296 GB / 320 GB | 239 | 17550 | 73K |
| 4× A100 80GB数据中心 | Q6_K估 | 292 GB / 320 GB | 156 | 8775 | 87K |
| 4× H20 96GB数据中心 | FP8 | 361 GB / 384 GB | 262 | 2081 | 135K |
| 4× 昇腾 Ascend 910B 64GB数据中心 | Q5_K_M估 | 253 GB / 256 GB | 140 | 7875 | 17K |
| 4× H100 80GB PCIe数据中心 | Q6_K估 | 292 GB / 320 GB | 153 | 21263 | 87K |
| 4× H100 80GB SXM数据中心 | Q6_K估 | 292 GB / 320 GB | 257 | 27816 | 87K |
| 2× AMD MI300X 192GB数据中心 | FP8 | 359 GB / 384 GB | 174 | 18380 | 148K |
| 2× H200 141GB数据中心 | Q5_K_M估 | 250 GB / 282 GB | 210 | 13908 | 96K |
| 2× B200 192GB数据中心 | FP8 | 359 GB / 384 GB | 262 | 31641 | 148K |
| 2× DGX Spark 128GB统一内存 | Q4_K_M | 205 GB / 240 GB | 13 | 872 | 105K |
| Mac Studio M3 Ultra 256GB统一内存 | Q4_K_M | 204 GB / 240 GB | 19 | 401 | 108K |
| Mac Studio M3 Ultra 512GB统一内存 | FP8 | 358 GB / 490 GB | 12 | 401 | 745K |
单流（batch=1）估算：解码 ≈ 显存带宽 × 效率 ÷ 每 token 读取字节（激活参数 × 量化位宽 + KV）；预填充 ≈ FP16 算力 × 0.45 ÷ (2 × 激活参数)。多卡按张量并行、带宽求和 × 0.55。实际受引擎、驱动、PCIe 影响，误差 ±30%。反向查：我的卡能跑谁 →
编程SWE-bench Verified 68.0%、LiveCodeBench v6 82.8%（官方）。
推理GPQA Diamond 81.0%、HLE 30.4%（工具，官方）。
数学AIME 2025 93.9%（官方）。
Agentτ²-bench 75.9%、BrowseComp 45.1%（官方）。
中文中文顶级。
工程型推理是主打：SWE-bench Verified 68%、在真实 IDE agent 任务中完成率高，官方以「CC-Bench」实测对标 Claude Sonnet 4。考试型推理（AIME 93.9%）也强。思考可开关；关闭时代码质量下降明显。常见问题：长 agent 任务中偶尔过早结束。
- 1.MIT 许可，355B/32B 激活，商用无附加条件
- 2.编程 agent 场景（Claude Code / Cline 类工具）的实测口碑好，token 消耗比 GLM-4.5 少 15%
- 3.200K 上下文、128K 最大输出，长任务友好
- 1.355B 体量，自建门槛与 DeepSeek 相当
- 2.92 层深结构让 KV Cache 偏大（368 KiB/token），高并发长上下文吃显存
- 3.英文创作与知识广度弱于同价位闭源
| 基准 | 分数 | 来源 | 日期 | 证据 |
|---|---|---|---|---|
| LMArena Text Elo人类偏好 Elo | 1420 | LMArena Text (style control) | 2025-12-20 | 独立复测 |
| SWE-bench Verified真实仓库修 bug | 68% | GLM-4.6 模型卡 | 2025-12-20 | 厂商公布 |
| LiveCodeBench竞赛编程 | 82.8% | GLM-4.6 模型卡 | 2025-12-20 | 厂商公布 |
| GPQA Diamond研究生级科学问答 | 81% | GLM-4.6 模型卡 | 2025-12-20 | 厂商公布 |
| AIME 2025美国数学邀请赛 | 93.9% | GLM-4.6 模型卡 | 2025-12-20 | 厂商公布 |
| τ²-bench工具调用 agent | 75.9% | GLM-4.6 模型卡 | 2025-12-20 | 厂商公布 |
| Terminal-Bench终端 agent | 40.5% | GLM-4.6 模型卡 | 2025-12-20 | 厂商公布 |
| LMArena Chinese Elo中文人类偏好 Elo | 1430 | LMArena Text · Chinese | 2025-12-20 | 独立复测 |
更新 2025-12-20 · 排名供选型参考，基准会饱和、会泄漏、会过时。