Kimi K2 Instruct
Kimi K2（0711 原版） · Moonshot AI 月之暗面 · 发布 2025-07-11 · 已被替代 → Kimi K2 Instruct (0905)
首个万亿参数开放权重，非推理 agent 模型的高峰。
- 类型
- MoE
- 注意力
- MLA（kv_lora_rank 512 + rope 64，64 头）
- 层数
- 61
- 专家
- 384 · 激活 8 + 共享
- 隐藏维
- 7168
- 词表
- 163,840
DeepSeek-V3 式结构放大：384 专家 top-8 + 1 共享；MuonClip 优化器；128K；非推理。
完善中
| 精度 | 权重大小 | 说明 |
|---|---|---|
| BF16 | 2052 GB | 官方精度 |
| FP8 | 1026 GB | |
| Q8 | 1088 GB | |
| Q4 | 621 GB | GGUF Q4_K_M 或等效 |
- 消费级 24GB
- 不可行
- 单卡 80GB
- 不可行
- 8×80GB 节点
- 官方 FP8 ≈ 1 TB 需 16×80GB 或 8×H200；Q4 621 GB 8×80GB 勉强
KV Cache：MLA ≈ 68.6 KiB/token。 ≈ 68.6 KiB/token
⚠ 能加载 ≠ 能在满上下文 / 高并发下舒服跑。标「估」的数字来自 计算器 公式或社区量化文件大小。
完善中
| 配置 | 量化 | 占用 / 显存 | 解码 tok/s | 预填充 tok/s | 最大上下文 |
|---|---|---|---|---|---|
| 8× RTX PRO 6000 Blackwell 96GB工作站 | Q5_K_M估 | 718 GB / 768 GB | 348 | 14063 | 753K |
| 8× A100 80GB数据中心 | Q4_K_M | 631 GB / 640 GB | 469 | 17550 | 143K |
| 8× H20 96GB数据中心 | Q5_K_M估 | 718 GB / 768 GB | 777 | 4163 | 753K |
| 8× H100 80GB PCIe数据中心 | Q4_K_M | 631 GB / 640 GB | 460 | 42525 | 143K |
| 8× H100 80GB SXM数据中心 | Q4_K_M | 631 GB / 640 GB | 770 | 55631 | 143K |
| 4× AMD MI300X 192GB数据中心 | Q5_K_M估 | 713 GB / 768 GB | 515 | 36759 | 825K |
| 8× H200 141GB数据中心 | FP8 | 1036 GB / 1128 GB | 654 | 55631 | 2.7M |
| 4× B200 192GB数据中心 | Q5_K_M估 | 713 GB / 768 GB | 777 | 63281 | 825K |
单流（batch=1）估算：解码 ≈ 显存带宽 × 效率 ÷ 每 token 读取字节（激活参数 × 量化位宽 + KV）；预填充 ≈ FP16 算力 × 0.45 ÷ (2 × 激活参数)。多卡按张量并行、带宽求和 × 0.55。实际受引擎、驱动、PCIe 影响，误差 ±30%。反向查：我的卡能跑谁 →
编程SWE-bench Verified 65.8%、LiveCodeBench v6 53.7%（官方）。
推理GPQA Diamond 75.1%、HLE 4.7%（官方）。
数学AIME 2025 49.5%（官方）。
AgentTau2 retail 70.6 / airline 56.5 / telecom 65.8，Terminal-bench 30.0（官方）。
中文中文顶级。
非推理模型中顶级：GPQA 75.1%、AIME 2025 49.5%、LiveCodeBench v6 53.7%、SWE-bench Verified 65.8%（官方）。工具调用与多步 agent 稳定，但没有思考链，深度数学不及推理模型。
- 1.1T 总参 / 32B 激活，SWE-bench Verified 65.8%（官方）
- 2.非思考模式即达强 agent 能力，延迟低
- 3.MuonClip 优化器，15.5T token 训练零 loss spike
- 1.Modified MIT：月活 1 亿或月收 2000 万美元以上需标注 Kimi K2
- 2.1T 权重本地几乎不可行
- 3.0905 版把上下文扩到 256K 并提升前端代码，建议直接用新版
| 基准 | 分数 | 来源 | 日期 | 证据 |
|---|---|---|---|---|
| SWE-bench Verified真实仓库修 bug | 65.8% | Kimi K2 模型卡（LiveCodeBench v6） | 2025-07-11 | 厂商公布 |
| LiveCodeBench竞赛编程 | 53.7% | Kimi K2 模型卡（LiveCodeBench v6） | 2025-07-11 | 厂商公布 |
| GPQA Diamond研究生级科学问答 | 75.1% | Kimi K2 模型卡（LiveCodeBench v6） | 2025-07-11 | 厂商公布 |
| Humanity's Last Exam人类最后考试 | 4.7% | Kimi K2 模型卡（LiveCodeBench v6） | 2025-07-11 | 厂商公布 |
| AIME 2025美国数学邀请赛 | 49.5% | Kimi K2 模型卡（LiveCodeBench v6） | 2025-07-11 | 厂商公布 |
| Terminal-Bench终端 agent | 30% | Kimi K2 模型卡（LiveCodeBench v6） | 2025-07-11 | 厂商公布 |
更新 2026-08-28 · 排名供选型参考，基准会饱和、会泄漏、会过时。