开源权重可下推理模型·可关多模态可商用 · Apache-2.0
Command A+
Cohere Command A+ · Cohere · 发布 2026-05-20 · 当前代
Cohere 首个 Apache-2.0 开源 MoE，218B，48 语言。
参数
218B 总 / 25B 激活
MOE
上下文
128K
输出 64K
价格 / 1M tok
自建
无官方 API
最低可跑
Mac Studio M3 Ultra
FP8 · 220 GB · ≈16 tok/s
Arena Elo—
AA 综合指数23
2026-08-28
代码—
GPQA 推理76.1
2026-08-28
架构简图
- 类型
- MoE
- 注意力
- 混合：3 层 4096 滑窗 + 1 层全注意力交替，128 Q / 8 KV
- 层数
- 32
- 专家
- 128 · 激活 8 + 共享
- 隐藏维
- 4096
- 词表
- 262,144
Cohere 首个 MoE，sigmoid token-choice 路由，4 共享专家；SigLIP 视觉编码器。官方 W4A4 量化宣称无损。
完善中
| 精度 | 权重大小 | 说明 |
|---|---|---|
| BF16 | 436 GB估 | 官方精度 |
| FP8 | 218 GB估 | |
| Q8 | 232 GB估 | |
| Q4 | 126 GB估 | GGUF Q4_K_M 或等效 |
- 消费级 24GB
- 未评估
- 单卡 80GB
- 官方 W4A4 需 2×H100 或 1×B200
- 8×80GB 节点
- BF16 官方 8×H100
⚠ 能加载 ≠ 能在满上下文 / 高并发下舒服跑。标「估」的数字来自 计算器 公式或社区量化文件大小。
完善中
硬件配置与预估吞吐
最低可跑（8K 上下文）
Mac Studio M3 Ultra 256GB
≈¥50,000 · 合计 ≈¥50,000 · 统一内存
量化
FP8
解码
16 tok/s
最大上下文
333K
推荐配置（≥Q8 · 32K 上下文 · ≥15 tok/s）
Mac Studio M3 Ultra 256GB
≈¥50,000 · 合计 ≈¥50,000 · 统一内存
量化
FP8
解码
15 tok/s
最大上下文
333K
| 配置 | 量化 | 占用 / 显存 | 解码 tok/s | 预填充 tok/s | 最大上下文 |
|---|---|---|---|---|---|
| 8× L4 24GB工作站 | Q6_K估 | 185 GB / 192 GB | 63 | 4320 | 64K |
| 4× RTX A6000 48GB工作站 | Q6_K估 | 180 GB / 192 GB | 80 | 2772 | 102K |
| 4× RTX 6000 Ada 48GB工作站 | Q6_K估 | 180 GB / 192 GB | 100 | 3276 | 102K |
| 4× L40S 48GB工作站 | Q6_K估 | 180 GB / 192 GB | 90 | 3276 | 102K |
| 2× RTX PRO 6000 Blackwell 96GB工作站 | Q6_K估 | 178 GB / 192 GB | 94 | 4500 | 122K |
| 8× A10 24GB数据中心 | Q6_K估 | 185 GB / 192 GB | 125 | 4464 | 64K |
| 4× A100 40GB数据中心 | Q5_K_M估 | 156 GB / 160 GB | 187 | 11232 | 38K |
| 2× A100 80GB数据中心 | Q5_K_M估 | 154 GB / 160 GB | 122 | 5616 | 57K |
| 2× H20 96GB数据中心 | Q6_K估 | 178 GB / 192 GB | 209 | 1332 | 122K |
| 4× 昇腾 Ascend 910B 64GB数据中心 | FP8 | 223 GB / 256 GB | 138 | 10080 | 531K |
| 2× H100 80GB PCIe数据中心 | Q5_K_M估 | 154 GB / 160 GB | 120 | 13608 | 57K |
| 2× H100 80GB SXM数据中心 | Q5_K_M估 | 154 GB / 160 GB | 201 | 17802 | 57K |
| AMD MI300X 192GB数据中心 | Q6_K估 | 177 GB / 192 GB | 163 | 11763 | 131K |
| H200 141GB数据中心 | Q4_K_M | 128 GB / 141 GB | 200 | 8901 | 110K |
| B200 192GB数据中心 | Q6_K估 | 177 GB / 192 GB | 247 | 20250 | 131K |
| 2× DGX Spark 128GB统一内存 | FP8 | 221 GB / 240 GB | 11 | 1116 | 314K |
| Mac Studio M3 Ultra 256GB统一内存 | FP8 | 220 GB / 240 GB | 16 | 513 | 333K |
| Mac Studio M3 Ultra 512GB统一内存 | BF16 | 438 GB / 490 GB | 8.0 | 513 | 422K |
单流（batch=1）估算：解码 ≈ 显存带宽 × 效率 ÷ 每 token 读取字节（激活参数 × 量化位宽 + KV）；预填充 ≈ FP16 算力 × 0.45 ÷ (2 × 激活参数)。多卡按张量并行、带宽求和 × 0.55。实际受引擎、驱动、PCIe 影响，误差 ±30%。反向查：我的卡能跑谁 →
推理GPQA Diamond 约 76%、HLE 约 11%（Artificial Analysis 报道）。
数学AIME 2025 90%（Artificial Analysis 报道）。
多模态MMMU-Pro 63%（Artificial Analysis 报道）。
中文官方 48 语言含中文。
逻辑能力
考试型推理数学强（AIME 90%）但 GPQA 约 76%、HLE 约 11% 平平；工程型推理 Terminal-Bench Hard 约 25% 偏弱。
亮点
- 1.Apache-2.0，Cohere 首个完全开源模型
- 2.原生引用溯源（citation），48 种语言含中文
- 3.AIME 2025 90%（AA 报道），W4A4 无损量化 2×H100 可跑
坑
- 1.AA 智能指数 23，通用推理仅 Haiku 4.5 级
- 2.128K 上下文，低于同级 256K+
- 3.官方未公布 API 价格与完整评测表
适合：企业 RAG / 引用溯源 · 多语言翻译与文档处理
不适合：编程 agent 主力 · 单卡部署
| 基准 | 分数 | 来源 | 日期 | 证据 |
|---|---|---|---|---|
| Artificial Analysis Intelligence IndexAA 综合指数 | 23 | Artificial Analysis Intelligence Index v3 | 2026-08-28 | 独立复测 |
| Artificial Analysis Intelligence IndexAA 综合指数 | 23 | Artificial Analysis (v4.1.1) | 2026-08-28 | 独立复测 |
| GPQA Diamond研究生级科学问答 | 76.1% | Artificial Analysis (v4.1.1) | 2026-08-28 | 独立复测 |
| Humanity's Last Exam人类最后考试 | 12% | Artificial Analysis (v4.1.1) | 2026-08-28 | 独立复测 |
| SciCode科学计算编程 | 37.8% | Artificial Analysis (v4.1.1) | 2026-08-28 | 独立复测 |
| Terminal-Bench Hard终端 agent（AA 困难子集） | 25% | Artificial Analysis (v4.1.1) | 2026-08-28 | 独立复测 |
| τ²-Bench Telecom工具调用 agent（电信域） | 80.7% | Artificial Analysis (v4.1.1) | 2026-08-28 | 独立复测 |
| MMMU-Pro多模态理解（Pro） | 63.2% | Artificial Analysis (v4.1.1) | 2026-08-28 | 独立复测 |
| IFBench指令遵循 | 73.9% | Artificial Analysis (v4.1.1) | 2026-08-28 | 独立复测 |
| Terminal-Bench终端 agent | 22.8% | Artificial Analysis · Terminal-Bench 2.1 | 2026-08-28 | 独立复测 |
| τ³-Bench Banking工具调用 agent（银行域） | 6% | Artificial Analysis · τ³-Bench Banking | 2026-08-28 | 独立复测 |
更新 2026-08-28 · 排名供选型参考，基准会饱和、会泄漏、会过时。