开源权重可下已被替代不可商用 · CC-BY-NC-4.0（附 Cohere 可接受使用政策）
Command R+
Command R+ · 104B · Cohere · 发布 2024-04-04 · 已被替代 → Command A+
企业 RAG 专用的 104B，带引用溯源的工具调用先驱。
参数
104B
DENSE
上下文
128K
价格 / 1M tok
$2.50 / $10
Cohere 官方 API（ · 2026-08-28
最低可跑
4× RTX 3090
Q6_K · 90 GB · ≈24 tok/s
Arena Elo—
AA 综合指数—
代码—
GPQA 推理—
架构简图
- 类型
- Dense
- 注意力
- GQA（96 Q 头 / 8 KV 头）
- 层数
- 64
- 隐藏维
- 12288
- 词表
- 256,000
RAG 与工具调用原生模板（引用溯源）；10 语言；128K。
完善中
| 精度 | 权重大小 | 说明 |
|---|---|---|
| BF16 | 208 GB | 官方精度 |
| FP8 | — | 暂无 |
| Q8 | 110 GB | |
| Q4 | 63 GB | GGUF Q4_K_M 或等效 |
- 消费级 24GB
- 不可行
- 单卡 80GB
- Q4 62.8 GB 单卡可跑；BF16 3×80GB
- 8×80GB 节点
- BF16 高并发
KV Cache：256 KiB/token。 ≈ 256 KiB/token
⚠ 能加载 ≠ 能在满上下文 / 高并发下舒服跑。标「估」的数字来自 计算器 公式或社区量化文件大小。
完善中
硬件配置与预估吞吐
最低可跑（8K 上下文）
4 × RTX 3090 24GB
二手 ≈¥5,000 × 4 · 合计 ≈¥20,000 · 消费级
量化
Q6_K
解码
24 tok/s
最大上下文
32K
推荐配置（≥Q8 · 32K 上下文 · ≥15 tok/s）
4 × RTX 5090 32GB
≈¥16,000 × 4 · 合计 ≈¥64,000 · 消费级
量化
FP8
解码
36 tok/s
最大上下文
154K
| 配置 | 量化 | 占用 / 显存 | 解码 tok/s | 预填充 tok/s | 最大上下文 |
|---|---|---|---|---|---|
| 4× RTX 3090 24GB消费级 | Q6_K估 | 90 GB / 96 GB | 24 | 614 | 32K |
| 4× RTX 4090 24GB消费级 | Q6_K估 | 90 GB / 96 GB | 26 | 1428 | 32K |
| 4× RTX 5090 32GB消费级 | FP8估 | 110 GB / 128 GB | 38 | 1817 | 154K |
| 4× L4 24GB工作站 | Q6_K估 | 90 GB / 96 GB | 7.7 | 519 | 32K |
| 2× RTX A6000 48GB工作站 | Q6_K估 | 88 GB / 96 GB | 9.9 | 333 | 42K |
| 2× RTX 6000 Ada 48GB工作站 | Q6_K估 | 88 GB / 96 GB | 12 | 394 | 42K |
| 2× L40S 48GB工作站 | Q6_K估 | 88 GB / 96 GB | 11 | 394 | 42K |
| RTX PRO 6000 Blackwell 96GB工作站 | Q6_K估 | 86 GB / 96 GB | 14 | 541 | 46K |
| 4× A10 24GB数据中心 | Q6_K估 | 90 GB / 96 GB | 15 | 537 | 32K |
| 2× A100 40GB数据中心 | Q5_K_M估 | 76 GB / 80 GB | 23 | 1350 | 23K |
| A100 80GB数据中心 | Q5_K_M估 | 75 GB / 80 GB | 18 | 675 | 28K |
| H20 96GB数据中心 | Q6_K估 | 86 GB / 96 GB | 30 | 160 | 46K |
| 2× 昇腾 Ascend 910B 64GB数据中心 | FP8估 | 107 GB / 128 GB | 17 | 1212 | 173K |
| H100 80GB PCIe数据中心 | Q5_K_M估 | 75 GB / 80 GB | 18 | 1636 | 28K |
| H100 80GB SXM数据中心 | Q5_K_M估 | 75 GB / 80 GB | 29 | 2140 | 28K |
| AMD MI300X 192GB数据中心 | FP8估 | 106 GB / 192 GB | 33 | 2828 | 694K |
| H200 141GB数据中心 | FP8估 | 106 GB / 141 GB | 30 | 2140 | 286K |
| B200 192GB数据中心 | FP8估 | 106 GB / 192 GB | 49 | 4868 | 694K |
| DGX Spark 128GB统一内存 | FP8估 | 106 GB / 120 GB | 1.3 | 134 | 118K |
| Mac M4 Max 128GB统一内存 | FP8估 | 106 GB / 120 GB | 2.6 | 74 | 118K |
| Mac Studio M3 Ultra 256GB统一内存 | BF16 | 211 GB / 240 GB | 1.9 | 123 | 123K |
| Mac Studio M3 Ultra 512GB统一内存 | BF16 | 211 GB / 490 GB | 1.9 | 123 | 1.1M |
单流（batch=1）估算：解码 ≈ 显存带宽 × 效率 ÷ 每 token 读取字节（激活参数 × 量化位宽 + KV）；预填充 ≈ FP16 算力 × 0.45 ÷ (2 × 激活参数)。多卡按张量并行、带宽求和 × 0.55。实际受引擎、驱动、PCIe 影响，误差 ±30%。反向查：我的卡能跑谁 →
可用维度不足 3 个，不绘制雷达图
Agent多步工具调用、引用溯源原生。
中文中文为 10 语言之一，可用。
逻辑能力
非推理模型 2024 年中游：MMLU 75.7%（社区测），RAG 场景表现优于同期开源，纯推理一般。
亮点
- 1.RAG 引用（grounded generation）与多步工具调用原生模板
- 2.128K 上下文，10 种商业语言
- 3.发布时 Arena 开源第一，击败 GPT-4 早期版
坑
- 1.CC-BY-NC，权重禁止商用（只能走 API）
- 2.104B Dense 显存大
- 3.被 Command A（111B，2025-03）取代
适合：企业 RAG 原型（非商用） · 多语言检索问答
不适合：商用自部署 · 数学 / 代码
暂无带来源的分数。
更新 2026-08-28 · 排名供选型参考，基准会饱和、会泄漏、会过时。