开源权重可下已被替代限制许可 · Databricks Open Model License
DBRX
DBRX · 132B-A36B · Databricks · 发布 2024-03-27 · 已被替代
Databricks 的 132B 细粒度 MoE，短暂的开源榜首。
参数
132B 总 / 36B 激活
MOE
上下文
32K
价格 / 1M tok
自建
无官方 API
最低可跑
4× RTX 3090
Q4_K_M · 83 GB · ≈93 tok/s
Arena Elo—
AA 综合指数—
代码—
GPQA 推理—
架构简图
- 类型
- MoE
- 注意力
- GQA（48 Q 头 / 8 KV 头）
- 层数
- 40
- 专家
- 16 · 激活 4
- 隐藏维
- 6144
- 词表
- 100,352
细粒度 MoE：16 专家 top-4（组合数 65 倍于 Mixtral）；12T token；32K。
完善中
| 精度 | 权重大小 | 说明 |
|---|---|---|
| BF16 | 264 GB估 | 官方精度 |
| FP8 | — | 暂无 |
| Q8 | 140 GB估 | |
| Q4 | 77 GB估 | GGUF Q4_K_M 或等效 |
- 消费级 24GB
- 不可行
- 单卡 80GB
- Q4 约 77 GB 单卡勉强；BF16 4×80GB
- 8×80GB 节点
- BF16 高并发
KV Cache：160 KiB/token。 ≈ 160 KiB/token
⚠ 能加载 ≠ 能在满上下文 / 高并发下舒服跑。标「估」的数字来自 计算器 公式或社区量化文件大小。
完善中
硬件配置与预估吞吐
最低可跑（8K 上下文）
4 × RTX 3090 24GB
二手 ≈¥5,000 × 4 · 合计 ≈¥20,000 · 消费级
量化
Q4_K_M
解码
93 tok/s
最大上下文
93K
推荐配置（≥Q8 · 32K 上下文 · ≥15 tok/s）
2 × A100 80GB
云 ≈$1.5/h × 2 · 合计 ≈¥120,000 · 数据中心
量化
FP8
解码
58 tok/s
最大上下文
328K
| 配置 | 量化 | 占用 / 显存 | 解码 tok/s | 预填充 tok/s | 最大上下文 |
|---|---|---|---|---|---|
| 4× RTX 3090 24GB消费级 | Q4_K_M | 83 GB / 96 GB | 93 | 1775 | 93K |
| 4× RTX 4090 24GB消费级 | Q4_K_M | 83 GB / 96 GB | 100 | 4125 | 93K |
| 4× RTX 5090 32GB消费级 | Q6_K估 | 112 GB / 128 GB | 131 | 5250 | 113K |
| 4× L4 24GB工作站 | Q4_K_M | 83 GB / 96 GB | 30 | 1500 | 93K |
| 2× RTX A6000 48GB工作站 | Q5_K_M估 | 95 GB / 96 GB | 32 | 963 | 16K |
| 2× RTX 6000 Ada 48GB工作站 | Q5_K_M估 | 95 GB / 96 GB | 40 | 1138 | 16K |
| 2× L40S 48GB工作站 | Q5_K_M估 | 95 GB / 96 GB | 36 | 1138 | 16K |
| RTX PRO 6000 Blackwell 96GB工作站 | Q5_K_M估 | 94 GB / 96 GB | 44 | 1563 | 24K |
| 4× A10 24GB数据中心 | Q4_K_M | 83 GB / 96 GB | 59 | 1550 | 93K |
| 4× A100 40GB数据中心 | FP8估 | 137 GB / 160 GB | 93 | 7800 | 297K |
| A100 80GB数据中心 | Q4_K_M | 79 GB / 80 GB | 60 | 1950 | 14K |
| H20 96GB数据中心 | Q5_K_M估 | 94 GB / 96 GB | 99 | 463 | 24K |
| 2× 昇腾 Ascend 910B 64GB数据中心 | Q6_K估 | 109 GB / 128 GB | 58 | 3500 | 128K |
| H100 80GB PCIe数据中心 | Q4_K_M | 79 GB / 80 GB | 59 | 4725 | 14K |
| H100 80GB SXM数据中心 | Q4_K_M | 79 GB / 80 GB | 98 | 6181 | 14K |
| AMD MI300X 192GB数据中心 | FP8估 | 134 GB / 192 GB | 94 | 8169 | 753K |
| H200 141GB数据中心 | FP8估 | 134 GB / 141 GB | 85 | 6181 | 100K |
| B200 192GB数据中心 | FP8估 | 134 GB / 192 GB | 142 | 14063 | 753K |
| DGX Spark 128GB统一内存 | Q6_K估 | 108 GB / 120 GB | 4.5 | 388 | 84K |
| Mac M4 Max 128GB统一内存 | Q6_K估 | 108 GB / 120 GB | 9.1 | 213 | 84K |
| Mac Studio M3 Ultra 256GB统一内存 | FP8估 | 134 GB / 240 GB | 11 | 356 | 1.3M |
| Mac Studio M3 Ultra 512GB统一内存 | BF16 | 266 GB / 490 GB | 5.6 | 356 | 1.4M |
单流（batch=1）估算：解码 ≈ 显存带宽 × 效率 ÷ 每 token 读取字节（激活参数 × 量化位宽 + KV）；预填充 ≈ FP16 算力 × 0.45 ÷ (2 × 激活参数)。多卡按张量并行、带宽求和 × 0.55。实际受引擎、驱动、PCIe 影响，误差 ±30%。反向查：我的卡能跑谁 →
可用维度不足 3 个，不绘制雷达图
编程HumanEval 70.1%（官方）。
数学GSM8K 66.9%（官方）。
知识MMLU 73.7%（官方）。
逻辑能力
2024 年初一线：MMLU 73.7%、GSM8K 66.9%、HumanEval 70.1%（官方）。
亮点
- 1.发布时超越 Mixtral 8x7B / Grok-1，代码 HumanEval 70.1%
- 2.16 选 4 细粒度专家设计早于 DeepSeek 流行
- 3.Databricks 平台原生集成
坑
- 1.许可限制月活 7 亿并禁止用输出训练他模
- 2.仅 Databricks 生态活跃，社区量化少
- 3.三周后被 Llama 3 70B 超越，系列无后续
适合：MoE 设计研究 · Databricks 平台用户
不适合：新项目
暂无带来源的分数。
更新 2026-08-28 · 排名供选型参考，基准会饱和、会泄漏、会过时。