开源权重可下已被替代限制许可 · Falcon-180B TII License
Falcon 180B
Falcon · 180B · TII 阿联酋 TII · 发布 2023-09-06 · 已被替代
2023 年最大开放权重 Dense，RefinedWeb 数据的代表。
参数
180B
DENSE
上下文
2K
价格 / 1M tok
自建
无官方 API
最低可跑
DGX Spark
Q4_K_M · 111 GB · ≈1.3 tok/s
Arena Elo—
AA 综合指数—
代码—
GPQA 推理—
架构简图
- 类型
- Dense
- 注意力
- 多组查询注意力（232 Q 头 / 8 KV 头，head_dim 64）
- 层数
- 80
- 隐藏维
- 14848
- 词表
- 65,024
3.5T RefinedWeb token；并行注意力 + FFN；上下文 2K。
完善中
| 精度 | 权重大小 | 说明 |
|---|---|---|
| BF16 | 360 GB | 官方精度 |
| FP8 | — | 暂无 |
| Q8 | 191 GB | |
| Q4 | 109 GB | GGUF Q4_K_M 或等效 |
- 消费级 24GB
- 不可行
- 单卡 80GB
- Q4 108.6 GB 需 2×80GB；BF16 5×80GB
- 8×80GB 节点
- BF16 高并发
KV Cache：8×64×2×80×2 B = 160 KiB/token。 ≈ 160 KiB/token
⚠ 能加载 ≠ 能在满上下文 / 高并发下舒服跑。标「估」的数字来自 计算器 公式或社区量化文件大小。
完善中
硬件配置与预估吞吐
最低可跑（8K 上下文）
DGX Spark 128GB
≈¥30,000 · 合计 ≈¥30,000 · 统一内存
量化
Q4_K_M
解码
1.3 tok/s
最大上下文
65K
推荐配置（≥Q8 · 32K 上下文 · ≥15 tok/s）
2 × H20 96GB
≈¥100,000 × 2 · 合计 ≈¥200,000 · 数据中心
量化
FP8
解码
24 tok/s
最大上下文
123K
| 配置 | 量化 | 占用 / 显存 | 解码 tok/s | 预填充 tok/s | 最大上下文 |
|---|---|---|---|---|---|
| 4× RTX 5090 32GB消费级 | Q4_K_M | 115 GB / 128 GB | 37 | 1050 | 93K |
| 8× L4 24GB工作站 | FP8估 | 190 GB / 192 GB | 7.3 | 600 | 31K |
| 4× RTX A6000 48GB工作站 | FP8估 | 185 GB / 192 GB | 9.4 | 385 | 92K |
| 4× RTX 6000 Ada 48GB工作站 | FP8估 | 185 GB / 192 GB | 12 | 455 | 92K |
| 4× L40S 48GB工作站 | FP8估 | 185 GB / 192 GB | 11 | 455 | 92K |
| 2× RTX PRO 6000 Blackwell 96GB工作站 | FP8估 | 183 GB / 192 GB | 11 | 625 | 123K |
| 8× A10 24GB数据中心 | FP8估 | 190 GB / 192 GB | 15 | 620 | 31K |
| 4× A100 40GB数据中心 | Q6_K估 | 150 GB / 160 GB | 24 | 1560 | 72K |
| 2× A100 80GB数据中心 | Q6_K估 | 148 GB / 160 GB | 15 | 780 | 87K |
| 2× H20 96GB数据中心 | FP8估 | 183 GB / 192 GB | 24 | 185 | 123K |
| 2× 昇腾 Ascend 910B 64GB数据中心 | Q5_K_M估 | 128 GB / 128 GB | 14 | 700 | 9K |
| 2× H100 80GB PCIe数据中心 | Q6_K估 | 148 GB / 160 GB | 15 | 1890 | 87K |
| 2× H100 80GB SXM数据中心 | Q6_K估 | 148 GB / 160 GB | 25 | 2473 | 87K |
| AMD MI300X 192GB数据中心 | FP8估 | 182 GB / 192 GB | 19 | 1634 | 138K |
| H200 141GB数据中心 | Q5_K_M估 | 127 GB / 141 GB | 25 | 1236 | 100K |
| B200 192GB数据中心 | FP8估 | 182 GB / 192 GB | 29 | 2813 | 138K |
| DGX Spark 128GB统一内存 | Q4_K_M | 111 GB / 120 GB | 1.3 | 78 | 65K |
| Mac M4 Max 128GB统一内存 | Q4_K_M | 111 GB / 120 GB | 2.6 | 43 | 65K |
| Mac Studio M3 Ultra 256GB统一内存 | FP8估 | 182 GB / 240 GB | 2.3 | 71 | 753K |
| Mac Studio M3 Ultra 512GB统一内存 | BF16 | 362 GB / 490 GB | 1.1 | 71 | 824K |
单流（batch=1）估算：解码 ≈ 显存带宽 × 效率 ÷ 每 token 读取字节（激活参数 × 量化位宽 + KV）；预填充 ≈ FP16 算力 × 0.45 ÷ (2 × 激活参数)。多卡按张量并行、带宽求和 × 0.55。实际受引擎、驱动、PCIe 影响，误差 ±30%。反向查：我的卡能跑谁 →
可用维度不足 3 个，不绘制雷达图
知识MMLU 70.6%（官方）。
中文弱。
逻辑能力
MMLU 70.6%（官方基座），推理能力 2023 年水平。
亮点
- 1.发布时 HF 开源榜第一，规模 2.5 倍于 Llama 2 70B
- 2.RefinedWeb 证明纯网页数据可训出强模型
- 3.多组查询注意力早期实践
坑
- 1.上下文仅 2K
- 2.许可禁止托管服务（需单独授权）
- 3.能力被 Llama 2 70B 微调版轻松追平，性价比极差
适合：历史对照
不适合：任何生产场景
暂无带来源的分数。
更新 2026-08-28 · 排名供选型参考，基准会饱和、会泄漏、会过时。