开源权重可下单卡可跑已被替代限制许可 · Baichuan 2 Community License（Apache-2.0 代码）
Baichuan2-13B
百川 2 · 13B · Baichuan 百川智能 · 发布 2023-09-06 · 已被替代
2023 年中文开源热潮的代表，13B 中文当年领先。
参数
13.9B
DENSE
上下文
4K
价格 / 1M tok
自建
无官方 API
最低可跑
RTX 4060 Ti
Q4_K_M · 16 GB · ≈13 tok/s
Arena Elo—
AA 综合指数—
代码—
GPQA 推理—
架构简图
- 类型
- Dense
- 注意力
- MHA（40 头）+ ALiBi
- 层数
- 40
- 隐藏维
- 5120
- 词表
- 125,696
2.6T 中英 token；ALiBi 位置编码；上下文 4K。
完善中
| 精度 | 权重大小 | 说明 |
|---|---|---|
| BF16 | 28 GB估 | 官方精度 |
| FP8 | — | 暂无 |
| Q8 | 15 GB估 | |
| Q4 | 8.1 GB估 | GGUF Q4_K_M 或等效 |
- 消费级 24GB
- BF16 27.8 GB 超 24GB；int8 官方版 14 GB 可跑
- 单卡 80GB
- BF16 单卡
- 8×80GB 节点
- 过剩
KV Cache：MHA：40×128×2×40×2 B = 800 KiB/token。 ≈ 800 KiB/token
⚠ 能加载 ≠ 能在满上下文 / 高并发下舒服跑。标「估」的数字来自 计算器 公式或社区量化文件大小。
完善中
硬件配置与预估吞吐
最低可跑（8K 上下文）
RTX 4060 Ti 16GB
≈¥3,500 · 合计 ≈¥3,500 · 消费级
量化
Q4_K_M
解码
13 tok/s
最大上下文
9K
推荐配置（≥Q8 · 32K 上下文 · ≥15 tok/s）
2 × RTX 3090 24GB
二手 ≈¥5,000 × 2 · 合计 ≈¥10,000 · 消费级
量化
FP8
解码
38 tok/s
最大上下文
81K
| 配置 | 量化 | 占用 / 显存 | 解码 tok/s | 预填充 tok/s | 最大上下文 |
|---|---|---|---|---|---|
| 2× RTX 3060 12GB消费级 | FP8估 | 19 GB / 24 GB | 23 | 809 | 20K |
| RTX 4060 Ti 16GB消费级 | Q4_K_M | 16 GB / 16 GB | 13 | 356 | 9K |
| RTX 3090 24GB消费级 | FP8估 | 18 GB / 24 GB | 35 | 1149 | 23K |
| RTX 4070 Ti Super 16GB消费级 | Q4_K_M | 16 GB / 16 GB | 30 | 712 | 9K |
| RTX 5070 Ti 16GB消费级 | Q4_K_M | 16 GB / 16 GB | 39 | 1424 | 9K |
| RTX 4080 Super 16GB消费级 | Q4_K_M | 16 GB / 16 GB | 32 | 842 | 9K |
| RTX 5080 16GB消费级 | Q4_K_M | 16 GB / 16 GB | 42 | 1813 | 9K |
| RTX 4090 24GB消费级 | FP8估 | 18 GB / 24 GB | 38 | 2671 | 23K |
| RTX 5090 32GB消费级 | FP8估 | 18 GB / 32 GB | 68 | 3399 | 43K |
| L4 24GB工作站 | FP8估 | 18 GB / 24 GB | 11 | 971 | 23K |
| RTX A6000 48GB工作站 | BF16 | 35 GB / 48 GB | 14 | 1246 | 24K |
| RTX 6000 Ada 48GB工作站 | BF16 | 35 GB / 48 GB | 18 | 1473 | 24K |
| L40S 48GB工作站 | BF16 | 35 GB / 48 GB | 16 | 1473 | 24K |
| RTX PRO 6000 Blackwell 96GB工作站 | BF16 | 35 GB / 96 GB | 34 | 4047 | 86K |
| A10 24GB数据中心 | FP8估 | 18 GB / 24 GB | 23 | 1004 | 23K |
| A100 40GB数据中心 | BF16 | 35 GB / 40 GB | 29 | 5050 | 14K |
| A100 80GB数据中心 | BF16 | 35 GB / 80 GB | 38 | 5050 | 65K |
| H20 96GB数据中心 | BF16 | 35 GB / 96 GB | 75 | 1198 | 86K |
| 昇腾 Ascend 910B 64GB数据中心 | BF16 | 35 GB / 64 GB | 30 | 4532 | 45K |
| H100 80GB PCIe数据中心 | BF16 | 35 GB / 80 GB | 38 | 12237 | 65K |
| H100 80GB SXM数据中心 | BF16 | 35 GB / 80 GB | 63 | 16009 | 65K |
| AMD MI300X 192GB数据中心 | BF16 | 35 GB / 192 GB | 100 | 21156 | 209K |
| H200 141GB数据中心 | BF16 | 35 GB / 141 GB | 90 | 16009 | 143K |
| B200 192GB数据中心 | BF16 | 35 GB / 192 GB | 151 | 36421 | 209K |
| Mac M4 Pro 64GB统一内存 | BF16 | 35 GB / 56 GB | 4.0 | 275 | 35K |
| DGX Spark 128GB统一内存 | BF16 | 35 GB / 120 GB | 4.0 | 1004 | 116K |
| Mac M4 Max 128GB统一内存 | BF16 | 35 GB / 120 GB | 7.9 | 550 | 116K |
| Mac Studio M3 Ultra 256GB统一内存 | BF16 | 35 GB / 240 GB | 12 | 923 | 270K |
| Mac Studio M3 Ultra 512GB统一内存 | BF16 | 35 GB / 490 GB | 12 | 923 | 590K |
单流（batch=1）估算：解码 ≈ 显存带宽 × 效率 ÷ 每 token 读取字节（激活参数 × 量化位宽 + KV）；预填充 ≈ FP16 算力 × 0.45 ÷ (2 × 激活参数)。多卡按张量并行、带宽求和 × 0.55。实际受引擎、驱动、PCIe 影响，误差 ±30%。反向查：我的卡能跑谁 →
可用维度不足 3 个，不绘制雷达图
知识MMLU 59.2%（官方基座）。
中文C-Eval 58.1%、CMMLU 62.0%（官方基座）。
逻辑能力
2023 年 13B 水平：MMLU 59.2%、C-Eval 58.1%（官方基座）。
亮点
- 1.2.6T 中英 token，C-Eval / CMMLU 当年同尺寸最高
- 2.公开全部训练中间检查点，学术价值高
- 3.官方 int8 / int4 量化版
坑
- 1.上下文 4K，MHA KV 大
- 2.自定义模型代码，新框架兼容差
- 3.商用需登记；百川后续转向闭源
适合：历史对照 / 中文预训练研究
不适合：新项目
暂无带来源的分数。
更新 2026-08-28 · 排名供选型参考，基准会饱和、会泄漏、会过时。