开源权重可下单卡可跑已被替代限制许可 · Apache-2.0（权重需申请商用授权，免费）
InternLM2.5-20B
书生·浦语 2.5 · 20B · Shanghai AI Lab 上海人工智能实验室 · 发布 2024-08-05 · 已被替代
上海 AI Lab 的 20B，主打百万上下文与工具调用。
参数
19.9B
DENSE
上下文
256K（1M 需 LMDeploy）
价格 / 1M tok
自建
无官方 API
最低可跑
RTX 4060 Ti
Q4_K_M · 15 GB · ≈14 tok/s
Arena Elo—
AA 综合指数—
代码—
GPQA 推理—
架构简图
- 类型
- Dense
- 注意力
- GQA（48 Q 头 / 8 KV 头）
- 层数
- 48
- 隐藏维
- 6144
- 词表
- 92,544
1M 上下文能力（需 LMDeploy）；工具调用与 MindSearch 集成。
完善中
| 精度 | 权重大小 | 说明 |
|---|---|---|
| BF16 | 40 GB | 官方精度 |
| FP8 | — | 暂无 |
| Q8 | 21 GB | |
| Q4 | 12 GB | GGUF Q4_K_M 或等效 |
- 消费级 24GB
- Q4 12 GB 可跑 32K；BF16 39.8 GB 超 24GB
- 单卡 80GB
- BF16 单卡长上下文
- 8×80GB 节点
- 过剩
KV Cache：192 KiB/token。 ≈ 192 KiB/token
⚠ 能加载 ≠ 能在满上下文 / 高并发下舒服跑。标「估」的数字来自 计算器 公式或社区量化文件大小。
完善中
硬件配置与预估吞吐
最低可跑（8K 上下文）
RTX 4060 Ti 16GB
≈¥3,500 · 合计 ≈¥3,500 · 消费级
量化
Q4_K_M
解码
14 tok/s
最大上下文
15K
推荐配置（≥Q8 · 32K 上下文 · ≥15 tok/s）
2 × RTX 4070 Ti Super 16GB
≈¥6,000 × 2 · 合计 ≈¥12,000 · 消费级
量化
FP8
解码
32 tok/s
最大上下文
103K
| 配置 | 量化 | 占用 / 显存 | 解码 tok/s | 预填充 tok/s | 最大上下文 |
|---|---|---|---|---|---|
| 2× RTX 3060 12GB消费级 | FP8估 | 23 GB / 24 GB | 19 | 565 | 18K |
| RTX 4060 Ti 16GB消费级 | Q4_K_M | 15 GB / 16 GB | 14 | 249 | 15K |
| RTX 3090 24GB消费级 | FP8估 | 22 GB / 24 GB | 29 | 803 | 31K |
| RTX 4070 Ti Super 16GB消费级 | Q4_K_M | 15 GB / 16 GB | 33 | 497 | 15K |
| RTX 5070 Ti 16GB消费级 | Q4_K_M | 15 GB / 16 GB | 44 | 995 | 15K |
| RTX 4080 Super 16GB消费级 | Q4_K_M | 15 GB / 16 GB | 36 | 588 | 15K |
| RTX 5080 16GB消费级 | Q4_K_M | 15 GB / 16 GB | 47 | 1266 | 15K |
| RTX 4090 24GB消费级 | FP8估 | 22 GB / 24 GB | 32 | 1866 | 31K |
| RTX 5090 32GB消费级 | FP8估 | 22 GB / 32 GB | 56 | 2374 | 116K |
| L4 24GB工作站 | FP8估 | 22 GB / 24 GB | 9.4 | 678 | 31K |
| RTX A6000 48GB工作站 | BF16 | 43 GB / 48 GB | 12 | 871 | 37K |
| RTX 6000 Ada 48GB工作站 | BF16 | 43 GB / 48 GB | 15 | 1029 | 37K |
| L40S 48GB工作站 | BF16 | 43 GB / 48 GB | 14 | 1029 | 37K |
| RTX PRO 6000 Blackwell 96GB工作站 | BF16 | 43 GB / 96 GB | 28 | 2827 | 293K |
| A10 24GB数据中心 | FP8估 | 22 GB / 24 GB | 19 | 701 | 31K |
| A100 40GB数据中心 | FP8估 | 22 GB / 40 GB | 49 | 3528 | 202K |
| A100 80GB数据中心 | BF16 | 43 GB / 80 GB | 32 | 3528 | 208K |
| H20 96GB数据中心 | BF16 | 43 GB / 96 GB | 63 | 837 | 293K |
| 昇腾 Ascend 910B 64GB数据中心 | BF16 | 43 GB / 64 GB | 25 | 3166 | 123K |
| H100 80GB PCIe数据中心 | BF16 | 43 GB / 80 GB | 31 | 8548 | 208K |
| H100 80GB SXM数据中心 | BF16 | 43 GB / 80 GB | 53 | 11182 | 208K |
| AMD MI300X 192GB数据中心 | BF16 | 43 GB / 192 GB | 83 | 14778 | 805K |
| H200 141GB数据中心 | BF16 | 43 GB / 141 GB | 75 | 11182 | 533K |
| B200 192GB数据中心 | BF16 | 43 GB / 192 GB | 126 | 25440 | 805K |
| Mac M4 Pro 64GB统一内存 | BF16 | 43 GB / 56 GB | 3.3 | 192 | 80K |
| DGX Spark 128GB统一内存 | BF16 | 43 GB / 120 GB | 3.3 | 701 | 421K |
| Mac M4 Max 128GB统一内存 | BF16 | 43 GB / 120 GB | 6.6 | 384 | 421K |
| Mac Studio M3 Ultra 256GB统一内存 | BF16 | 43 GB / 240 GB | 9.9 | 644 | 1.0M |
| Mac Studio M3 Ultra 512GB统一内存 | BF16 | 43 GB / 490 GB | 9.9 | 644 | 2.3M |
单流（batch=1）估算：解码 ≈ 显存带宽 × 效率 ÷ 每 token 读取字节（激活参数 × 量化位宽 + KV）；预填充 ≈ FP16 算力 × 0.45 ÷ (2 × 激活参数)。多卡按张量并行、带宽求和 × 0.55。实际受引擎、驱动、PCIe 影响，误差 ±30%。反向查：我的卡能跑谁 →
可用维度不足 3 个，不绘制雷达图
数学MATH 64.7%（官方）。
知识MMLU 73.5%（官方）。
Agent工具调用与 Lagent 框架集成。
中文中文强。
逻辑能力
20B 中上：MATH 64.7%、MMLU 73.5%（官方）。
亮点
- 1.1M 上下文（LMDeploy），大海捞针接近满分
- 2.MATH 64.7%（官方）当年 20B 领先
- 3.LMDeploy / XTuner / OpenCompass 全套自研工具链
坑
- 1.商用需邮件申请授权（免费）
- 2.国际生态与社区量化较少
- 3.InternLM3 仅出 8B，20B 无后续
适合：中文长文本 · 国产工具链部署
不适合：需 Apache 无条件商用
暂无带来源的分数。
更新 2026-08-28 · 排名供选型参考，基准会饱和、会泄漏、会过时。