开源权重可下已被替代可商用 · Apache-2.0
ERNIE 4.5 300B-A47B
文心 4.5 · 300B-A47B · Baidu 百度 · 发布 2025-06-30 · 已被替代
百度首次开源旗舰，Apache-2.0 的 300B MoE。
参数
300B 总 / 47B 激活
MOE
上下文
128K
价格 / 1M tok
自建
无官方 API
最低可跑
Mac Studio M3 Ultra
Q5_K_M · 210 GB · ≈12 tok/s
Arena Elo—
AA 综合指数—
代码—
GPQA 推理—
架构简图
- 类型
- MoE
- 注意力
- GQA（64 Q 头 / 8 KV 头）
- 层数
- 54
- 专家
- 64 · 激活 8 + 共享
- 隐藏维
- 8192
- 词表
- 103,424
异构多模态 MoE 预训练后的纯文本后训练版；64 文本专家 top-8 + 共享；128K；PaddlePaddle 原生。
完善中
| 精度 | 权重大小 | 说明 |
|---|---|---|
| BF16 | 600 GB | 官方精度 |
| FP8 | 300 GB | |
| Q8 | 318 GB | |
| Q4 | 180 GB | GGUF Q4_K_M 或等效 |
- 消费级 24GB
- 不可行
- 单卡 80GB
- 不可行（单卡）；官方 W4A8 版 4×80GB
- 8×80GB 节点
- BF16 600 GB 需 8×80GB（紧）；官方 2-bit 版单机可跑
KV Cache：216 KiB/token。 ≈ 216 KiB/token
⚠ 能加载 ≠ 能在满上下文 / 高并发下舒服跑。标「估」的数字来自 计算器 公式或社区量化文件大小。
完善中
硬件配置与预估吞吐
最低可跑（8K 上下文）
Mac Studio M3 Ultra 256GB
≈¥50,000 · 合计 ≈¥50,000 · 统一内存
量化
Q5_K_M
解码
12 tok/s
最大上下文
151K
推荐配置（≥Q8 · 32K 上下文 · ≥15 tok/s）
4 × A100 80GB
云 ≈$1.5/h × 4 · 合计 ≈¥240,000 · 数据中心
量化
FP8
解码
89 tok/s
最大上下文
144K
| 配置 | 量化 | 占用 / 显存 | 解码 tok/s | 预填充 tok/s | 最大上下文 |
|---|---|---|---|---|---|
| 8× L4 24GB工作站 | Q4_K_M | 191 GB / 192 GB | 45 | 2298 | 10K |
| 4× RTX A6000 48GB工作站 | Q4_K_M | 187 GB / 192 GB | 58 | 1474 | 33K |
| 4× RTX 6000 Ada 48GB工作站 | Q4_K_M | 187 GB / 192 GB | 73 | 1743 | 33K |
| 4× L40S 48GB工作站 | Q4_K_M | 187 GB / 192 GB | 65 | 1743 | 33K |
| 2× RTX PRO 6000 Blackwell 96GB工作站 | Q4_K_M | 184 GB / 192 GB | 68 | 2394 | 45K |
| 8× A10 24GB数据中心 | Q4_K_M | 191 GB / 192 GB | 91 | 2374 | 10K |
| 8× A100 40GB数据中心 | FP8 | 310 GB / 320 GB | 143 | 11949 | 99K |
| 4× A100 80GB数据中心 | FP8 | 306 GB / 320 GB | 94 | 5974 | 144K |
| 2× H20 96GB数据中心 | Q4_K_M | 184 GB / 192 GB | 151 | 709 | 45K |
| 4× 昇腾 Ascend 910B 64GB数据中心 | Q6_K估 | 246 GB / 256 GB | 89 | 5362 | 53K |
| 4× H100 80GB PCIe数据中心 | FP8 | 306 GB / 320 GB | 92 | 14477 | 144K |
| 4× H100 80GB SXM数据中心 | FP8 | 306 GB / 320 GB | 154 | 18938 | 144K |
| AMD MI300X 192GB数据中心 | Q4_K_M | 183 GB / 192 GB | 118 | 6257 | 50K |
| 2× H200 141GB数据中心 | Q6_K估 | 244 GB / 282 GB | 134 | 9469 | 188K |
| B200 192GB数据中心 | Q4_K_M | 183 GB / 192 GB | 179 | 10771 | 50K |
| 2× DGX Spark 128GB统一内存 | Q5_K_M估 | 211 GB / 240 GB | 8.0 | 594 | 145K |
| Mac Studio M3 Ultra 256GB统一内存 | Q5_K_M估 | 210 GB / 240 GB | 12 | 273 | 151K |
| Mac Studio M3 Ultra 512GB统一内存 | FP8 | 302 GB / 490 GB | 8.5 | 273 | 1.7M |
单流（batch=1）估算：解码 ≈ 显存带宽 × 效率 ÷ 每 token 读取字节（激活参数 × 量化位宽 + KV）；预填充 ≈ FP16 算力 × 0.45 ÷ (2 × 激活参数)。多卡按张量并行、带宽求和 × 0.55。实际受引擎、驱动、PCIe 影响，误差 ±30%。反向查：我的卡能跑谁 →
可用维度不足 3 个，不绘制雷达图
知识官方称 MMLU-Pro、SimpleQA 等领先 DeepSeek-V3。
中文C-Eval、CMMLU 官方领先。
逻辑能力
非推理模型：官方基准对标 DeepSeek-V3-0324 / GPT-4.1；中文知识与指令遵循强。
亮点
- 1.Apache-2.0，10 个模型全系开源
- 2.官方称多数基准超 DeepSeek-V3-671B
- 3.官方提供 2-bit / W4A8 量化，单机可跑
坑
- 1.PaddlePaddle / FastDeploy 为主，vLLM 支持滞后
- 2.非推理模型，2025 年中推理榜不占优
- 3.社区量化与微调生态薄弱
适合：中文知识问答私有化 · 百度 / 飞桨生态
不适合：推理密集任务 · 非飞桨部署
暂无带来源的分数。
更新 2026-08-28 · 排名供选型参考，基准会饱和、会泄漏、会过时。