开源权重可下单卡可跑已被替代可商用 · MIT
Phi-4
Phi-4 · 14B · Microsoft · 发布 2024-12-12 · 已被替代
14B 拿到 GPQA 56%，合成数据路线的代表作。
参数
14.7B
DENSE
上下文
16K
价格 / 1M tok
自建
无官方 API
最低可跑
RTX 3060
Q4_K_M · 12 GB · ≈23 tok/s
Arena Elo—
AA 综合指数—
代码—
GPQA 推理56.1
2024-12-12
架构简图
- 类型
- Dense
- 注意力
- GQA（40 Q 头 / 10 KV 头）
- 层数
- 40
- 隐藏维
- 5120
- 词表
- 100,352
9.8T token，合成数据为主；tiktoken 词表；上下文 16K。
完善中
| 精度 | 权重大小 | 说明 |
|---|---|---|
| BF16 | 29 GB | 官方精度 |
| FP8 | — | 暂无 |
| Q8 | 16 GB | |
| Q4 | 9.1 GB | GGUF Q4_K_M 或等效 |
- 消费级 24GB
- Q8 15.6 GB / Q4 9.1 GB 单卡轻松；BF16 29.4 GB 超 24GB
- 单卡 80GB
- BF16 单卡
- 8×80GB 节点
- 过剩
KV Cache：200 KiB/token。 ≈ 200 KiB/token
⚠ 能加载 ≠ 能在满上下文 / 高并发下舒服跑。标「估」的数字来自 计算器 公式或社区量化文件大小。
完善中
硬件配置与预估吞吐
最低可跑（8K 上下文）
RTX 3060 12GB
≈¥2,000 · 合计 ≈¥2,000 · 消费级
量化
Q4_K_M
解码
23 tok/s
最大上下文
9K
推荐配置（≥Q8 · 32K 上下文 · ≥15 tok/s）
2 × RTX 3060 12GB
≈¥2,000 × 2 · 合计 ≈¥4,000 · 消费级
量化
FP8
解码
22 tok/s
最大上下文
71K
| 配置 | 量化 | 占用 / 显存 | 解码 tok/s | 预填充 tok/s | 最大上下文 |
|---|---|---|---|---|---|
| RTX 3060 12GB消费级 | Q4_K_M | 12 GB / 12 GB | 23 | 383 | 9K |
| RTX 4060 Ti 16GB消费级 | Q6_K估 | 15 GB / 16 GB | 14 | 337 | 16K |
| RTX 3090 24GB消费级 | FP8估 | 17 GB / 24 GB | 39 | 1087 | 83K |
| RTX 4070 Ti Super 16GB消费级 | Q6_K估 | 15 GB / 16 GB | 33 | 673 | 16K |
| RTX 5070 Ti 16GB消费级 | Q6_K估 | 15 GB / 16 GB | 43 | 1347 | 16K |
| RTX 4080 Super 16GB消费级 | Q6_K估 | 15 GB / 16 GB | 36 | 796 | 16K |
| RTX 5080 16GB消费级 | Q6_K估 | 15 GB / 16 GB | 46 | 1714 | 16K |
| RTX 4090 24GB消费级 | FP8估 | 17 GB / 24 GB | 42 | 2526 | 83K |
| RTX 5090 32GB消费级 | FP8估 | 17 GB / 32 GB | 75 | 3214 | 165K |
| L4 24GB工作站 | FP8估 | 17 GB / 24 GB | 13 | 918 | 83K |
| RTX A6000 48GB工作站 | BF16 | 32 GB / 48 GB | 16 | 1179 | 89K |
| RTX 6000 Ada 48GB工作站 | BF16 | 32 GB / 48 GB | 20 | 1393 | 89K |
| L40S 48GB工作站 | BF16 | 32 GB / 48 GB | 18 | 1393 | 89K |
| RTX PRO 6000 Blackwell 96GB工作站 | BF16 | 32 GB / 96 GB | 37 | 3827 | 335K |
| A10 24GB数据中心 | FP8估 | 17 GB / 24 GB | 25 | 949 | 83K |
| A100 40GB数据中心 | BF16 | 32 GB / 40 GB | 33 | 4776 | 48K |
| A100 80GB数据中心 | BF16 | 32 GB / 80 GB | 43 | 4776 | 253K |
| H20 96GB数据中心 | BF16 | 32 GB / 96 GB | 84 | 1133 | 335K |
| 昇腾 Ascend 910B 64GB数据中心 | BF16 | 32 GB / 64 GB | 33 | 4286 | 171K |
| H100 80GB PCIe数据中心 | BF16 | 32 GB / 80 GB | 42 | 11571 | 253K |
| H100 80GB SXM数据中心 | BF16 | 32 GB / 80 GB | 70 | 15138 | 253K |
| AMD MI300X 192GB数据中心 | BF16 | 32 GB / 192 GB | 111 | 20005 | 826K |
| H200 141GB数据中心 | BF16 | 32 GB / 141 GB | 100 | 15138 | 565K |
| B200 192GB数据中心 | BF16 | 32 GB / 192 GB | 167 | 34439 | 826K |
| Mac M4 Pro 64GB统一内存 | BF16 | 32 GB / 56 GB | 4.4 | 260 | 130K |
| DGX Spark 128GB统一内存 | BF16 | 32 GB / 120 GB | 4.4 | 949 | 458K |
| Mac M4 Max 128GB统一内存 | BF16 | 32 GB / 120 GB | 8.8 | 520 | 458K |
| Mac Studio M3 Ultra 256GB统一内存 | BF16 | 32 GB / 240 GB | 13 | 872 | 1.0M |
| Mac Studio M3 Ultra 512GB统一内存 | BF16 | 32 GB / 490 GB | 13 | 872 | 2.3M |
单流（batch=1）估算：解码 ≈ 显存带宽 × 效率 ÷ 每 token 读取字节（激活参数 × 量化位宽 + KV）；预填充 ≈ FP16 算力 × 0.45 ÷ (2 × 激活参数)。多卡按张量并行、带宽求和 × 0.55。实际受引擎、驱动、PCIe 影响，误差 ±30%。反向查：我的卡能跑谁 →
可用维度不足 3 个，不绘制雷达图
编程HumanEval 82.6%（官方）。
推理GPQA 56.1%（官方）。
数学MATH 80.4%（官方）。
知识MMLU 84.8%（官方）。
中文一般。
逻辑能力
考试型推理在 14B 中极强：GPQA 56.1%、MATH 80.4%、HumanEval 82.6%（官方）。但没有思考链，复杂多步与开放式任务不稳。
亮点
- 1.GPQA 56.1%、MATH 80.4%（官方），超越 GPT-4o-mini
- 2.MIT 许可，24GB 卡 Q8 可跑
- 3.后续衍生 Phi-4-reasoning / mini / multimodal
坑
- 1.上下文仅 16K
- 2.事实知识与多语言弱，中文一般
- 3.指令遵循 IFEval 63% 偏弱（官方）
适合：STEM 问答 / 教育 · 本地轻量推理
不适合：长文本 · 中文对话
| 基准 | 分数 | 来源 | 日期 | 证据 |
|---|---|---|---|---|
| GPQA Diamond研究生级科学问答 | 56.1% | Phi-4 模型卡 | 2024-12-12 | 厂商公布 |
更新 2026-08-28 · 排名供选型参考，基准会饱和、会泄漏、会过时。