Gemma 3 27B
谷歌 Gemma 3 · 27B · Google 谷歌 · 发布 2025-03-12 · 已被替代 → Gemma 4 31B
单卡跑的多模态 Dense 模型，对话体验与多语言突出。
- 类型
- Dense
- 注意力
- GQA（32 Q 头 / 16 KV 头），5:1 局部滑窗(1024) : 全局
- 层数
- 62
- 隐藏维
- 5376
- 词表
- 262,144
62 层中约 11 层全局注意力，其余为 1024 token 滑窗，KV 显著降低。SigLIP 400M 视觉编码器，图像 896×896 固定 256 token。
类型：Dense，27B 参数。
- 62 层，隐藏维 5376，词表 262,144
- GQA：32 Q 头 / 16 KV 头，head_dim 128
- 注意力交替：5 层局部滑窗（1024）→ 1 层全局，全局层用 RoPE base 1M
- 视觉：SigLIP 400M 编码器，Pan & Scan 处理任意宽高比
- 上下文 128K，输出 8K
参考：Gemma 3 技术报告（arXiv 2503.19786）。
| 精度 | 权重大小 | 说明 |
|---|---|---|
| BF16 | 54 GB | 官方精度 |
| FP8 | — | 暂无 |
| Q8 | 29 GB | |
| Q4 | 17 GB | GGUF Q4_K_M 或等效 |
- 消费级 24GB
- Q4_K_M 16.5 GB，KV 余量充足，32K+ 上下文可行
- 单卡 80GB
- BF16 54 GB 舒适
- 8×80GB 节点
- 过剩
KV Cache：全局层 11 × 16 KV 头 × 128 × 2 × 2 B ≈ 44 KiB/token；局部层 KV 上限 1024 token，可忽略。 ≈ 44 KiB/token
⚠ 能加载 ≠ 能在满上下文 / 高并发下舒服跑。标「估」的数字来自 计算器 公式或社区量化文件大小。
| 精度 | 权重大小 | 参考显存 |
|---|---|---|
| BF16 | 54 GB | 80GB |
| Q8 | 28.7 GB | 48GB |
| Q4 | 16.5 GB | 24GB |
KV Cache：≈ 44 KiB/token（仅全局层）。128K 上下文 ≈ 5.5 GB，是 Qwen3-32B 的 1/6。
参考配置：
- 24GB：Q4_K_M + 视觉 + 32K 上下文舒适
- 80GB：BF16 + 128K
- 官方另有 QAT 版 int4，质量损失更小
| 配置 | 量化 | 占用 / 显存 | 解码 tok/s | 预填充 tok/s | 最大上下文 |
|---|---|---|---|---|---|
| 2× RTX 3060 12GB消费级 | Q5_K_M估 | 21 GB / 24 GB | 21 | 417 | 69K |
| 2× RTX 4060 Ti 16GB消费级 | FP8估 | 30 GB / 32 GB | 12 | 367 | 121K |
| RTX 3090 24GB消费级 | Q6_K估 | 23 GB / 24 GB | 28 | 592 | 28K |
| 2× RTX 4070 Ti Super 16GB消费级 | FP8估 | 30 GB / 32 GB | 27 | 733 | 121K |
| 2× RTX 5070 Ti 16GB消费级 | FP8估 | 30 GB / 32 GB | 36 | 1467 | 121K |
| 2× RTX 4080 Super 16GB消费级 | FP8估 | 30 GB / 32 GB | 30 | 867 | 121K |
| 2× RTX 5080 16GB消费级 | FP8估 | 30 GB / 32 GB | 39 | 1867 | 121K |
| RTX 4090 24GB消费级 | Q6_K估 | 23 GB / 24 GB | 30 | 1375 | 28K |
| RTX 5090 32GB消费级 | FP8估 | 28 GB / 32 GB | 43 | 1750 | 177K |
| L4 24GB工作站 | Q6_K估 | 23 GB / 24 GB | 8.9 | 500 | 28K |
| RTX A6000 48GB工作站 | FP8估 | 28 GB / 48 GB | 18 | 642 | 922K |
| RTX 6000 Ada 48GB工作站 | FP8估 | 28 GB / 48 GB | 23 | 758 | 922K |
| L40S 48GB工作站 | FP8估 | 28 GB / 48 GB | 21 | 758 | 922K |
| RTX PRO 6000 Blackwell 96GB工作站 | BF16 | 56 GB / 96 GB | 21 | 2083 | 950K |
| A10 24GB数据中心 | Q6_K估 | 23 GB / 24 GB | 18 | 517 | 28K |
| A100 40GB数据中心 | FP8估 | 28 GB / 40 GB | 37 | 2600 | 549K |
| A100 80GB数据中心 | BF16 | 56 GB / 80 GB | 24 | 2600 | 577K |
| H20 96GB数据中心 | BF16 | 56 GB / 96 GB | 48 | 617 | 950K |
| 昇腾 Ascend 910B 64GB数据中心 | BF16 | 56 GB / 64 GB | 19 | 2333 | 205K |
| H100 80GB PCIe数据中心 | BF16 | 56 GB / 80 GB | 24 | 6300 | 577K |
| H100 80GB SXM数据中心 | BF16 | 56 GB / 80 GB | 40 | 8242 | 577K |
| AMD MI300X 192GB数据中心 | BF16 | 56 GB / 192 GB | 63 | 10892 | 3.1M |
| H200 141GB数据中心 | BF16 | 56 GB / 141 GB | 57 | 8242 | 1.9M |
| B200 192GB数据中心 | BF16 | 56 GB / 192 GB | 96 | 18750 | 3.1M |
| Mac M4 Pro 64GB统一内存 | BF16 | 56 GB / 56 GB | 2.5 | 142 | 19K |
| DGX Spark 128GB统一内存 | BF16 | 56 GB / 120 GB | 2.5 | 517 | 1.5M |
| Mac M4 Max 128GB统一内存 | BF16 | 56 GB / 120 GB | 5.0 | 283 | 1.5M |
| Mac Studio M3 Ultra 256GB统一内存 | BF16 | 56 GB / 240 GB | 7.5 | 475 | 4.2M |
| Mac Studio M3 Ultra 512GB统一内存 | BF16 | 56 GB / 490 GB | 7.5 | 475 | 9.9M |
单流（batch=1）估算：解码 ≈ 显存带宽 × 效率 ÷ 每 token 读取字节（激活参数 × 量化位宽 + KV）；预填充 ≈ FP16 算力 × 0.45 ÷ (2 × 激活参数)。多卡按张量并行、带宽求和 × 0.55。实际受引擎、驱动、PCIe 影响，误差 ±30%。反向查：我的卡能跑谁 →
编程LiveCodeBench 29.7%（官方），代码偏弱。
推理GPQA Diamond 42.4%（官方）。
数学MATH 89.0%（官方）。
多模态MMMU 64.9%（官方）。
中文多语言训练，中文可用但非重点。
非推理模型，考试型推理弱（AIME 2025 未官方公布，MATH 89%）。强项在多轮对话质量、格式遵循、多语言与视觉描述。工程型推理（代码修改）一般。适合做对话产品与视觉问答，不适合做复杂推理主力。
- 1.LMArena 1338，发布时单卡可跑模型里人类偏好最高
- 2.原生视觉输入 + 140 语言，24GB 卡上 Q4 + 长上下文舒适
- 3.滑窗 / 全局 5:1 设计，KV 只有同规模模型的 1/5
- 1.Gemma 许可有使用限制条款（禁用用途、需传递条款），不是 Apache/MIT
- 2.无思考模式，数学 / 代码推理明显弱于 Qwen3 同档
- 3.最大输出 8K，长生成任务受限
| 基准 | 分数 | 来源 | 日期 | 证据 |
|---|---|---|---|---|
| LMArena Text Elo人类偏好 Elo | 1338 | LMArena Text (style control) | 2025-12-20 | 独立复测 |
| LiveCodeBench竞赛编程 | 29.7% | Gemma 3 技术报告 | 2025-12-20 | 厂商公布 |
| GPQA Diamond研究生级科学问答 | 42.4% | Gemma 3 技术报告 | 2025-12-20 | 厂商公布 |
| MMMU多模态理解 | 64.9% | Gemma 3 技术报告 | 2025-12-20 | 厂商公布 |
更新 2025-12-20 · 排名供选型参考，基准会饱和、会泄漏、会过时。