开源权重可下单卡可跑已被替代限制许可 · Gemma Terms of Use
Gemma 7B
Gemma · 7B · Google · 发布 2024-02-21 · 已被替代 → Gemma 2 9B
Google 首个开放权重模型，Gemini 技术下放的起点。
参数
8.5B
DENSE
上下文
8K
价格 / 1M tok
自建
无官方 API
最低可跑
RTX 3060
FP8 · 11 GB · ≈23 tok/s
Arena Elo—
AA 综合指数—
代码—
GPQA 推理—
架构简图
- 类型
- Dense
- 注意力
- MHA（16 头，head_dim 256）
- 层数
- 28
- 隐藏维
- 3072
- 词表
- 256,000
256K 大词表（embedding 占 0.8B）；上下文 8K；GeGLU；1.1 版（2024-04）改进 RLHF。
完善中
| 精度 | 权重大小 | 说明 |
|---|---|---|
| BF16 | 17 GB | 官方精度 |
| FP8 | — | 暂无 |
| Q8 | 9.0 GB | |
| Q4 | 5.3 GB | GGUF Q4_K_M 或等效 |
- 消费级 24GB
- BF16 17 GB 单卡
- 单卡 80GB
- 高并发
- 8×80GB 节点
- 过剩
KV Cache：16×256×2×28×2 B = 448 KiB/token，MHA 使 KV 偏大。 ≈ 448 KiB/token
⚠ 能加载 ≠ 能在满上下文 / 高并发下舒服跑。标「估」的数字来自 计算器 公式或社区量化文件大小。
完善中
硬件配置与预估吞吐
最低可跑（8K 上下文）
RTX 3060 12GB
≈¥2,000 · 合计 ≈¥2,000 · 消费级
量化
FP8
解码
23 tok/s
最大上下文
11K
推荐配置（≥Q8 · 32K 上下文 · ≥15 tok/s）
2 × RTX 3060 12GB
≈¥2,000 × 2 · 合计 ≈¥4,000 · 消费级
量化
FP8
解码
25 tok/s
最大上下文
60K
| 配置 | 量化 | 占用 / 显存 | 解码 tok/s | 预填充 tok/s | 最大上下文 |
|---|---|---|---|---|---|
| RTX 3060 12GB消费级 | FP8估 | 11 GB / 12 GB | 23 | 662 | 11K |
| RTX 4060 Ti 16GB消费级 | FP8估 | 11 GB / 16 GB | 18 | 582 | 29K |
| RTX 3090 24GB消费级 | BF16 | 22 GB / 24 GB | 29 | 1879 | 13K |
| RTX 4070 Ti Super 16GB消费级 | FP8估 | 11 GB / 16 GB | 42 | 1165 | 29K |
| RTX 5070 Ti 16GB消费级 | FP8估 | 11 GB / 16 GB | 56 | 2329 | 29K |
| RTX 4080 Super 16GB消费级 | FP8估 | 11 GB / 16 GB | 46 | 1376 | 29K |
| RTX 5080 16GB消费级 | FP8估 | 11 GB / 16 GB | 60 | 2965 | 29K |
| RTX 4090 24GB消费级 | BF16 | 22 GB / 24 GB | 32 | 4368 | 13K |
| RTX 5090 32GB消费级 | BF16 | 22 GB / 32 GB | 56 | 5559 | 32K |
| L4 24GB工作站 | BF16 | 22 GB / 24 GB | 9.4 | 1588 | 13K |
| RTX A6000 48GB工作站 | BF16 | 22 GB / 48 GB | 24 | 2038 | 68K |
| RTX 6000 Ada 48GB工作站 | BF16 | 22 GB / 48 GB | 30 | 2409 | 68K |
| L40S 48GB工作站 | BF16 | 22 GB / 48 GB | 27 | 2409 | 68K |
| RTX PRO 6000 Blackwell 96GB工作站 | BF16 | 22 GB / 96 GB | 56 | 6618 | 178K |
| A10 24GB数据中心 | BF16 | 22 GB / 24 GB | 19 | 1641 | 13K |
| A100 40GB数据中心 | BF16 | 22 GB / 40 GB | 49 | 8259 | 50K |
| A100 80GB数据中心 | BF16 | 22 GB / 80 GB | 64 | 8259 | 141K |
| H20 96GB数据中心 | BF16 | 22 GB / 96 GB | 125 | 1959 | 178K |
| 昇腾 Ascend 910B 64GB数据中心 | BF16 | 22 GB / 64 GB | 50 | 7412 | 105K |
| H100 80GB PCIe数据中心 | BF16 | 22 GB / 80 GB | 63 | 20012 | 141K |
| H100 80GB SXM数据中心 | BF16 | 22 GB / 80 GB | 105 | 26179 | 141K |
| AMD MI300X 192GB数据中心 | BF16 | 22 GB / 192 GB | 166 | 34597 | 397K |
| H200 141GB数据中心 | BF16 | 22 GB / 141 GB | 150 | 26179 | 281K |
| B200 192GB数据中心 | BF16 | 22 GB / 192 GB | 251 | 59559 | 397K |
| Mac M4 Pro 64GB统一内存 | BF16 | 22 GB / 56 GB | 6.6 | 450 | 86K |
| DGX Spark 128GB统一内存 | BF16 | 22 GB / 120 GB | 6.6 | 1641 | 233K |
| Mac M4 Max 128GB统一内存 | BF16 | 22 GB / 120 GB | 13 | 900 | 233K |
| Mac Studio M3 Ultra 256GB统一内存 | BF16 | 22 GB / 240 GB | 20 | 1509 | 507K |
| Mac Studio M3 Ultra 512GB统一内存 | BF16 | 22 GB / 490 GB | 20 | 1509 | 1.1M |
单流（batch=1）估算：解码 ≈ 显存带宽 × 效率 ÷ 每 token 读取字节（激活参数 × 量化位宽 + KV）；预填充 ≈ FP16 算力 × 0.45 ÷ (2 × 激活参数)。多卡按张量并行、带宽求和 × 0.55。实际受引擎、驱动、PCIe 影响，误差 ±30%。反向查：我的卡能跑谁 →
可用维度不足 3 个，不绘制雷达图
数学GSM8K 46.4%（官方）。
知识MMLU 64.3%（官方）。
中文弱。
逻辑能力
入门级：MMLU 64.3%、GSM8K 46.4%（官方基座）。逻辑推理弱，主要历史意义。
亮点
- 1.Gemini 同源技术与 tokenizer，256K 词表多语言好
- 2.6T token 训练，MMLU 64.3% 超同期 Llama 2 7B
- 3.Keras / JAX / PyTorch 全栈官方支持
坑
- 1.实际 8.5B 参数、MHA 大 KV，跑起来比 7B 重
- 2.上下文仅 8K，无 system prompt
- 3.Gemma Terms 含使用政策限制，对话质量当年被批
适合：历史对照 · Google 生态教学
不适合：新项目
暂无带来源的分数。
更新 2026-08-28 · 排名供选型参考，基准会饱和、会泄漏、会过时。