开源权重可下推理模型·可关已被替代限制许可 · Tencent Hunyuan Community License
Hunyuan-A13B
混元 A13B · 80B-A13B · Tencent 腾讯 · 发布 2025-06-27 · 已被替代 → Hunyuan Hy3
13B 激活的 MoE，单卡 80GB 跑 256K 上下文与双模思考。
参数
80B 总 / 13B 激活
MOE
上下文
256K
价格 / 1M tok
自建
无官方 API
最低可跑
4× RTX 3090
FP8 · 85 GB · ≈152 tok/s
Arena Elo—
AA 综合指数—
竞赛编程63.9
2025-06-27
GPQA 推理71.2
2025-06-27
架构简图
- 类型
- MoE
- 注意力
- GQA（32 Q 头 / 8 KV 头）
- 层数
- 32
- 专家
- 64 · 激活 8 + 共享
- 隐藏维
- 4096
- 词表
- 128,167
64 专家 top-8 + 1 共享；快慢思考双模式；256K 上下文；20T token。
完善中
| 精度 | 权重大小 | 说明 |
|---|---|---|
| BF16 | 160 GB | 官方精度 |
| FP8 | 80 GB | |
| Q8 | 85 GB | |
| Q4 | 49 GB | GGUF Q4_K_M 或等效 |
- 消费级 24GB
- 不可行（Q4 48.8 GB）
- 单卡 80GB
- Q4 / FP8 单卡 80GB 可跑
- 8×80GB 节点
- BF16 高并发
KV Cache：128 KiB/token。 ≈ 128 KiB/token
⚠ 能加载 ≠ 能在满上下文 / 高并发下舒服跑。标「估」的数字来自 计算器 公式或社区量化文件大小。
完善中
硬件配置与预估吞吐
最低可跑（8K 上下文）
4 × RTX 3090 24GB
二手 ≈¥5,000 × 4 · 合计 ≈¥20,000 · 消费级
量化
FP8
解码
152 tok/s
最大上下文
179K
推荐配置（≥Q8 · 32K 上下文 · ≥15 tok/s）
4 × RTX 3090 24GB
二手 ≈¥5,000 × 4 · 合计 ≈¥20,000 · 消费级
量化
FP8
解码
136 tok/s
最大上下文
179K
| 配置 | 量化 | 占用 / 显存 | 解码 tok/s | 预填充 tok/s | 最大上下文 |
|---|---|---|---|---|---|
| 4× RTX 3090 24GB消费级 | FP8 | 85 GB / 96 GB | 152 | 4915 | 179K |
| 4× RTX 4090 24GB消费级 | FP8 | 85 GB / 96 GB | 164 | 11423 | 179K |
| 2× RTX 5090 32GB消费级 | Q5_K_M估 | 59 GB / 64 GB | 196 | 7269 | 51K |
| 4× L4 24GB工作站 | FP8 | 85 GB / 96 GB | 49 | 4154 | 179K |
| 2× RTX A6000 48GB工作站 | FP8 | 83 GB / 96 GB | 62 | 2665 | 218K |
| 2× RTX 6000 Ada 48GB工作站 | FP8 | 83 GB / 96 GB | 78 | 3150 | 218K |
| 2× L40S 48GB工作站 | FP8 | 83 GB / 96 GB | 70 | 3150 | 218K |
| RTX PRO 6000 Blackwell 96GB工作站 | FP8 | 82 GB / 96 GB | 86 | 4327 | 237K |
| 4× A10 24GB数据中心 | FP8 | 85 GB / 96 GB | 98 | 4292 | 179K |
| 2× A100 40GB数据中心 | Q6_K估 | 67 GB / 80 GB | 149 | 10800 | 109K |
| A100 80GB数据中心 | Q6_K估 | 66 GB / 80 GB | 116 | 5400 | 118K |
| H20 96GB数据中心 | FP8 | 82 GB / 96 GB | 192 | 1281 | 237K |
| 昇腾 Ascend 910B 64GB数据中心 | Q5_K_M估 | 57 GB / 64 GB | 104 | 4846 | 61K |
| H100 80GB PCIe数据中心 | Q6_K估 | 66 GB / 80 GB | 113 | 13085 | 118K |
| H100 80GB SXM数据中心 | Q6_K估 | 66 GB / 80 GB | 190 | 17117 | 118K |
| AMD MI300X 192GB数据中心 | BF16 | 162 GB / 192 GB | 127 | 22621 | 246K |
| H200 141GB数据中心 | FP8 | 82 GB / 141 GB | 230 | 17117 | 957K |
| B200 192GB数据中心 | BF16 | 162 GB / 192 GB | 192 | 38942 | 246K |
| Mac M4 Pro 64GB统一内存 | Q4_K_M | 51 GB / 56 GB | 16 | 294 | 48K |
| DGX Spark 128GB统一内存 | FP8 | 82 GB / 120 GB | 10 | 1073 | 621K |
| Mac M4 Max 128GB统一内存 | FP8 | 82 GB / 120 GB | 20 | 588 | 621K |
| Mac Studio M3 Ultra 256GB统一内存 | BF16 | 162 GB / 240 GB | 15 | 987 | 630K |
| Mac Studio M3 Ultra 512GB统一内存 | BF16 | 162 GB / 490 GB | 15 | 987 | 2.6M |
单流（batch=1）估算：解码 ≈ 显存带宽 × 效率 ÷ 每 token 读取字节（激活参数 × 量化位宽 + KV）；预填充 ≈ FP16 算力 × 0.45 ÷ (2 × 激活参数)。多卡按张量并行、带宽求和 × 0.55。实际受引擎、驱动、PCIe 影响，误差 ±30%。反向查：我的卡能跑谁 →
编程LiveCodeBench 63.9%（官方）。
推理GPQA-Diamond 71.2%（官方）。
数学AIME 2025 76.8%（官方）。
AgentBFCL v3 78.3、τ-Bench 54.7（官方）。
中文中文强。
逻辑能力
慢思考模式：AIME 2025 76.8%、GPQA-Diamond 71.2%、LiveCodeBench 63.9%（官方）。agent 榜 BFCL v3 78.3 突出。
亮点
- 1.快 / 慢思考切换（/no_think），256K 上下文
- 2.AIME 2025 76.8%、GPQA-Diamond 71.2%（官方）
- 3.单张 80GB 卡可部署，腾讯云原生
坑
- 1.许可禁止欧盟 / 英国 / 韩国使用，月活 1 亿限制
- 2.社区生态与量化明显少于 Qwen
- 3.BF16 160 GB，24GB 卡无解
适合：单卡 80GB 中文 agent · 腾讯云生态
不适合：欧盟合规场景 · 消费级显卡
| 基准 | 分数 | 来源 | 日期 | 证据 |
|---|---|---|---|---|
| LiveCodeBench竞赛编程 | 63.9% | Hunyuan-A13B 模型卡 | 2025-06-27 | 厂商公布 |
| GPQA Diamond研究生级科学问答 | 71.2% | Hunyuan-A13B 模型卡 | 2025-06-27 | 厂商公布 |
| AIME 2025美国数学邀请赛 | 76.8% | Hunyuan-A13B 模型卡 | 2025-06-27 | 厂商公布 |
更新 2026-08-28 · 排名供选型参考，基准会饱和、会泄漏、会过时。