Qwen3-Next-80B-A3B-Thinking
通义千问 3 Next · 80B 混合注意力 · Alibaba 阿里巴巴 · 发布 2025-09-11 · 已被替代 → Qwen3.8-27B
线性注意力混合架构，长上下文吞吐比 235B 高 10 倍。
- 类型
- Hybrid（线性 + 全注意力）
- 注意力
- Gated DeltaNet ×3 + Gated Attention ×1（混合，3:1）
- 层数
- 48
- 专家
- 512 · 激活 10 + 共享
- 隐藏维
- 2048
- 词表
- 151,936
48 层中 36 层为 Gated DeltaNet（线性注意力），12 层为门控全注意力（16 Q 头 / 2 KV 头，head_dim 256）。512 专家（10 路由 + 1 共享）。多 token 预测。
类型：Hybrid（线性 + 全注意力）MoE，80B 总 / 3B 激活。
- 48 层 = 12 × [3 × (Gated DeltaNet → MoE) + 1 × (Gated Attention → MoE)]
- Gated DeltaNet：线性注意力，32 V 头 / 16 QK 头，head_dim 128，状态固定大小
- Gated Attention：16 Q 头 / 2 KV 头，head_dim 256，输出门控，仅前 25% 维度用 RoPE
- MoE：512 专家，激活 10 路由 + 1 共享，专家中间维 512
- Zero-centered RMSNorm，MTP 多 token 预测
- 上下文 262K，YaRN 可到 1M
参考：Qwen3-Next 官方博客 / Gated DeltaNet 论文（arXiv 2412.06464）。
| 精度 | 权重大小 | 说明 |
|---|---|---|
| BF16 | 160 GB估 | 官方精度 |
| FP8 | 80 GB估 | |
| Q8 | — | 暂无 |
| Q4 | 47 GB估 | GGUF Q4_K_M 或等效 |
- 消费级 24GB
- 不可行（Q4 47 GB）
- 单卡 80GB
- FP8 80 GB 边缘；Q4 47 GB 舒适，256K 上下文仅需 6 GB KV
- 8×80GB 节点
- BF16 高并发
KV Cache：仅 12 层全注意力计 KV：2 × 256 × 2 × 12 × 2 B = 24 KiB/token；DeltaNet 层状态与序列长度无关。 ≈ 24 KiB/token
⚠ 能加载 ≠ 能在满上下文 / 高并发下舒服跑。标「估」的数字来自 计算器 公式或社区量化文件大小。
| 精度 | 权重大小 | 参考显存 |
|---|---|---|
| BF16 | ≈ 160 GB | 2×80GB |
| FP8 | ≈ 80 GB | 80GB（边缘） |
| Q4 | ≈ 47 GB（估） | 48GB / 80GB |
KV Cache：仅 12 层全注意力 ≈ 24 KiB/token。256K 上下文 ≈ 6 GB。DeltaNet 层状态固定（每层 ~ 数 MB）。
参考配置：
- 24GB：不可行
- 80GB：Q4/FP8 + 256K 上下文可行
- 8×80GB：BF16 高并发
| 配置 | 量化 | 占用 / 显存 | 解码 tok/s | 预填充 tok/s | 最大上下文 |
|---|---|---|---|---|---|
| 4× RTX 3090 24GB消费级 | FP8 | 85 GB / 96 GB | 664 | 21300 | 956K |
| 4× RTX 4090 24GB消费级 | FP8 | 85 GB / 96 GB | 715 | 49500 | 956K |
| 2× RTX 5090 32GB消费级 | Q5_K_M估 | 58 GB / 64 GB | 868 | 31500 | 273K |
| 4× L4 24GB工作站 | FP8 | 85 GB / 96 GB | 213 | 18000 | 956K |
| 2× RTX A6000 48GB工作站 | FP8 | 82 GB / 96 GB | 272 | 11550 | 1.1M |
| 2× RTX 6000 Ada 48GB工作站 | FP8 | 82 GB / 96 GB | 341 | 13650 | 1.1M |
| 2× L40S 48GB工作站 | FP8 | 82 GB / 96 GB | 307 | 13650 | 1.1M |
| RTX PRO 6000 Blackwell 96GB工作站 | FP8 | 81 GB / 96 GB | 376 | 18750 | 1.2M |
| 4× A10 24GB数据中心 | FP8 | 85 GB / 96 GB | 426 | 18600 | 956K |
| 2× A100 40GB数据中心 | Q6_K估 | 67 GB / 80 GB | 658 | 46800 | 580K |
| A100 80GB数据中心 | Q6_K估 | 65 GB / 80 GB | 509 | 23400 | 631K |
| H20 96GB数据中心 | FP8 | 81 GB / 96 GB | 839 | 5550 | 1.2M |
| 昇腾 Ascend 910B 64GB数据中心 | Q5_K_M估 | 57 GB / 64 GB | 458 | 21000 | 324K |
| H100 80GB PCIe数据中心 | Q6_K估 | 65 GB / 80 GB | 500 | 56700 | 631K |
| H100 80GB SXM数据中心 | Q6_K估 | 65 GB / 80 GB | 837 | 74175 | 631K |
| AMD MI300X 192GB数据中心 | BF16 | 161 GB / 192 GB | 556 | 98025 | 1.3M |
| H200 141GB数据中心 | FP8 | 81 GB / 141 GB | 1006 | 74175 | 5.0M |
| B200 192GB数据中心 | BF16 | 161 GB / 192 GB | 839 | 168750 | 1.3M |
| Mac M4 Pro 64GB统一内存 | Q4_K_M | 48 GB / 56 GB | 70 | 1275 | 333K |
| DGX Spark 128GB统一内存 | FP8 | 81 GB / 120 GB | 44 | 4650 | 3.2M |
| Mac M4 Max 128GB统一内存 | FP8 | 81 GB / 120 GB | 88 | 2550 | 3.2M |
| Mac Studio M3 Ultra 256GB统一内存 | BF16 | 161 GB / 240 GB | 66 | 4275 | 3.3M |
| Mac Studio M3 Ultra 512GB统一内存 | BF16 | 161 GB / 490 GB | 66 | 4275 | 13.7M |
单流（batch=1）估算：解码 ≈ 显存带宽 × 效率 ÷ 每 token 读取字节（激活参数 × 量化位宽 + KV）；预填充 ≈ FP16 算力 × 0.45 ÷ (2 × 激活参数)。多卡按张量并行、带宽求和 × 0.55。实际受引擎、驱动、PCIe 影响，误差 ±30%。反向查：我的卡能跑谁 →
编程LiveCodeBench v6 68.7%（官方）。
推理GPQA Diamond 77.2%、HLE 13.2%（官方）。
数学AIME 2025 87.8%（官方）。
AgentBFCL-v3 72.0%（官方）。
中文中文良好。
考试型推理接近 Qwen3-235B-Thinking（AIME 87.8%、GPQA 77.2%），且长上下文推理成本低得多。工程型推理与长文精确检索是弱项（线性注意力天然的记忆压缩）。思考不可关闭。适合「长输入、短输出、要有推理」的任务。
- 1.Gated DeltaNet 3:1 混合，32K+ 上下文下解码吞吐是 Qwen3-32B 的 10 倍以上
- 2.训练成本仅 235B 的 1/10，推理分数接近 235B-Thinking
- 3.KV Cache 24 KiB/token，256K 上下文只要 6 GB
- 1.新算子：需要 vLLM / SGLang 最新版 + 定制 kernel（flash-linear-attention、causal-conv1d），llama.cpp 支持滞后
- 2.3B 激活 + 线性注意力，精确回忆长文中的细节（needle 类任务）弱于全注意力模型
- 3.512 专家极端稀疏，量化后质量波动大于常规 MoE
| 基准 | 分数 | 来源 | 日期 | 证据 |
|---|---|---|---|---|
| LMArena Text Elo人类偏好 Elo | 1390 | LMArena Text (style control) | 2025-12-20 | 独立复测 |
| LiveCodeBench竞赛编程 | 68.7% | Qwen3-Next 模型卡 | 2025-12-20 | 厂商公布 |
| GPQA Diamond研究生级科学问答 | 77.2% | Qwen3-Next 模型卡 | 2025-12-20 | 厂商公布 |
| Humanity's Last Exam人类最后考试 | 13.2% | Qwen3-Next 模型卡 | 2025-12-20 | 厂商公布 |
| AIME 2025美国数学邀请赛 | 87.8% | Qwen3-Next 模型卡 | 2025-12-20 | 厂商公布 |
| τ²-bench工具调用 agent | 60% | Qwen3-Next 模型卡 | 2025-12-20 | 厂商公布 |
更新 2025-12-20 · 排名供选型参考，基准会饱和、会泄漏、会过时。