Ling-3.1-flash
蚂蚁 Ling-3.1-flash · inclusionAI (Ant Group) 蚂蚁集团 inclusionAI（中国） · 发布 2026-10-15 · 当前代
蚂蚁 560B / 25B 激活的混合线性 MoE，MIT 许可、1M 上下文，权重 10-15 开放。
- 类型
- Hybrid（线性 + 全注意力）
- 注意力
- 混合线性 MoE：63 层 KDA + 9 层 Gated MLA（7:1 交错），64 个注意力头
- 层数
- 72
- 专家
- 512 · 激活 8 + 共享
- 隐藏维
- 4096
- 词表
- 157,184
官方模型卡写「Hybrid-linear MoE，总参 560B / 每 token 激活 25B」，自称是「原生混合推理模型」（chat template 以 enable_thinking 开关思考）。结构为 63 层 KDA 加 9 层 Gated MLA 按 7:1 交错，另有 4 层稠密层；每个 MoE 层 512 路由专家 + 1 共享专家，每 token 激活 8 个，专家中间维 1,280、稠密中间维 10,240，词表 157,184。模型标识为 bailing_hybrid，带 MTP（SGLang 里为 NEXTN）投机解码。上下文 1M —— 官方 9 月 30 日公布时的免费 API 试用只开到 256K，10 月 14 日试用结束转付费的同时放出权重并开满 1M。它建立在 7 月的 Ling-3.0-flash（124B / 5.1B 激活）之上，官方称架构与真实任务表现都有改进。官方未公布预训练 token 量与知识截止；另按 inclusionAI 的 AI-Transparency 仓库发布了训练内容披露摘要 PDF。
完善中
| 精度 | 权重大小 | 说明 |
|---|---|---|
| BF16 | — | 暂无 |
| FP8 | 560 GB估 | |
| Q8 | — | 暂无 |
| Q4 | — | 暂无 |
- 消费级 24GB
- 不可行
- 单卡 80GB
- 不可行
- 8×80GB 节点
- 官方参考配置为 8×H200（TP8 + EP8）或 4×GB300（TP4 + EP4）；SGLang cookbook 另给 H800 / H100 / B200 的已验证配方
KV Cache：HF 仓库标 fp8，官方未给 safetensors 文件体积，560GB 为按 560B 参数 FP8 推算的估值。官方推荐 SGLang（day-0 镜像 lmsysorg/sglang:dev-ling-3.1-flash，含 MTP/NEXTN 投机解码与 Hopper 解码优化），另给 vLLM 配方（需从 vllm 分支源码装）。Hopper 上可用 SGLANG_ENABLE_FP8_BLOCK_GEMV=1 与 SGLANG_ENABLE_FUSED_KDA_OUTPUT_QUANT=1 再快约 10% 的 batch-1 解码
⚠ 能加载 ≠ 能在满上下文 / 高并发下舒服跑。标「估」的数字来自 计算器 公式或社区量化文件大小。
完善中
| 配置 | 量化 | 占用 / 显存 | 解码 tok/s | 预填充 tok/s | 最大上下文 |
|---|---|---|---|---|---|
| 8× L40S 48GB工作站 | Q4_K_M估 | 334 GB / 384 GB | 262 | 6552 | 未建模 |
| 4× RTX PRO 6000 Blackwell 96GB工作站 | Q4_K_M估 | 330 GB / 384 GB | 272 | 9000 | 未建模 |
| 8× A100 80GB数据中心 | FP8 | 570 GB / 640 GB | 359 | 22464 | 未建模 |
| 4× H20 96GB数据中心 | Q4_K_M估 | 330 GB / 384 GB | 607 | 2664 | 未建模 |
| 8× 昇腾 Ascend 910B 64GB数据中心 | Q6_K估 | 458 GB / 512 GB | 352 | 20160 | 未建模 |
| 8× H100 80GB PCIe数据中心 | FP8 | 570 GB / 640 GB | 352 | 54432 | 未建模 |
| 8× H100 80GB SXM数据中心 | FP8 | 570 GB / 640 GB | 590 | 71208 | 未建模 |
| 2× AMD MI300X 192GB数据中心 | Q4_K_M估 | 327 GB / 384 GB | 402 | 23526 | 未建模 |
| 4× H200 141GB数据中心 | Q6_K估 | 453 GB / 564 GB | 528 | 35604 | 未建模 |
| 2× B200 192GB数据中心 | Q4_K_M估 | 327 GB / 384 GB | 607 | 40500 | 未建模 |
| Mac Studio M3 Ultra 512GB统一内存 | Q6_K估 | 449 GB / 490 GB | 20 | 513 | 未建模 |
单流（batch=1）估算：解码 ≈ 显存带宽 × 效率 ÷ 每 token 读取字节（激活参数 × 量化位宽 + KV）；预填充 ≈ FP16 算力 × 0.45 ÷ (2 × 激活参数)。多卡按张量并行、带宽求和 × 0.55。实际受引擎、驱动、PCIe 影响，误差 ±30%。反向查：我的卡能跑谁 →
编程官方模型卡点名 Terminal-Bench 4.0、SWE-bench Pro、FrontierSWE 为其强项基准，但未给出任何数值。官方另称自研 harness LingCode（基于开源 agent Pi 改造，支持数百轮工具调用与反复上下文压缩）在部分编码 agent 任务上带来显著提升，该 harness 未开源。
知识官方点名 HealthBench Professional，并称在 STEM、医疗与金融等真实任务上表现强，另提到金融与材料科学等专门领域有改进 —— 均未给数值。
Agent官方点名 GDPVal-AA V2.1、AutomationBench、MCP-Atlas、SkillsBench，均未给数值。官方称在 Claude Code、Kilo Code、Qwen Code、Hermes Agent、OpenClaw 等框架里有良好实际体验。
中文中文原生（蚂蚁集团为中国厂商，模型卡与 ModelScope 均提供中文入口）。官方未公布中文评测分数。
这条目前只能按「许可与架构」来评估，因为官方没给数。值得记的是它在开源阵营里的位置：560B 总参、25B 激活、1M 上下文、纯 MIT —— 这个组合在 2026 年 10 月的开源榜里相当稀缺，因为同量级的 Kimi K3（2.8T/104B）、GLM-5.3（744B/40B）、Qwen3.8 旗舰（2.4T/95B）全都带自定义许可的规模条款，而 MIT 这一档此前主要是 DeepSeek-V4.1-Flash（552B 骨干）和小米 MiMo-V2.6 系列在撑。架构上它走的是和 Nemotron 3.5 同一个方向但不同路线：NVIDIA 用 Mamba-2 交错注意力，蚂蚁用 63 层 KDA 加 9 层 Gated MLA 的 7:1 交错，目标都是把长上下文的显存与带宽成本压下来 —— 结果是 8×H200 就能跑 1M，这个部署曲线比参数量暗示的要友好得多。真正的空白是能力：官方评测一节把基准名字列了一长串（Terminal-Bench 4.0、FrontierSWE、GDPVal-AA V2.1、SWE-bench Pro、AutomationBench、MCP-Atlas、SkillsBench、HealthBench Professional），却没有给出任何数值表，而且它自称的编码提升与一个未开源的自研 harness（LingCode，基于 Pi 改造）绑在一起 —— 官方只说「将来考虑开源」。这种「列基准不给数、强项依赖自研 harness」的组合，意味着现在没法把它放进任何横向对比，本站的做法是先建速览条目把许可、规格与部署配方落下来，分数等官方或第三方给出可引用数值再补。另外要注意它和 Ling-3.0-flash 的关系：官方说「建立在 Ling-3.0-flash 之上」并有架构与真实任务改进，但本站此前无 Ling 系列条目，所以这次不产生任何 superseded 变更。
- 1.纯 MIT 许可的 560B 级模型：没有 MaaS 门槛、没有营收条款、没有署名要求 —— 和 Kimi K3、GLM-5.3、Qwen3.8 旗舰、Muse Spark Open 那类自定义许可不是一个档
- 2.架构是真的混合线性：63 层 KDA + 9 层 Gated MLA 按 7:1 交错，每层 512 路由 + 1 共享专家、每 token 激活 8 个 —— 25B 激活撑 1M 上下文，官方参考配置只要 8×H200 或 4×GB300
- 3.权重与 1M 窗口是同时放出的：9 月 30 日公布时免费 API 试用只给 256K，10 月 14 日试用结束转付费，10 月 15 日权重上 HF 与 ModelScope 并开满 1M
- 4.工程落地写得很具体：官方推荐 SGLang 并提供 day-0 镜像（含 MTP/NEXTN 投机解码与 Hopper 解码优化），cookbook 里有 H200 / GB300 / H800 / H100 / B200 的已验证配方加 HiCache（Mooncake L3）；官方点名在 Claude Code、Kilo Code、Qwen Code、Hermes Agent、OpenClaw 等框架里的实际体验
- 5.附了训练内容披露摘要 PDF（inclusionAI/AI-Transparency 仓库），说明覆盖的模型版本、训练内容范围与摘要版本
- 1.官方模型卡的评测一节只点名了基准清单（Terminal-Bench 4.0、SWE-bench Pro、FrontierSWE、GDPVal-AA V2.1、AutomationBench、MCP-Atlas、SkillsBench、HealthBench Professional），没有给出任何可引用的数值表 —— 本站因此一个分数都没法入库，总榜上它是空行
- 2.它自报强项的那几个基准（Terminal-Bench 4.0、FrontierSWE、GDPVal-AA V2.1、SWE-bench Pro）本站都没有对应列，即便将来给出数值也未必能并入总榜
- 3.官方把编码成绩和一个未开源的自研 harness 绑在一起：LingCode 基于开源 agent Pi 改造，官方称它在部分编码 agent 任务上带来「显著提升」，但同时只说「将来考虑开源」—— 所以用标准 harness 自测时未必能复现官方口径
- 4.纯文本模型。同族的多模态版本是 9 月的 Ling-3.0-flash-VL，不是这一代；本站无 Ling-3.0 系列条目，故它不替代任何现有条目
- 5.vLLM 路径还不在正式发行版里：官方要求从 vllm-project/vllm 的 vllm 分支源码安装（VLLM_USE_PRECOMPILED=1 可编辑安装），SGLang 才是官方推荐路径
- 6.无官方按 token 定价入库：蚂蚁的托管服务与 OpenRouter 等第三方渠道各有价目，本站用官方定价页，第三方渠道价不跟
- 7.官方未公布预训练 token 量、知识截止日期与最大输出长度
暂无带来源的分数。
更新 2026-10-16 · 排名供选型参考，基准会饱和、会泄漏、会过时。