开源权重可下推理模型·可关多模态可商用 · MIT

DeepSeek-V4.1-Flash

Name: DeepSeek-V4.1-Flash
Author: DeepSeek

DeepSeek-V4.1-Flash · DeepSeek 深度求索 · 发布 2026-09-10 · 当前代

把 KV 缓存压到 890 字节/token 的 MIT 开源多模态 MoE，agent 长跑成本杀手。

参数

552B 总 / 8B（prefill）/ 16B（decode）激活

MOE

上下文

输出 384K

价格 / 1M tok

$0.15 / $0.60

DeepSeek 官方定价页 · 2026-09-28

最低可跑

Mac Studio M3 Ultra

Q6_K · 443 GB · ≈32 tok/s

Arena Elo—

AA 综合指数—

代码—

GPQA 推理90.9

2026-09-28

Hugging Face ↗技术报告 ↗官方 ↗

架构简图

类型: MoE
注意力: CSA2 压缩稀疏注意力（Full / Reindex / Reuse 三种静态模式）+ 分层稀疏索引器 + FP4 主 KV 缓存
层数: 40
专家: 384 · 激活 6 + 共享
隐藏维: 未披露
词表: 未披露

Causal Encoder-Decoder（CED）：40 层拆成 20 层因果编码器 + 20 层解码器，解码器的全局 KV 缓存由编码器末层隐状态投影而来，因此 prefill 每 token 只激活 8B、decode 16B。每 MoE 层 1 个共享专家 + 384 个路由专家，每 token 激活 6 个路由专家。全局 KV 缓存 890 字节/token，官方称约为 V4-Flash 的 1/4、V1 的 1/437；SWA Bounded Replay 把持久化 KV 压到 V4-Flash 的约 1/8。另含 Engram 条件记忆（196B 参数，按 token 稀疏查表，不在 552B 骨干内）与 DSpark 投机解码。预训练 45T 多模态 token，稀疏注意力在 64K 序列长度训练、在 34T token 处扩到 1M。reasoning effort 为 1–100 的连续整数。注意：HF 侧边栏显示 763B、权重分片合计约 510GB，与 552B 骨干口径不同，容量规划前请看 config。

完善中

精度	权重大小	说明
BF16	—	暂无
FP8	—	暂无
Q8	—	暂无
Q4	—	暂无

消费级 24GB: 不可行
单卡 80GB: 不可行
8×80GB 节点: 权重分片约 510GB，已量化发布；vLLM / SGLang 已有多卡部署路径

KV Cache：官方给出全局 KV 缓存 890 字节/token（FP4 主 KV，E2M1 格式、每 16 通道一个 E4M3 scale），约为 DeepSeek-V4-Flash 的 1/4。 ≈ 0.87 KiB/token

⚠ 能加载 ≠ 能在满上下文 / 高并发下舒服跑。标「估」的数字来自计算器公式或社区量化文件大小。

完善中

硬件配置与预估吞吐

最低可跑（8K 上下文）

Mac Studio M3 Ultra 512GB

≈¥75,000 · 合计 ≈¥75,000 · 统一内存

量化

Q6_K

解码

32 tok/s

最大上下文

54.3M

推荐配置（≥Q8 · 32K 上下文 · ≥15 tok/s）

8 × A100 80GB

云 ≈$1.5/h × 8 · 合计 ≈¥480,000 · 数据中心

量化

FP8

解码

560 tok/s

最大上下文

180.2M

配置	量化	占用 / 显存	解码 tok/s	预填充 tok/s	最大上下文
8× L40S 48GB工作站	Q4_K_M估	330 GB / 384 GB	409	10238	62.3M
4× RTX PRO 6000 Blackwell 96GB工作站	Q4_K_M估	325 GB / 384 GB	424	14063	67.9M
8× A100 80GB数据中心	FP8估	562 GB / 640 GB	561	35100	180.2M
4× H20 96GB数据中心	Q4_K_M估	325 GB / 384 GB	948	4163	67.9M
8× 昇腾 Ascend 910B 64GB数据中心	Q6_K估	451 GB / 512 GB	550	31500	69.9M
8× H100 80GB PCIe数据中心	FP8估	562 GB / 640 GB	550	85050	180.2M
8× H100 80GB SXM数据中心	FP8估	562 GB / 640 GB	921	111263	180.2M
2× AMD MI300X 192GB数据中心	Q5_K_M估	383 GB / 384 GB	528	36759	847K
4× H200 141GB数据中心	FP8估	557 GB / 564 GB	660	55631	16.6M
2× B200 192GB数据中心	Q5_K_M估	383 GB / 384 GB	797	63281	847K
Mac Studio M3 Ultra 512GB统一内存	Q6_K估	443 GB / 490 GB	32	802	54.3M

单流（batch=1）估算：解码 ≈ 显存带宽 × 效率 ÷ 每 token 读取字节（激活参数 × 量化位宽 + KV）；预填充 ≈ FP16 算力 × 0.45 ÷ (2 × 激活参数)。多卡按张量并行、带宽求和 × 0.55。实际受引擎、驱动、PCIe 影响，误差 ±30%。反向查：我的卡能跑谁 →

用计算器按你的上下文与并发估算 →

可用维度不足 3 个，不绘制雷达图

编程Terminal-Bench 2.1 90.6%、Terminal-Bench 3.0 30.0%、Terminal-Bench 4.0 31.2%、DeepSWE v1.1 74.2%、NL2Repo-Bench 64.0、ProgramBench 20.3%（官方模型卡，max effort，DeepSeek Harness Minimal 模式）。

推理GPQA Diamond 90.9%、HLE 36.8%（纯文本子集 39.1%）、HLE 带工具 63.9%（官方模型卡）。

数学Codeforces Rating 3471、MathArena Apex 65.6%（官方模型卡）。

AgentAutomationBench 54.8%、Agent's Last Exam 31.8%、CyberGym 88.1%、SEC-Bench Pro 62.8%、ExploitGym 15.3%（官方模型卡）。

多模态基座 MMMU-Pro 56.5%、DocVQA 95.6%（官方）；指令版 Chartography 带工具 78.9%、BabyVision 带工具 89.6%。

中文基座 C-Eval 92.1%（官方）；中文顶级。

逻辑能力

工程型推理是强项、考试型推理反而退步，这个反差是这一版的特征。agent 类：Terminal-Bench 2.1 90.6% 是官方对照表第一，DeepSWE v1.1 74.2% 微超 Opus 5，AutomationBench 54.8% 与 Agent's Last Exam 31.8% 都是表内最高，Codeforces Rating 3471 超过 V4-Pro 的 3348。考试类：GPQA Diamond 90.9% 低于 V4-Pro 的 92.4% 与 GPT-5.6 Sol 的 94.1%，HLE 36.8% 更是全表偏低。架构上的取舍很清楚——为输入密集的 agent 负载优化 prefill 成本，代价是深度知识推理没跟上。

亮点

1.Terminal-Bench 2.1 90.6%、DeepSWE v1.1 74.2%、AutomationBench 54.8%、CyberGym 88.1% 均超过官方对照表里的 Opus 5.0（89.1 / 74.0 / 50.3）（官方模型卡，max effort）
2.全局 KV 缓存 890 字节/token，官方称约为 V4-Flash 的 1/4、初代 V1 的 1/437；prefill 每 token 只激活 8B 参数
3.MIT 许可、权重无门槛发布，原生多模态（图像 + 文本输入），1M 上下文 / 384K 最大输出
4.API 非高峰价 $0.15 / $0.60，缓存命中输入 $0.003

坑

1.参数量有三个口径：官方骨干 552B、加上 Engram 条件记忆约 748B、HF 侧边栏显示 763B，权重分片合计约 510GB（已量化）。做容量规划别直接用 552B
2.高峰时段（周一至周五 01:00–04:00 与 06:00–10:00 UTC）所有费率精确翻倍，按非高峰价做预算会严重低估
3.长时程通用 agent 仍落后：Terminal-Bench 3.0 30.0% 与 4.0 31.2% 都明显低于 Opus 5 的 43.3% / 51.8%；HLE 36.8% 也低于 V4-Pro 的 42.7%
4.Engram 196B 条件记忆官方未给出每 token 激活量，也无第三方验证；不是单机能跑的模型（V4-Flash 284B 尚可单节点，这一版不行）
5.llama.cpp / Ollama 暂无对应路径，约 510GB 的检查点在消费级硬件上基本无解

适合：长会话、输入密集的编码 agent · 自建部署的成本敏感场景（MIT） · 网络安全防御类任务（CyberGym 88.1%）

不适合：单机 / 消费级硬件自建 · 深度知识推理与竞赛型考试任务（看 V4-Pro） · 开放式长时程通用 agent

基准	分数	来源	日期	证据
GPQA Diamond研究生级科学问答	90.9%	DeepSeek-V4.1-Flash 模型卡（max effort，Terminal-Bench 2.1）	2026-09-28	厂商公布
Humanity's Last Exam人类最后考试	36.8%	DeepSeek-V4.1-Flash 模型卡（max effort，Terminal-Bench 2.1）	2026-09-28	厂商公布
Terminal-Bench终端 agent	90.6%	DeepSeek-V4.1-Flash 模型卡（max effort，Terminal-Bench 2.1）	2026-09-28	厂商公布

更新 2026-09-28 · 排名供选型参考，基准会饱和、会泄漏、会过时。