Inkling
Thinking Machines Inkling · Thinking Machines Lab Thinking Machines（美国） · 发布 2026-07-15 · 当前代
Apache 2.0 的 975B 多模态开源权重，官方自己承认「不是最强」，卖点是能改。
- 类型
- MoE
- 注意力
- 局部层与全局层混合
- 层数
- 66
- 专家
- 256 · 激活 6 + 共享
- 隐藏维
- 未披露
- 词表
- 未披露
官方模型卡：66 层 decoder-only，稀疏 MoE 前馈，每 token 路由到 256 个专家中的 6 个，另有 2 个专家对每个 token 常驻激活。原生多模态 —— 图像走分层 patch 编码器、音频走离散 token 编码，各模态投影到同一隐空间后由同一个 decoder 联合处理。预训练 45 万亿 token 的文本 / 图像 / 音频 / 视频。权重精度支持 BF16、MXFP8、NVFP4。评测分数报在 effort=0.99 档（存在可调推理预算）。同族还有 Inkling-Small（276B 总参 / 12B 激活，官方称多项基准追平甚至超过大号），本站暂未单列。
完善中
| 精度 | 权重大小 | 说明 |
|---|---|---|
| BF16 | 2000 GB估 | 官方精度 |
| FP8 | — | 暂无 |
| Q8 | — | 暂无 |
| Q4 | 600 GB估 | GGUF Q4_K_M 或等效 |
- 消费级 24GB
- 跑不动：官方 BF16 要求集群聚合显存 ≥2TB，NVFP4 也要 ≥600GB
- 单卡 80GB
- 跑不动：单卡 80GB 连 NVFP4 都装不下
- 8×80GB 节点
- 可行但只能走量化：8×H200 跑 NVFP4（W4A16）是官方给的最低配之一；BF16 需 8×B300 或 16×H200
KV Cache：这里的数字是官方模型卡给的「聚合显存要求」而非权重文件体积：BF16 ≥2TB，NVFP4 ≥600GB。W4A4 模式额外要求 SM100+（Blackwell）架构。推理框架官方点名 SGLang、vLLM、TokenSpeed、Unsloth、Hugging Face，另有社区 ggml 量化可本地跑
⚠ 能加载 ≠ 能在满上下文 / 高并发下舒服跑。标「估」的数字来自 计算器 公式或社区量化文件大小。
完善中
| 配置 | 量化 | 占用 / 显存 | 解码 tok/s | 预填充 tok/s | 最大上下文 |
|---|---|---|---|---|---|
| 8× RTX PRO 6000 Blackwell 96GB工作站 | Q5_K_M估 | 682 GB / 768 GB | 279 | 10976 | 未建模 |
| 8× A100 80GB数据中心 | Q4_K_M | 610 GB / 640 GB | 377 | 13698 | 未建模 |
| 8× H20 96GB数据中心 | Q5_K_M估 | 682 GB / 768 GB | 622 | 3249 | 未建模 |
| 8× H100 80GB PCIe数据中心 | Q4_K_M | 610 GB / 640 GB | 370 | 33190 | 未建模 |
| 8× H100 80GB SXM数据中心 | Q4_K_M | 610 GB / 640 GB | 620 | 43420 | 未建模 |
| 4× AMD MI300X 192GB数据中心 | Q5_K_M估 | 678 GB / 768 GB | 412 | 28690 | 未建模 |
| 8× H200 141GB数据中心 | FP8估 | 985 GB / 1128 GB | 515 | 43420 | 未建模 |
| 4× B200 192GB数据中心 | Q5_K_M估 | 678 GB / 768 GB | 622 | 49390 | 未建模 |
单流（batch=1）估算：解码 ≈ 显存带宽 × 效率 ÷ 每 token 读取字节（激活参数 × 量化位宽 + KV）；预填充 ≈ FP16 算力 × 0.45 ÷ (2 × 激活参数)。多卡按张量并行、带宽求和 × 0.55。实际受引擎、驱动、PCIe 影响，误差 ±30%。反向查：我的卡能跑谁 →
编程SWE-bench Verified 77.6%、SWE-bench Pro Public 54.3%、Terminal Bench 2.1（Best Harness）63.8%（官方模型卡，effort=0.99；被网搜污染的 rollout 计 0 分）。
推理HLE 纯文本 29.7%、带工具 46.0%、GPQA Diamond 87.2%（官方模型卡）。
数学AIME 2026 97.1%（官方模型卡；本站 aime25 列为 2025 套题，口径不同未并入）。
知识SimpleQA Verified 43.9%、AA Omniscience 2.1（官方模型卡），为明显短板。
指令遵循IFBench 79.8%（官方模型卡，为该表全列第一，高于 Claude Fable 5 的 63.5%）。
AgentMCP Atlas 76.0%、Toolathlon Verified 45.5%、Tau 3 Banking 23.7%、BrowseComp（带上下文管理）77.1%、GDPVal-AA v2 1238（官方模型卡）。
多模态MMMU Pro（Standard 10）73.5%、Charxiv RQ 78.1%（带 Python 82.0%）；音频 Audio MC 56.6%、MMAU 77.2%、VoiceBench 91.4%（官方模型卡）。
中文官方只写「英语及其他语言的通用多语支持」，Global-MMLU-Lite 88.7%；无单独中文评测。
把它放在 2026 年的开源权重坐标系里看：规模最大、许可最松、模态最全，但峰值能力不在第一梯队。官方同管线表里它的位置相当一致 —— 考试型推理（HLE 29.7%、GPQA 87.2%、AIME 2026 97.1%）大致贴着 Kimi K2.5，被 GLM 5.2（HLE 40.1%）和闭源组甩开；工程型（SWE-bench Verified 77.6%、SWE-bench Pro Public 54.3%）在开源组中游；通用 agent 里 MCP Atlas 76.0% 与 GLM 5.2 的 77.8% 接近，但 Toolathlon Verified 45.5% 明显落后 GLM 5.2 的 59.9% 与 Kimi K2.6 的 58.0%。两个真正的差异化点是音频（本站多数条目这一列是空的）与 IFBench 79.8%（指令遵循，这一项连 Claude Fable 5 的 63.5% 都比不过它）。短板很集中：事实性。SimpleQA Verified 与 AA Omniscience 两行都接近榜底，官方自己的建议就是配检索。本站入榜的是官方模型卡里与站内列同口径的四项：SWE-bench Verified、GPQA Diamond、HLE（纯文本）、Terminal Bench 2.1（Best Harness）；AIME 为 2026 套题、MMMU 为 Pro 口径，均未并入。
- 1.Apache 2.0 下的近万亿参数 MoE：975B 总参 / 41B 激活，1M 上下文，原生吃文本 + 图像 + 音频 —— 美国实验室目前最大的无条件许可开源权重
- 2.官方模型卡给了 24 行同管线对比（开源组 Nemotron 3 Ultra / Kimi K2.5 / K2.6 / GLM 5.2 / DeepSeek V4 Pro，闭源组 Gemini 3.1 Pro / Claude Fable 5 / GPT 5.6 Sol）：SWE-bench Verified 77.6%、GPQA Diamond 87.2%、HLE 纯文本 29.7%、Terminal Bench 2.1 63.8%、MCP Atlas 76.0%
- 3.音频是差异化项：Audio MC 56.6%、MMAU 77.2%、VoiceBench 91.4% —— 同代开源权重模型里几乎没有对手能填这三行
- 4.安全侧在开源组里偏硬：FORTRESS 对抗 78.0%（Kimi K2.5 54.1%、DeepSeek V4 Pro 36.0%）、良性 95.9%、StrongREJECT 98.6%
- 5.可微调路径是官方主推：Tinker 平台上提供 64K / 256K 两档上下文的微调，权重同时发 BF16 原版与 NVFP4 量化版
- 1.官方自己在发布博客里写明「Inkling 不是当今最强的模型，开源闭源都不是」 —— 它的定位是可定制的宽基座，不是跑分机器
- 2.硬件门槛是本站开源条目里最高的一档：BF16 要 8×B300 或 16×H200（聚合 ≥2TB 显存），NVFP4 也要 4×B300 或 8×H200，个人硬件无望
- 3.事实性是明显短板：SimpleQA Verified 43.9%、AA Omniscience 2.1，Gemini 3.1 Pro 同两项是 77.3% 与 33.0，用它做知识问答必须配检索
- 4.Terminal Bench 2.1 63.8% 落后 GLM 5.2 的 82.7% 与 Kimi K2.6 的 71.3%，长时程终端 agent 不是它的强项
- 5.全部对比分数由 Thinking Machines 自己跑（对照分生成于 2026-07-14），目前无第三方同管线复测；官方另注明 Terminal Bench 2.1 里被网搜污染的 rollout 一律按 0 分计
- 6.官方明说残余风险包括「对角色扮演与间接框定的有害提问偶有顺从」，建议外挂 Llama Guard 这类输入输出分类器，不要只靠模型自身拒答
| 基准 | 分数 | 来源 | 日期 | 证据 |
|---|---|---|---|---|
| SWE-bench Verified真实仓库修 bug | 77.6% | Inkling 官方模型卡对比表（effort=0.99；HLE 纯文本、Terminal Bench 2.1 Best Harness） | 2026-10-14 | 厂商公布 |
| GPQA Diamond研究生级科学问答 | 87.2% | Inkling 官方模型卡对比表（effort=0.99；HLE 纯文本、Terminal Bench 2.1 Best Harness） | 2026-10-14 | 厂商公布 |
| Humanity's Last Exam人类最后考试 | 29.7% | Inkling 官方模型卡对比表（effort=0.99；HLE 纯文本、Terminal Bench 2.1 Best Harness） | 2026-10-14 | 厂商公布 |
| Terminal-Bench终端 agent | 63.8% | Inkling 官方模型卡对比表（effort=0.99；HLE 纯文本、Terminal Bench 2.1 Best Harness） | 2026-10-14 | 厂商公布 |
更新 2026-10-14 · 排名供选型参考，基准会饱和、会泄漏、会过时。