Kolibri 1
Aleph Alpha Kolibri 1 · Aleph Alpha Aleph Alpha（德国） · 发布 2026-10-03 · 当前代
Apache 2.0 的德英双语 78B/3.46B MoE，单卡 H200 能跑，GPQA 84.3。
- 类型
- MoE
- 注意力
- 滑动窗口（512）为主，每第 5 层全注意力；48 Q 头 / 4 KV 头（4:1 SWA:GQA）
- 层数
- 50
- 专家
- 384 · 激活 6 + 共享
- 隐藏维
- 2560
- 词表
- 128,000
50 层全 MoE，每层 384 路由专家 + 1 共享专家，每 token 走 6 个路由专家；专家隐藏维 512。位置编码只加在滑窗层，因此上下文可不经位置缩放外推。权重为 float8_e4m3fn（128×128 分块）+ 动态量化激活，embedding / LM head / norm / MoE router 保持 bfloat16。训练用 Muon + Exact Quantile Balancing；预训练 20T token（约 62.5% 英 / 23.9% 德 / 13.6% 代码），mid-training 3.44T、长上下文扩展 201B；768 张 B200 跑 21 天（392k GPU 时），总计 6.4e23 FLOPS。前身 Kolibri Origin（30.6B / 3.27B）未公开发布。
完善中
| 精度 | 权重大小 | 说明 |
|---|---|---|
| BF16 | — | 暂无 |
| FP8 | 78 GB | |
| Q8 | — | 暂无 |
| Q4 | — | 暂无 |
- 消费级 24GB
- 未评估
- 单卡 80GB
- 可行：官方最低为 1× H200 / B200 / B300（80GB 单卡需 2× A100 80GB 或 2× H100 SXM5）
- 8×80GB 节点
- 充裕
KV Cache：官方以 FP8 KV cache 评测；超过 262,144 上下文需加 --max-model-len 1048576 与 max_position_embeddings 覆盖
⚠ 能加载 ≠ 能在满上下文 / 高并发下舒服跑。标「估」的数字来自 计算器 公式或社区量化文件大小。
完善中
| 配置 | 量化 | 占用 / 显存 | 解码 tok/s | 预填充 tok/s | 最大上下文 |
|---|---|---|---|---|---|
| 2× RTX 3090 24GB消费级 | Q4_K_M估 | 48 GB / 48 GB | 513 | 9234 | 未建模 |
| 2× RTX 4090 24GB消费级 | Q4_K_M估 | 48 GB / 48 GB | 553 | 21460 | 未建模 |
| 2× RTX 5090 32GB消费级 | Q5_K_M估 | 56 GB / 64 GB | 826 | 27312 | 未建模 |
| 2× L4 24GB工作站 | Q4_K_M估 | 48 GB / 48 GB | 164 | 7803 | 未建模 |
| RTX A6000 48GB工作站 | Q4_K_M估 | 46 GB / 48 GB | 249 | 5007 | 未建模 |
| RTX 6000 Ada 48GB工作站 | Q4_K_M估 | 46 GB / 48 GB | 311 | 5918 | 未建模 |
| L40S 48GB工作站 | Q4_K_M估 | 46 GB / 48 GB | 280 | 5918 | 未建模 |
| RTX PRO 6000 Blackwell 96GB工作站 | FP8 | 79 GB / 96 GB | 337 | 16257 | 未建模 |
| 2× A10 24GB数据中心 | Q4_K_M估 | 48 GB / 48 GB | 329 | 8064 | 未建模 |
| 2× A100 40GB数据中心 | Q6_K估 | 65 GB / 80 GB | 618 | 40578 | 未建模 |
| A100 80GB数据中心 | FP8 | 79 GB / 80 GB | 383 | 20289 | 未建模 |
| H20 96GB数据中心 | FP8 | 79 GB / 96 GB | 751 | 4812 | 未建模 |
| 昇腾 Ascend 910B 64GB数据中心 | Q6_K估 | 64 GB / 64 GB | 376 | 18208 | 未建模 |
| H100 80GB PCIe数据中心 | FP8 | 79 GB / 80 GB | 376 | 49162 | 未建模 |
| H100 80GB SXM数据中心 | FP8 | 79 GB / 80 GB | 629 | 64314 | 未建模 |
| AMD MI300X 192GB数据中心 | BF16估 | 157 GB / 192 GB | 498 | 84993 | 未建模 |
| H200 141GB数据中心 | FP8 | 79 GB / 141 GB | 902 | 64314 | 未建模 |
| B200 192GB数据中心 | BF16估 | 157 GB / 192 GB | 751 | 146315 | 未建模 |
| Mac M4 Pro 64GB统一内存 | Q5_K_M估 | 55 GB / 56 GB | 57 | 1105 | 未建模 |
| DGX Spark 128GB统一内存 | FP8 | 79 GB / 120 GB | 39 | 4032 | 未建模 |
| Mac M4 Max 128GB统一内存 | FP8 | 79 GB / 120 GB | 79 | 2211 | 未建模 |
| Mac Studio M3 Ultra 256GB统一内存 | BF16估 | 157 GB / 240 GB | 59 | 3707 | 未建模 |
| Mac Studio M3 Ultra 512GB统一内存 | BF16估 | 157 GB / 490 GB | 59 | 3707 | 未建模 |
单流（batch=1）估算：解码 ≈ 显存带宽 × 效率 ÷ 每 token 读取字节（激活参数 × 量化位宽 + KV）；预填充 ≈ FP16 算力 × 0.45 ÷ (2 × 激活参数)。多卡按张量并行、带宽求和 × 0.55。实际受引擎、驱动、PCIe 影响，误差 ±30%。反向查：我的卡能跑谁 →
编程LiveCodeBench v6 85.9、HumanEval+ 92.7、SWE-bench Verified 66.4（官方模型卡）。
数学AIME 2025 英 96.9 / 德 87.5，AIME 2026 英 96.0 / 德 90.0（官方模型卡）。
知识GPQA Diamond 英 84.3 / 德 81.3、HLE 无工具 英 21.5 / 德 15.9、MMLU-Pro CoT 英 80.0 / MMLU-ProX CoT 德 75.5（官方模型卡）。
指令遵循IFBench（loose-prompt）78.1（官方模型卡）。
AgentTerminalBench 2.1 27.7、Tau2-Bench Telecom 94.7 / Retail 69.9 / Airline 76.7、Tau3-Bench Banking 38.1、BFCL v4 总分 61.4、BrowseComp 29.4（官方模型卡）。
中文无：官方只声明德语与英语，未提供中文支持或评测。
这是「小激活量 + 双语深耕」的路线产物。在官方自己的对比表里，它和同为 3B 激活的 Qwen3.6 35B-A3B 正面对撞：英文总分 75.5 对 71.4、德文 70.8 对 67.3，知识与数学明显领先（GPQA 84.3 对 83.4、AIME 2026 96.0 对 91.0），但代码 agent 侧吃亏（SWE-bench Verified 66.4 对 73.8）。真正的硬短板是终端任务：TerminalBench 2.1 的 27.7 连 12B 激活的 Nemotron 3 Super（39.7）都不如，更不用说 Qwen3.8 27B 稠密版的 76.8。工具调用形状很分裂 —— Tau2-Bench Telecom 94.7 极高，但 Tau3-Bench Banking 只有 38.1、BFCL v3 多轮 39.8 偏低。接地与幻觉这块它反而有亮点：AA-Omniscience 非幻觉率 44.0 高于多数同级，SQuAD 接地分 23.4 是表里少见的非零值。定位上官方把它写成公共行政、工业与航空航天的「主权可控」模型，强调人在环中审阅，不做自主决策组件。
- 1.Apache 2.0 无门禁，78.1B 总参只激活 3.46B，FP8 权重约 78GB —— 单张 H200 / B200 / B300 就能起
- 2.官方表里德英双语都强：GPQA Diamond 英 84.3 / 德 81.3，AIME 2025 英 96.9 / 德 87.5，为同激活量级（3B）里最高一档
- 3.原生 262,144 上下文，位置编码只加在滑窗层，官方称已验证到 1,048,576；reasoning_effort 四档含 none
- 4.全套材料公开：模型卡、189 页技术报告、能耗估算（约 950 MWh）、训练数据构成，且是 EU GPAI 行为准则签署方
- 1.只支持德语和英语，官方明说是「深度优于广度」的取舍 —— 中文不在支持列表内，本站无中文评测
- 2.TerminalBench 2.1 只有 27.7，Nemotron 3 Super 39.7、Qwen3.8 27B 76.8 —— 长时程终端 agent 是明显短板
- 3.必须装 Aleph Alpha 自家的 aleph-alpha-inference（vLLM 插件）才能跑，不是开箱 vLLM/llama.cpp；超 256K 还要额外改参数
- 4.Apache 2.0 只覆盖本仓库的权重与配置文件，官方明确保留架构、训练代码、训练方法与参数设置的全部权利
- 5.RULER 长上下文分数随长度下滑（4k 86.9 → 1M 63.2），1M 窗口别当成 1M 可用质量；官方自己建议复杂任务 ≤262,144
- 6.官方对比表全部由 Aleph Alpha 自己跑，属厂商声明，尚无独立复测
| 基准 | 分数 | 来源 | 日期 | 证据 |
|---|---|---|---|---|
| SWE-bench Verified真实仓库修 bug | 66.4% | Kolibri-1 模型卡（英文列，LiveCodeBench v6 / TerminalBench 2.1） | 2026-10-10 | 厂商公布 |
| LiveCodeBench竞赛编程 | 85.9% | Kolibri-1 模型卡（英文列，LiveCodeBench v6 / TerminalBench 2.1） | 2026-10-10 | 厂商公布 |
| GPQA Diamond研究生级科学问答 | 84.3% | Kolibri-1 模型卡（英文列，LiveCodeBench v6 / TerminalBench 2.1） | 2026-10-10 | 厂商公布 |
| Humanity's Last Exam人类最后考试 | 21.5% | Kolibri-1 模型卡（英文列，LiveCodeBench v6 / TerminalBench 2.1） | 2026-10-10 | 厂商公布 |
| AIME 2025美国数学邀请赛 | 96.9% | Kolibri-1 模型卡（英文列，LiveCodeBench v6 / TerminalBench 2.1） | 2026-10-10 | 厂商公布 |
| Terminal-Bench终端 agent | 27.7% | Kolibri-1 模型卡（英文列，LiveCodeBench v6 / TerminalBench 2.1） | 2026-10-10 | 厂商公布 |
更新 2026-10-10 · 排名供选型参考，基准会饱和、会泄漏、会过时。