方法论
榜单没有方法论就没有信任。这里是全部规则,代码里的算法与本页一致。
1. 数据来源与截止日期
- 本站没有自动抓取。所有分数、价格、规格都是仓库里的静态文件(
data/models/*.json、data/scores.json),由维护者手工更新后重新构建。 - 每条分数带
source、source_url、as_of、evidence。页面上任何数字都能追溯到这四项,或明确标「估计」/「未披露」。 - 当前快照数据截止 2026-10-16,站点构建于 2026-10-16。
分数与价格为仓库内手工维护的静态快照,来源与日期见每条记录。2026-10-16 为 NVIDIA 3.5 代补齐阶梯并收录两家开源旗舰:新增 Nemotron 3.5 Super VL 120B-A12B(2026-10-15,OpenMDW-1.1 的 120B / 12B 激活混合 Mamba-MoE 视觉语言模型,1M 上下文,C-RADIO 视觉编码器 + 原生 MTP,权重 / 数据 / 配方全开,NVFP4 可单卡 H200 或单台 DGX Spark 开满 1M),Nemotron 3 Super 120B-A12B 相应翻 superseded(Super VL 官方模型卡明写语言骨干从 Nemotron 3 Super Base 初始化,NVIDIA 发布博客的当前家族阵容已换成「Super VL 与 Bolt 加入 Lightning 和 Ultra」;权重仍开源可自建,Nemotron 3 Ultra 不动);新增 Nemotron 3.5 Bolt 74B-A9B 24GB(上一轮因权重未上线而推迟,今日补上 —— 用 Star Elastic 把「低于 24GB」写进架构搜索目标函数,技术报告把 22.01GB 权重 + 0.87GB 运行态 + 0.96GB 草稿头逐项摊开,256K 上下文);新增 Meta Muse Spark Open 816B-A42B(2026-10-15,816B / 42B 激活原生四模态 MoE,1M 上下文,与在售闭源 Muse Spark 1.3 共用同一基座、多做一轮安全后训练,Muse Model License 要求署名「Built with Muse Spark Open」且 MaaS 营收超 2,000 万美元须单独签协议,故记 restricted;Muse Spark 1.3 保持 current,它是同基座的闭源 API 档位而非被替代方);新增蚂蚁 inclusionAI Ling-3.1-flash(2026-10-15 权重开放,纯 MIT 的 560B / 25B 激活混合线性 MoE,63 层 KDA + 9 层 Gated MLA,1M 上下文 —— 本站 10-13 曾因许可说法不一拒收,今日 HF 官方仓库与模型卡均确认 MIT)。同日 Step 5 Preview 从 api-only 翻为 open-weights:官方 HF 组织上线 FP8 / BF16 / NVFP4 三份,许可确认为 StepFun Model License 1.0,license_commercial 由 true 改为 restricted(硬件厂商设备内置与营收超 2,000 万美元的 MaaS 须单独签商业协议),status 保持 preview,定价不变。新增 2026-10-16 分数快照层(Super VL 六项、Bolt 三项、Muse Spark Open 两项官方分数);Ling-3.1-flash 不产生分数行 —— 官方模型卡的评测一节只点名基准清单、未给任何可引用数值。未入库:Bolt E4B 4GB 官方排期 10-23;LMArena 对 Gemini 4 Argon 与 muse-wonder-max 的读数仍被标为 Preliminary,arena 列不收;AA 对 Super VL 的 26 分与 Muse Spark Open 官方表引的 AA 39 分别为 v4.3.x 与未标版本口径,与本站 aa 列不可混比,只写在模型页。2026-10-15 补录 NVIDIA Nemotron 3.5 Lightning 30B-A3B(2026-08-11 发布,OpenMDW-1.1 的 31.6B / 3.6B 激活混合 Mamba-2 + MoE,1M 上下文,权重 / 训练数据 / 配方全开,NVFP4 实测 21.6GB 可进 24GB),Nemotron 3 Nano 30B-A3B 相应翻 superseded;同日修正 10-13 那次误建的 Muse Glimmer 重复条目:删除 muse-glimmer(本站 2026-08 起已有 muse-glimmer-30b,complete: true),2026-10-13 分数快照层随之清空。2026-10-14 新增 Gemini 4 Argon(2026-09-30 公布、2026-10-13 16:00 UTC 全量开放;引导价 $2 / $10 至 2026-11-30,12-01 起 $4 / $20;1M 输入输出合一窗口),Gemini 3.1 Pro 相应翻 superseded;同日新增 Liquid AI LFM2.5-24B-A2B 并补录此前漏收的 Thinking Machines Inkling(2026-07-15,Apache 2.0 的 975B / 41B 多模态开源权重)。2026-10-13 新增 Meta Muse Wonder 与 Muse Wonder Full 并补录 Muse Glimmer 30B。2026-10-12 补录阶跃 Step 5 Preview 与 JetBrains Mellum2.1。2026-10-11 新增 Mistral Large 4 公开预览条目,GLM-5.3-Flash 定价回到官方列表价。2026-10-10 新增 GPT-6.1 Sol、Claude Haiku 5.5、Claude Mythos 5.1 与 Aleph Alpha Kolibri 1,GPT-6 Sol 与 Haiku 4.5 相应翻 superseded,Sonnet 5.5 缓存读价格减半。2026-09-29 新增 Claude Sonnet 5.5 与小米 MiMo-V2.6-Pro / Flash,Sonnet 5 与 MiMo-V2.5 相应翻 superseded。2026-09-28 补录 8 月底至 9 月的发布(Claude Fable 5.1 / Opus 5.5、GPT-6 Astra / Sol / Luna、Gemini 3.8 Flash、Grok 4.7、DeepSeek-V4.1-Flash、Qwen3.8-Max-0902、Muse Spark 1.3、腾讯 Hy4 预览),被替代的旧条目已翻 superseded 并保留历史快照供对照。AA 指数为 v4.x 口径,旧代模型的 v3 指数已移除以免混比;Terminal-Bench 列统一为 2.0 / 2.1 口径,9 月机型大量公布的 Terminal-Bench 3.0 / 4.0 未并入该列,详情见各模型页。
2. 综合参考分怎么算
「综合参考分」只是默认排序键,不是真理。榜单同时展示 Arena Elo、AA 指数、代码、推理等原始分,详情页列出全部来源。
score = 0.35 × norm(independent_index)
+ 0.25 × norm(arena_elo)
+ 0.20 × norm(coding)
+ 0.20 × norm(reasoning)
independent_index = Artificial Analysis Intelligence Index
arena_elo = LMArena Text Elo (style control)
coding = SWE-bench Verified,缺则 LiveCodeBench
reasoning = GPQA Diamond,缺则 HLE
norm:在当前榜单集合(综合 / 开源 / 闭源分别)内做 min-max 归一到 0–100。开源榜与闭源榜分别归一化,避免开源被闭源绝对值压死;综合榜用全集归一化。- 缺项:该分量不计入,权重按现有项重分配,并在表格里标「部分」。已有分量权重之和 < 0.45(即只有一个分量)时不给参考分,只显示原始分,避免单一厂商数字把模型顶到榜首。
- 场景榜:对应场景权重提到 0.55,其余三项均分 0.45。
- 性价比:
score / log10(输入价格 × 10 + 2),只含有公开价格的模型。开源模型若无官方 API,使用第三方托管常见价并标「托管」。 - 单卡可跑:开源 + Q4 权重 × 1.1 ≤ 24 GB。
- 同分:先比独立复测条数,再比更新日期,再比名称字母序。
3. 开源 / 闭源分列
同时满足以下两条进「开源」:权重可下载;weights_available = true。仅 API、或「承诺开源但未放权重」归入闭源。许可证另列,「开源权重」≠「OSI 开源许可」≠「可商用」,见 架构图鉴 · 开源权重 vs 开放许可证。
4. 证据等级
| 等级 | 含义 | UI |
|---|---|---|
| official | 厂商公布(模型卡 / 发布公告) | ○ 灰 |
| independent | 第三方独立复测(LMArena、Artificial Analysis 等) | ● 绿 |
| community | 社区复测或本站估算 | ◐ 黄 |
| unknown | 缺失 | — |
厂商自称的数字一律标 official,不写成独立复测。
5. 显存估算假设
weight_mem ≈ params_b × bytes_per_param × 1.08
kv_mem ≈ layers × kv_heads × head_dim × 2 × seq × batch × dtype_bytes × 1.2
bytes_per_param:BF16 2 · FP8 1 · Q8 1.06 · Q6 0.8 · Q5 0.69 · Q4 0.58。有官方 / 社区文件大小时优先用实际值。MLA 按 576 维潜向量等效;混合线性注意力只对全注意力层计 KV;滑窗模型只计全局层。缺层数 / 头数 → 「KV 未建模」。
5.1 硬件配置与吞吐估算
占用 = 权重(量化) + KV(上下文) + 1.2 GB × 卡数
解码 tok/s = 带宽 × 卡数 × eff ÷ (激活参数 × 每参数字节 + KV/token × 上下文) eff:单卡 0.65 / 多卡 0.55 / 统一内存 0.5
预填充 = FP16 TFLOPS × 卡数 × 0.45 ÷ (2 × 激活参数)
显卡规格在 data/hardware.json。「最低可跑」= 8K 上下文下最便宜的可行配置;「推荐」= 能以 ≥Q8/FP8 跑 32K 上下文且 ≥15 tok/s 的最便宜配置。MoE 解码只读激活参数,权重全部驻留显存。误差 ±30%,多卡 PCIe 环境再打折。
6. 「未披露」政策
闭源模型的参数量、层数、架构一律写「未披露」,不猜、不引用传闻。厂商官方明确说过的(如「稀疏 MoE」「超过 1T」)按原话写并注明。
7. 收录的基准
- LMArena Text Elo(人类偏好 Elo,arena):LMArena 文本盲测人类偏好,style control 版。
- Artificial Analysis Intelligence Index(AA 综合指数,overall):Artificial Analysis 第三方综合评测指数(v4.x,2026-08 口径)。
- SWE-bench Verified(真实仓库修 bug,coding)
- LiveCodeBench(竞赛编程,coding)
- GPQA Diamond(研究生级科学问答,reasoning)
- Humanity's Last Exam(人类最后考试,reasoning):无工具版本除非标注。
- AIME 2025(美国数学邀请赛,math)
- τ²-bench(工具调用 agent,agent)
- Terminal-Bench(终端 agent,agent):终端 agent 任务完成率。2026 年厂商多报 Terminal-Bench 2.1,旧条目为 2.0,版本混用请看来源。
- MMMU(多模态理解,multimodal)
- LMArena Chinese Elo(中文人类偏好 Elo,chinese)
- AIME 2026(美国数学邀请赛 2026,math)
- Terminal-Bench Hard(终端 agent(AA 困难子集),agent):Artificial Analysis 统一复测的 Terminal-Bench 困难子集。
- τ²-Bench Telecom(工具调用 agent(电信域),agent)
- MMMU-Pro(多模态理解(Pro),multimodal)
- SciCode(科学计算编程,coding)
- IFBench(指令遵循,knowledge)
- τ³-Bench Banking(工具调用 agent(银行域),agent):Artificial Analysis 指数 v4 的 agent 分量。
8. 更新与联系
数据更新 = 改仓库 JSON → 重新构建 → 部署。发现错误请在仓库提 issue / PR。
排名供选型参考,基准会饱和、会泄漏、会过时。