排行榜

开源且 Q4 权重 ≤ 24GB（含 10% 余量），按综合分排序。缺项权重按现有项重分配并标「部分」。

#	模型	定位	开闭源	参考分	代码	推理	上下文	价格 in / out	更新
1	Qwen3.8-27B通义千问 3.8 · 27B · Alibaba 阿里巴巴	24GB 单卡能跑的原生多模态 27B，Apache-2.0。	开源	97.5	90.3LCB	90.5	256K	$0.29 / $2.40托管	2026-08-28
2	Muse Glimmer 30BMeta Muse Glimmer 30B · Meta	Meta 回归开源：30B 稠密 agent 模型，24GB 单卡跑。	开源	75.4部分	76.0SWE	83.5	128K	$0.30 / $1.10托管	2026-08-28
3	Gemma 4 31B谷歌 Gemma 4 · 31B · Google 谷歌	Apache 2.0 的单卡 Dense 旗舰，带思考模式，256K 上下文。	开源	74.2	80.0LCB	85.7	256K	免费层	2026-08-28
4	Gemma 4 26B A4B谷歌 Gemma 4 · 26B A4B · Google 谷歌	激活 3.8B 的 MoE，24GB 卡上又快又能装长上下文。	开源	65.0	77.1LCB	79.2	256K	免费层	2026-08-28
5	Qwen3-30B-A3B-Thinking-2507通义千问 3 · 30B 小 MoE 推理版 · Alibaba 阿里巴巴已被替代	3B 激活的小 MoE，单卡跑出 32B 级推理，速度快 3 倍。	开源	58.1部分	66.0LCB	73.4	256K	$0.08 / $0.30托管	2025-12-20
6	Qwen3-32B通义千问 3 · 32B · Alibaba 阿里巴巴已被替代	单卡 24GB 能跑的 Dense 全能型，混合思考可开关。	开源	52.7部分	65.7LCB	68.4	128K	$0.10 / $0.30托管	2025-12-20
7	Granite 4.2 30BIBM Granite 4.2 30B · IBM	IBM 30B 稠密推理模型，Apache-2.0，24GB 可跑。	开源	46.4部分	75.8LCB	64.4	128K	自建	2026-08-28
8	Nemotron 3 Nano 30B-A3BNVIDIA Nemotron 3 Nano · 30B A3B · NVIDIA已被替代	NVIDIA 开放数据与配方的混合 Mamba MoE，1M 上下文。	开源	39.5部分	74.1LCB	75.7	1M	$0.05 / $0.20托管	2026-10-15
9	gpt-oss-20bOpenAI 开源 20B · OpenAI	16GB 显存跑的推理模型，数学能力惊人。	开源	22.1	60.7SWE	68.8	128K	$0.05 / $0.20托管	2026-08-28
10	Gemma 3 27B谷歌 Gemma 3 · 27B · Google 谷歌已被替代	单卡跑的多模态 Dense 模型，对话体验与多语言突出。	开源	15.2部分	29.7LCB	42.4	128K	$0.09 / $0.16托管	2025-12-20
11	Mistral Small 3.2Mistral AI已被替代	Apache-2.0 的 24B 多模态通用模型，欧洲语言强。	开源	—	—	—	128K	$0.10 / $0.30	2025-12-20
12	Nemotron 3.5 Lightning 30B-A3BNVIDIA Nemotron 3.5 Lightning · 30B A3B · NVIDIA NVIDIA（美国）	从 Nemotron 3 Ultra 蒸出来的 3.6B 激活执行层模型，接 Nemotron 3 Nano 的班，1M 上下文。	开源	—	51.6SWE	75.4	1M	自建	2026-10-16
13	LFM2.5-24B-A2BLiquid AI LFM2.5-24B-A2B · Liquid AI Liquid AI（美国）	2.45B 激活就能当 agent 用的 24B 端侧推理模型，M5 Max 上 184 tok/s。	开源	—	51.0SWE	74.4	128K	自建	2026-10-14
14	Mellum2.1 ThinkingJetBrains Mellum2.1 · JetBrains JetBrains（捷克）	Apache 2.0 的 12B/2.5B 激活编码 agent 小模型，SWE-bench Verified 从 2.0 干到 47.0。	开源	—	47.0SWE	64.6	128K	自建	2026-10-12
15	Baichuan2-13B百川 2 · 13B · Baichuan 百川智能已被替代	2023 年中文开源热潮的代表，13B 中文当年领先。	开源	—	—	—	4K	自建	2026-08-28
16	Devstral SmallDevstral Small · 24B · Mistral AI已被替代	首个单卡可跑的开源代码 agent 模型，SWE-bench 46.8%。	开源	—	46.8SWE	—	128K	$0.10 / $0.30	2026-08-28
17	Gemma 2 27BGemma 2 · 27B · Google已被替代	27B 打到 70B 级对话质量，单卡 24GB 的甜点。	开源	—	—	—	8K	自建	2026-08-28
18	Gemma 2 9BGemma 2 · 9B · Google已被替代	蒸馏出的 9B，对话质量一度超过 Llama 3 8B。	开源	—	—	—	8K	自建	2026-08-28
19	Gemma 7BGemma · 7B · Google已被替代	Google 首个开放权重模型，Gemini 技术下放的起点。	开源	—	—	—	8K	自建	2026-08-28
20	GLM-4-9B智谱 GLM-4 · 9B · Z.ai 智谱已被替代	2024 年中文 9B 最强之一，128K/1M 长文本单卡可跑。	开源	—	—	—	128K	自建	2026-08-28
21	InternLM2.5-20B书生·浦语 2.5 · 20B · Shanghai AI Lab 上海人工智能实验室已被替代	上海 AI Lab 的 20B，主打百万上下文与工具调用。	开源	—	—	—	256K（1M 需 LMDeploy）	自建	2026-08-28
22	Llama 3.1 8BLlama 3.1 · 8B · Meta已被替代	2024 年最流行的 8B 底座，微调与部署生态第一。	开源	—	—	31.8	128K	$0.03 / $0.05托管	2026-08-28
23	MiMo-7B小米 MiMo · 7B · Xiaomi 小米已被替代	小米首个开源推理模型，7B 数学超 o1-mini。	开源	—	57.8LCB	54.4	32K	自建	2026-08-28
24	Mistral 7BMistral · 7B · Mistral AI已被替代	7B 击败 Llama 2 13B 的 2023 年经典，Apache-2.0。	开源	—	—	—	32K	自建	2026-08-28
25	Mistral Small 3.1Mistral Small 3.1 · 24B · Mistral AI已被替代	24B 多模态 Apache-2.0，单卡跑图文 128K 上下文。	开源	—	—	46.0	128K	$0.10 / $0.30	2026-08-28
26	Phi-3 MediumPhi-3 Medium · 14B · Microsoft已被替代	合成数据路线的 14B，MMLU 78% 逼近 70B 级。	开源	—	—	—	128K	自建	2026-08-28
27	Phi-4Phi-4 · 14B · Microsoft已被替代	14B 拿到 GPQA 56%，合成数据路线的代表作。	开源	—	—	56.1	16K	自建	2026-08-28
28	Qwen2.5-Coder-32B通义千问 2.5 Coder · 32B · Alibaba 阿里巴巴已被替代	首个代码能力对标 GPT-4o 的开源模型，单卡可跑。	开源	—	31.4LCB	—	128K	自建	2026-08-28
29	Qwen3-8B通义千问 3 · 8B · Alibaba 阿里巴巴已被替代	8B 里带思考模式的全能选手，本地部署首选之一。	开源	—	57.5LCB	62.0	128K	$0.04 / $0.14托管	2026-08-28
30	QwQ-32B通义千问 QwQ · 32B · Alibaba 阿里巴巴已被替代	32B 追平 DeepSeek-R1 的推理模型，单卡可跑。	开源	—	63.4LCB	—	128K	自建	2026-08-28
31	Yi-1.5-34B零一万物 Yi-1.5 · 34B · 01.AI 零一万物已被替代	Yi 的续训升级版，代码与数学补课。	开源	—	—	—	4K（16K/32K 版另发）	自建	2026-08-28
32	Yi-34B零一万物 Yi · 34B · 01.AI 零一万物已被替代	2023 年末登顶 HF 开源榜的中英双语 34B。	开源	—	—	—	4K（200K 版另发）	自建	2026-08-28
33	Devstral Small 2Mistral AI已被替代	24B Dense 编程 agent 模型，单卡 24GB 可跑，SWE-bench 68%。	开源	—	68.0SWE	—	256K	$0.10 / $0.30	2025-12-20

排名供选型参考，基准会饱和、会泄漏、会过时。