开放权重家族树
少数几个家族覆盖几乎全部本地用途，每个都以尺寸阶梯和后训练风味的形式发布。认识这棵树告诉你任何随机 Hugging Face 微调实际构建在什么之上——以及先抓哪个基座。这些都是开放权重；那带来什么、不带来什么，见 开放 vs 闭源。
主要家族
| 家族 | 尺寸 | 许可证 | 以什么著称 |
|---|---|---|---|
| Qwen | 0.6B → 235B-A22B MoE | Apache-2.0（多数尺寸） | 最强多语种覆盖、含韩语；Qwen3 “思考”变体；稠密阶梯加 30B-A3B MoE |
| Llama | 1 → 2 → 3.x → 4 | 社区许可证 | 最大的微调和工具生态；许可证有 7 亿月活上限加使用限制 |
| Gemma | 1B – 27B | Gemma 条款 | 最佳每 GB 质量；Gemma 3 加视觉输入和 128k 上下文；扎实多语种 |
| Mistral / Mixtral | 7B v0.x；8x7B、8x22B MoE | Apache-2.0（多数） | 经典的可用 7B 血统；Mixtral 证明开源 MoE 可行 |
| Phi | 3.8B mini、14B | MIT | 有冲劲的小模型；尺寸级别上强的数学和推理 |
| DeepSeek | V3/R1 671B-A37B MoE；蒸馏 1.5B–70B | MIT（R1） | 开源推理领跑者；R1 蒸馏把思维链带到消费级尺寸 |
荣誉提名：GLM（智谱）和 Yi（零一万物）——带长上下文变体的强基座；OLMo（AllenAI）——完全开源：训练数据、代码和检查点全部发布，当“开源”必须意味着多于权重时的参照点。
尺寸和许可条款随发布漂移——发布任何商用东西之前读模型卡。
家族笔记
- Qwen——多语种本地用途的默认答案。尺寸阶梯异常细（0.6/1.7/4/8/14/32B 稠密，加 30B-A3B 和 235B-A22B MoE），所以每个显存档位都有一款 Qwen。Qwen3 世代在多数尺寸上加了按提示词的“思考”开关。
- Llama——与其说是质量前沿，不如说是兼容性前沿：每个工具、教程和微调都先支持它。Llama 4 转向 MoE，所以稠密 3.x 线仍是许多本地部署的日常主力。
- Gemma——以文件尺寸论始终强劲，笔记本上 Q4 受限时这很重要。Gemma 3 的视觉输入让它成为本地轻松的多模态默认。
- Mistral——可用开源 7B 和开源 MoE（Mixtral 8x7B）的先驱。近期旗舰偏闭源；开源 7B 和 Small（22–24B）变体仍是主力。
- Phi——在精选的“教科书质量”合成数据上重度训练；数学和逻辑上以小博大、世界知识较薄。好的小型智能体大脑。
- DeepSeek——V3 和 R1 推动了开源推理能力；完整模型需要严肃硬件，但 R1 蒸馏家族（在 R1 推理轨迹上训练的 Qwen/Llama 基座）从 1.5B 起把思维链带到本地。
一览世代
家族树走得快；世代像牛奶一样变老。粗略血统，从旧到新：
| 家族 | 血统 |
|---|---|
| Qwen | 1 → 1.5 → 2 → 2.5 → 3（2023–2025） |
| Llama | 1 → 2 → 3 → 3.1/3.2/3.3 → 4（2023–2025） |
| Gemma | 1 → 2 → 3（2024–2025） |
| Phi | 2 → 3（mini/medium/small）→ 4（2023–2024） |
| DeepSeek | Coder → V2 → V3 → R1 + 蒸馏（2023–2025） |
有用的规则：同一家族内，更新世代的更小尺寸通常匹敌更旧世代的更大尺寸。当前的 8B 常规性地在多数任务上击败两代前的 30B——这就是为什么正确的直觉是“装得下的最新模型”，不是“装得下的最大模型”。
读模型名：base、instruct、reasoning
每个家族都发布数种后训练风味；名字是解码环：
| 标记 | 含义 | 用于 |
|---|---|---|
无，或 -base |
仅预训练权重 | 补全式任务、你自己的微调基座——不是聊天 |
-instruct、-it、-chat |
助手调优 | 聊天、抽取、工具的默认 |
thinking（Qwen3） |
按提示词切换的推理模式 | 数学、规划；烧词元——在 采样 里管它 |
R1-Distill-* |
R1 推理轨迹蒸馏进 Qwen/Llama 基座 | 消费级尺寸的思维链 |
-Coder、-Vision、-VL |
任务或模态专精 | 编程、图像输入 |
文件名里的量化标签（Q4_K_M） |
对内部任何风味的量化 | 见 量化 |
基座模型靠续写你的文本作答：打个招呼，你可能得到一个论坛帖、一个 FAQ、或一段关于问候的维基风格段落。Instruct 模型表现得像助手。本指南其余部分假设 instruct 或推理检查点——跑一个基座模型然后得出“本地模型很笨”是经典的第一周错误。
MoE：总参数 vs 激活参数
混合专家模型存储的权重远多于任何单个词元使用的。每层的前馈块裂成专家子网络；一个小路由器逐层、逐词元挑选前几名专家。"235B-A22B" 意味着存储 235B 参数、每词元激活约 22B。两个成本分开了：
memory for weights ∝ total params （所有专家必须驻留内存/显存）
compute per token ∝ active params （只有被路由的专家运行）
于是 MoE 以小模型的速度买到大模型的质量——前提是你装得下那些权重。那就是 Qwen3-30B-A3B 的全部本地故事：为 24–32 GB 机器准备的 ~30B 存储能力、~3B 的解码成本、以更快的生成跑赢同尺寸稠密模型。机制在 速度。
同样的内存预算、不同的形状：
| 形状 | Q4_K_M 大小 | 解码计算 | 交易 |
|---|---|---|---|
| 稠密 14B | ~8.5 GB | 14B/词元 | 平衡的默认 |
| MoE 30B-A3B | ~18 GB | ~3B/词元 | 需要内存，然后两个轴都赢 |
MoE 注意事项：每激活参数的质量低于稠密模型、路由在批大小 1 时增加开销、而路由器对粗糙量化敏感——MoE 检查点优先选择社区验证过的量化配方而非自制。
韩语与多语种
截至本文写作，韩语的社区粗略共识：Qwen 第一（尺寸阶梯上强韩语）、Gemma 第二（干净韩语散文、偶尔生硬的敬语）、英语优先家族明显第三（助词错误、英语式直译）。直接测——敬语（존댓말/반말）、助词选择、语域一致性——用 选择模型 里的协议。
微调丛林
Hugging Face 上多数仓库并非来自原厂。层层文化堆积其上：
- 合并（Merges）——多个微调的权重平均（TIES、DARE、SLERP）。有时真的比任何母本好；常常是评估更差的抛硬币。
- Abliterated（去拒答）——手术式移除拒答方向。对虚构和研究有用；通常付出一些通用能力的代价。注意许可证和你的司法辖区。
- “泔水”微调——在合成数据上追竞技场味道的快速 LoRA、顶着不断升级的名字发布。质量天差地别，双向都是。
- 社区量化——bartowski、mradermacher 和同侪不碰权重地重新量化上游。这些是安全的；需要审查的是修改行为的微调。
打开一个微调的卡片时，找具名的基座模型、来自你认识的评价工具（不是截图）的评估、和有描述的数据集——“私有数据集”是黄旗。
默认策略：优先上游原厂发布，除非某个微调有独立的、被复现的更好证据。如何对照基准和社区信号权衡：选择模型。