開放權重模型家族樹
少數幾個家族就涵蓋了幾乎所有本機用途，而且每個都以尺寸與後訓練風味的階梯出貨。認識這棵樹，你就知道 Hugging Face 上任何隨機微調到底蓋在什麼上面——以及該先伸手拿哪個基底。這些全是開放權重；那代表什麼、不代表什麼，見 開放 vs 封閉。
主要家族
| 家族 | 尺寸 | 授權 | 以什麼聞名 |
|---|---|---|---|
| Qwen | 0.6B → 235B-A22B MoE | Apache-2.0（多數尺寸） | 最強的多語涵蓋，含韓文；Qwen3「思考」變體；稠密階梯加 30B-A3B MoE |
| Llama | 1 → 2 → 3.x → 4 | 社群授權 | 最大的微調與工具生態；授權有 7 億 MAU 上限加使用限制 |
| Gemma | 1B – 27B | Gemma 條款 | 最佳每 GB 品質；Gemma 3 加入視覺輸入與 128k 上下文；多語扎實 |
| Mistral / Mixtral | 7B v0.x；8x7B、8x22B MoE | Apache-2.0（多數） | 經典的可用 7B 血統；Mixtral 證明開源 MoE 可行 |
| Phi | 3.8B mini、14B | MIT | 打擊面大的小模型；以它的尺寸而言數學與推理很強 |
| DeepSeek | V3/R1 671B-A37B MoE；蒸餾 1.5B–70B | MIT（R1） | 開源推理領頭羊；R1 蒸餾把思維鏈帶到消費級尺寸 |
榮譽提及：GLM（智譜）與 Yi（01.AI）——強大的基底與長上下文變體；OLMo（AllenAI）——完全開源：訓練資料、程式碼與檢查點全都發布，當「開放」必須不只是權重時的基準點。
尺寸與授權條款逐次發布漂移——出任何商業東西之前先讀模型卡。
家族備註
- Qwen——多語本機使用的預設答案。尺寸階梯異常細（稠密 0.6/1.7/4/8/14/32B，加 30B-A3B 與 235B-A22B MoE），所以每個 VRAM 等級都有 Qwen 可用。Qwen3 世代在多數尺寸加入了逐提示詞的「思考」開關。
- Llama——與其說是品質前緣，不如說是相容性前緣：每個工具、教學與微調都最先支援它。Llama 4 轉向 MoE，因此稠密的 3.x 系列仍是許多本機環境的日常主力。
- Gemma——以檔案大小而言始終強悍，當你在筆電上被 Q4 綁住時這很重要。Gemma 3 的視覺輸入讓它成為本機多模態的輕鬆預設。
- Mistral——可用開源 7B 與開源 MoE（Mixtral 8x7B）的先驅。近期旗艦偏封閉；開源 7B 與 Small（22–24B）變體仍是工作馬。
- Phi——大量使用精心整理的「教科書級」合成資料訓練；數學與邏輯以小搏大，世界知識較薄。好用的小型智慧代理大腦。
- DeepSeek——V3 與 R1 推進了開源推理能力；完整模型需要認真硬體，但 R1 蒸餾家族（用 R1 推理軌跡訓練的 Qwen／Llama 基底）從 1.5B 起就能在本機跑思維鏈。
世代一覽
家族樹變動很快；世代像牛奶一樣會過期。本頁涵蓋的大致血統，從舊到新：
| 家族 | 血統 |
|---|---|
| Qwen | 1 → 1.5 → 2 → 2.5 → 3 (2023–2025) |
| Llama | 1 → 2 → 3 → 3.1/3.2/3.3 → 4 (2023–2025) |
| Gemma | 1 → 2 → 3 (2024–2025) |
| Phi | 2 → 3 (mini/medium/small) → 4 (2023–2024) |
| DeepSeek | Coder → V2 → V3 → R1 + distills (2023–2025) |
有用的規則：同一家族內，較新世代的小尺寸通常追得上較舊世代的大尺寸。現在的 8B 在多數任務上例行打贏兩代前的 30B——所以正確的直覺是「裝得下的最新模型」，不是「裝得下的最大模型」。
解讀模型名稱：base、instruct 與推理版
每個家族都出貨多種後訓練風味；名稱就是解碼戒指：
| 標記 | 意義 | 用於 |
|---|---|---|
無，或 -base |
僅預訓練權重 | 接續式任務、你自己的微調基底——不是對話 |
-instruct、-it、-chat |
助理調校版 | 對話、抽取、工具的預設 |
thinking（Qwen3） |
逐提示詞切換的推理模式 | 數學、規劃；很燒 token——在 取樣 管理 |
R1-Distill-* |
R1 推理軌跡蒸餾進 Qwen／Llama 基底 | 消費級尺寸的思維鏈 |
-Coder、-Vision、-VL |
任務或模態特化 | 寫程式、影像輸入 |
檔名中的量化標籤（Q4_K_M） |
對內容風味做量化 | 見 量化 |
base 模型用接續你的文字來回答：打招呼可能得到一則論壇討論串、一份 FAQ、或一段維基百科式的問候條目。instruct 模型則表現得像助理。本指南其餘部分都假設 instruct 或推理檢查點——跑 base 模型然後下結論「本機模型很笨」是經典的第一週錯誤。
MoE：總參數 vs 活躍參數
混合專家模型存放的權重遠多於任何單一 token 用到的。每層的前饋區塊拆成多個專家子網路；一個小型路由器在每層為每個 token 挑選前幾名專家。「235B-A22B」代表存放 235B 參數、每 token 約 22B 活躍。兩種成本於是分家：
memory for weights ∝ total params (all experts must sit in RAM/VRAM)
compute per token ∝ active params (only the routed experts run)
所以 MoE 用小模型的速度買到大模型的品質——前提是你裝得下權重。這就是 Qwen3-30B-A3B 的全部本機故事：為 24–32 GB 的機器存放約 30B 的能力，解碼成本只有約 3B，生成更快、分數還勝過同尺寸稠密模型。機制見 速度。
同樣的記憶體預算，不同的形狀：
| 形狀 | Q4_K_M 大小 | 解碼計算量 | 取捨 |
|---|---|---|---|
| 稠密 14B | ~8.5 GB | 14B/token | 平衡的預設 |
| MoE 30B-A3B | ~18 GB | ~3B/token | 需要那些 RAM，然後兩軸全贏 |
MoE 但書：每活躍參數的品質低於稠密模型、批次大小 1 時路由有額外開銷、而且路由器對草率量化很敏感——MoE 檢查點優先用社群驗證過的量化配方，而不是自己土砲。
韓文與多語
截至目前，社群對韓文的大致共識：Qwen 第一（全尺寸階梯韓文都強）、Gemma 第二（韓文文筆乾淨、敬語偶爾生硬）、英文優先家族明顯第三（助詞錯誤、英文直譯）。直接測試——敬語（존댓말/반말）、助詞選擇、語域一致性——用 如何選模型 的流程。
微調叢林
Hugging Face 上多數存放庫並非出自原始實驗室。一層層文化堆疊在上頭：
- 合併版——多個微調的權重平均（TIES、DARE、SLERP）。有時真的勝過任何親代；常常是擲硬幣，評測還更差。
- Abliterated——用外科手術移除拒絕方向。對小說與研究有用；通常付出一些通用能力。注意授權與你的司法管轄區。
- 「填充物」微調——追趕競技場氛圍的快速 LoRA 合成資料微調，用越來越聳動的名字發布。品質天差地遠，兩個方向都有。
- 社群量化——bartowski、mradermacher 與同好把上游原封不動重新量化。這些是安全的；需要審查的是改變行為的微調。
打開微調的模型卡時，找：有名有姓的基底模型、你認得的評測框架結果（不是截圖）、有描述的資料集——「私有資料集」是黃旗。
預設政策：優先上游實驗室發布，除非微調有獨立、可重現的更好證據。如何與基準測試和社群訊號一起衡量：如何選模型。