參數量能給你什麼
參數量是模型最好的單一數字摘要：它買到知識容量與技能，代價是記憶體與速度。30B 以下你感受得到階梯的每一階；超過之後報酬遞減。這一頁畫出這座階梯，並告訴你你的任務真正需要哪一階。
能力階梯
| 參數量 | 級別 | 適合 | Q4 占用空間 |
|---|---|---|---|
| 0.5–1B | 工具型 | 分類、抽取、自動補全、路由 | 1 GB 以下；CPU 就夠 |
| 3–4B | 輕量助理 | 快速對話、草稿、摘要 | ~2–3 GB |
| 7–9B | 主力款 | 穩定的一般對話與程式 | ~4–6 GB |
| 12–14B | 強力全能型 | 推理明顯更好，速度仍快 | ~8–10 GB |
| 30–40B | 接近前緣 | 多數任務有接近前緣的品質 | ~18–24 GB；需要 24 GB VRAM |
| 70B+ | 前緣級開源 | 最難的推理、最佳細膩度 | ~40 GB；2×24 GB 或 48 GB+ |
| MoE（總量大、活躍量小） | 例如總量 100B+、活躍 10–30B | 以中量級模型的成本獲得接近前緣的品質 | 龐大——所有專家都必須駐留在記憶體 |
就目前而言，4-bit 的 30–40B 是本機的甜蜜點：塞得進 24 GB 顯示卡，而且對多數工作來說品質夠接近前緣。MoE 模型打破了大小經驗法則——速度看活躍參數，記憶體看總參數。
參數買到什麼：知識容量
事實住在權重裡——絕大多數在 FFN 層（見 transformer 內部）。容量隨參數量縮放：
- 知名事實（首都、常見 API）：3B 以上就可靠。
- 實用知識（中等熱門的函式庫、次級主題）：需要 14B+。
- 長尾（冷門規格、小眾歷史）：30B+，而且即使如此也會有缺口。
小模型不只是知道得少——它們用流暢的編造來填補缺口，所以模型越小幻覺率越高。在小模型上問長尾問題，檢索勝過參數（RAG）。
讀懂字尾：base 與 instruct
同樣的參數量會以不同的行為階段出貨：
- Base：只有家族名（Qwen2.5-7B）。下一個 token 接續。問它問題，它可能用更多問題回答、模仿論壇討論串，或繼續漫談下去。
- Instruct／chat：字尾 -instruct、-it 或 -chat（Qwen2.5-7B-Instruct）。回答問題、遵循指令、會停。這是在後續訓練階段調整出來的（見 訓練流程）。
prompt: "How do I boil an egg?"
base:
"How do I boil an egg? 10 points for best answer!?"
(continues the document — you gave it text, it gave you more text)
instruct:
"Place eggs in a pot and cover with cold water. Bring to a
boil, cover, and remove from heat: 6 min soft, 10–12 hard."
(answers, formats, stops)
95% 的本機用途要的是 instruct 版。Base 模型的價值在接續式工作負載：自動補全、文字填空、創意接續，以及作為你自己微調的基底。
存放庫名稱中還會遇到更多字尾：
- -base：明確標示預訓練階段（微調基底）。
- -coder／-math／-vl：針對程式、數學或視覺語言輸入調整。
- MoE 命名如 235B-A22B：先總參數、後每 token 活躍參數——讀作「常駐 235B、工作 22B」。
- -gguf 或量化標籤：只是重新包裝，不是新模型（見 模型格式）。
每次翻倍的報酬遞減
參數每翻倍一次，增加的基準分數都比上次少，而記憶體成本線性成長、解碼速度隨每 GB 下降——解碼時這一切都要在每個 token 間流過 VRAM（預填與解碼）。7B → 14B 這一步是質變；70B → 140B 對多數任務只是邊際改善。原則：跑得過你測試的最小模型就是最好的模型。
| 任務 | 從這裡開始 |
|---|---|
| 摘要、抽取、分類 | 3–4B |
| 一般對話、寫作 | 7–9B |
| 程式助理 | 8–9B 起跳；14B+ 明顯更好 |
| 工具使用、智慧代理迴圈 | 14B+；要可靠性選 30B+ |
| 困難數學、多步推理 | 30B+ 或推理強化模型 |
| 韓文與多語對話 | 7B+，選多語強勢家族 |
大小的速度代價
解碼時每個 token 都要串流整個模型，所以在同一張卡上越大越慢，大致與權重位元組數成反比。單張 24 GB 卡（頻寬約 1 TB/s、4-bit 權重）上單人解碼的數量級：
| 模型 | Q4 大小 | 大約解碼速度 |
|---|---|---|
| 8B | ~4.5 GB | ~100+ tok/s |
| 14B | ~9 GB | ~50–60 tok/s |
| 32B | ~19 GB | ~25–35 tok/s |
| 70B | ~40 GB | 塞不下——需要 2×24 GB，~20–30 tok/s |
數字會隨頻寬、驅動程式與批次大小變動；形狀不變：權重兩倍，每秒 token 數就減半（速度、GPU 等級）。
小模型對量化更敏感
30B 模型用 4-bit 幾乎不損；1B 模型用 4-bit 損很多。冗餘隨規模增長，大權重能吸收小權重無法承受的粗糙捨入：
- 30B+：Q4 幾乎免費，Q3 通常也行。
- 7–14B：Q4／Q5 安全；Q3 要盯緊並跑基準測試。
- 4B 以下：優先 Q6／Q8／FP16——反正省下的空間有限。