挑選適合的模型
挑模型是三個輸入的函數：記憶體預算、使用案例、品質底線。基準測試只影響第三項；前兩項是算術。只最佳化其中一項而忽略其他，就是人們如何買到基準分數漂亮、卻做不了星期二實際任務的模型。
三個輸入
- 預算——GPU 看 VRAM、Apple Silicon 看統一記憶體。經驗法則：Q4_K_M 權重約每十億參數 0.6 GB，再加上 KV 快取與開銷——完整方法見 VRAM 用量計算。
- 使用案例——模型每天要做什麼；下面展開。
- 品質底線——低於它輸出就對你無用的水準。寫作伴侶能容忍的填充物，多於輸出必須編譯成功的程式產生器。
預算也限制上下文：小卡上的超長上下文計畫，只是拿 KV 快取壓力與權重品質互換。一切都有取捨。
實例，16 GB GPU → OS 抽成後約可用 13.5 GB：Q4_K_M 的 14B（權重約 8.5 GB）配寬鬆上下文，或 Q6_K 的 8B（約 6.6 GB）配超長上下文。兩者都裝得下；使用案例決定選誰。
從使用案例出發
- 一般對話與寫作——Q5–Q6 的中量級 instruct（8–14B 級）涵蓋大多數人。超過那個等級後，風格偏好比基準分數重要。
- 程式助理——偏愛強勢的 coder 血統（Qwen Coder、DeepSeek-Coder 後代）而且上下文保持長：價值在於帶著整個 repo 上下文補檔案中段。真實程式碼也讓粗糙量化比對話更早露餡。
- 長文件——確認宣稱的上下文是可用上下文。許多「128k」模型對前後照顧有加、中間糊成一片。信任前先測試；流程見下方。
- 韓文／多語——Qwen 第一、Gemma 第二。兩者的韓文都體面；英文優先家族在文法與敬語上出現裂縫。細節見 模型家族。
- 重度推理工作——偏愛推理調校檢查點（Qwen3 思考模式、R1 蒸餾）；它們用延遲換數學與規劃的正確性，而且量化對它們傷害更大——量化等級保持在高檔。
- 便宜的大量抽取——1.5–3B 的小 instruct 配 結構化輸出，勝過每份文件貴好幾倍的大模型。不要拿 8B 去做長得像正規表示式的工作。
- 智慧代理與工具使用——真正的要求是指令遵循與格式紀律，不是原始智商。實務上那意味著 ≥7–9B 級，能負擔就更高：一個畸形工具呼叫能毀掉整條鏈。見 智慧代理。
不上當地閱讀基準測試
| 訊號 | 測什麼 | 陷阱 |
|---|---|---|
| LMArena Elo | 一對一的人類偏好投票 | 風格偏誤——更長、排版更好、更自信的回答無關對錯地贏得票 |
| MMLU / GPQA | 選擇題知識／困難科學 | 頂部接近飽和；預訓練污染灌水 |
| HumanEval 與同類 | 固定題目的程式生成 | 舊題目多年前就漏進訓練資料；偏好新題庫（LiveCodeBench 類） |
| 廠商自報分數 | 廠商自己的評測 | 多次取樣挑最好、精選提示詞、調校過的系統提示詞 |
| 微調作者的圖表 | 微調的賣點 | 小評測過擬合——調到某個數字動了為止，回報時不附變異數 |
讓你保持誠實的習慣：偏好同一框架上的相對差距而非絕對數字；把 2 分以內的差距當雜訊；不信任沒有可重現設定的宣稱；並讀基準測試周邊的污染討論，那常比排行榜本身更有資訊量。
最便宜的防禦是三角驗證：真正好的模型會在多個獨立訊號上展現——實驗室評測、競技場、社群討論串、以及你自己的提示詞集。訊號打架時，相信離你工作負載最近的。就你的目的而言，你的 20 個提示詞勝過所有排行榜，因為它們抽樣自你實際的分布。
本機社群訊號
基準測試跑的是實驗室的提示詞。你更好的訊號，是正在跑你即將下載的那個檔案的人：
- Hugging Face 趨勢與下載次數——緩慢移動的人氣，長期操作成本很高。
- 社群量化者（bartowski、mradermacher）把哪些發布量化到整個階梯——還算可靠的重要性過濾器。
- r/LocalLLaMA 討論串——搜尋模型名、按最新排序；反覆出現的讚美與抱怨是真實的。「截至目前」在這裡要加倍適用：本機共識的半衰期只有幾週。
- 特定量化的回報——模型 X 在 Q4 的品質與模型 X 在 FP16 是不同的問題，兩者也都與實驗室回報的不同。
推薦矩陣
按 VRAM 等級的現階段起點，假設大約 Q4_K_M 量化與中等上下文——硬體對照見 GPU 等級：
| VRAM | 一般對話 | 寫程式 | 韓文／多語 | 智慧代理／工具 |
|---|---|---|---|---|
| 8 GB | Qwen3 4B / Llama 3.1 8B | Qwen Coder 7B，短上下文 | Qwen3 4B / Gemma 3 4B | 此等級很勉強 |
| 12 GB | Qwen3 8B / Gemma 3 12B | Qwen Coder 7B，16k 上下文 | Qwen3 8B | Qwen3 8B |
| 16–24 GB | Gemma 3 27B / Qwen3 14B | Qwen Coder 14B | Qwen3 14B | Qwen3 14B / 32B |
| 24 GB+ / 48 GB | Qwen3 30B-A3B MoE / Mistral Small 24B | Qwen Coder 32B / DeepSeek-Coder-V2-Lite | Qwen3 32B | R1-Distill-Qwen-32B（思考） |
把矩陣當搜尋起點，不是聖經——這個領域每季重新排名。任何等級內穩定的建議：偏好較新世代，而且一路到 Q4 底線之前，偏好大模型配 Q4 勝過小模型配 Q8（低於底線，量化傷害獲勝——見 量化）。
再一條穩定規則：兩個模型平手時，選授權更友善的。Apache-2.0 與 MIT 永遠不會回頭咬人；社群授權有時會——見 開放 vs 封閉。
先試再決定
有紀律的 30 分鐘勝過一週的憑感覺：
- 建立 10–20 個固定提示詞——你真正最難的案例：一封要改寫的韓文信、一個要修的錯誤 diff、一份埋了一個可查證事實的文件摘要。
- 每個候選跑同樣的提示詞、同樣的取樣設定、同樣的量化等級。一次只動一個變數。
- 盲測 A/B：打亂輸出、在不知道哪個模型做的情況下評判。試算表加一位朋友可以；用你目前最強的模型當裁判也可以。
- 特別檢查韓文：敬語一致性（존댓말/반말）、自然的助詞、沒有英文直譯。「會韓文」的模型常常寫出穿著韓文外衣的翻譯英文。
- 檢查長上下文：把一個事實埋在長貼文的 70% 深處然後問它。這一個測試淘汰的「128k」模型比任何排行榜都多。
- 平手時用溫度 0 重跑——取樣雜訊偽裝成模型差異的頻率，比任何人承認的都高。
測試架構可以只是對著執行中 llama-server 的四行 shell：
while IFS= read -r prompt; do
curl -s http://localhost:8080/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{"messages":[{"role":"user","content":"'"$prompt"'"}],"temperature":0.7}' \
>> out-model-a.jsonl
done < prompts.txt
同樣的迴圈、每個模型一個輸出檔；然後把標籤藏起來並排讀。
封閉 API 何時仍然獲勝
本機賣的是控制、隱私與規模化後的邊際成本——不是前緣能力。截至目前，最強的封閉 API 在困難推理與長智慧代理鏈上仍勝過最強的開放權重，而且零設定：不用 VRAM、不用調引擎、不用算量化。
成本上，保守的數字：硬體買了之後，本機 Q4 8B 每 token 幾乎免費；前緣 API 每百萬 token 收數美元等級。嗜好量級下兩者都趨近零；每天數百萬 token 時，光價格本機就贏。能力差距——不是價格——才是留一把 API 金鑰在身邊的誠實理由。
耐久的模式是混合：本機模型當預設，API 處理那少數考倒它的提示詞。在 開放 vs 封閉 有意識地衡量取捨。