十分鐘跑起你的第一個模型
讓一個有能力的模型在本機跑起來現在是十分鐘的工作，不是週末專案。兩條路涵蓋幾乎所有人：給喜歡指令的人的終端機（Ollama），與給喜歡進度條的人的圖形介面（LM Studio）。兩者終點相同——一個在你自己磁碟上的量化 GGUF，以互動速度回答，沒有任何東西向外回報。選一條路、做完，然後跑最後的健康檢查。
開始之前
先知道你機器的三個數字：
- VRAM（或統一記憶體）：8 GB 跑 Q4 的 7–9B；16 GB 應付 13–14B；24 GB 觸及 30B 級。完整的計算見 VRAM 用量計算。
- 記憶體頻寬：決定 tok/s 的是它，不是算力——見 速度。
- 可用磁碟：如果打算試不只一個模型，預留 50–100 GB。
路線 A：終端機（Ollama）
安裝 Ollama——Linux／macOS 一行安裝腳本，Windows 有安裝程式。它會啟動本機服務並給你一個 ollama 指令。不用帳號、不用金鑰。
挑一個中量級開源模型。截至目前，7–9B 級——qwen3:8b 或 Llama 3.1 8B 級模型——是正確的第一個模型：真的有用，而且塞得進 8 GB GPU、或忍受 CPU。如果你寫韓文，Qwen 與 Gemma 家族向來把韓文處理得不錯——但用你自己寫的一段真實文字測試，因為分詞器各不相同（見 token 與分詞器）。
# 一步完成下載（約 5 GB）並開始對話
ollama run qwen3:8b
你現在身處對話迴圈。輸入訊息、按 Enter、看 token 串流出來。第一天的斜線指令：
/bye # 離開對話
/show info # 量化、上下文長度、使用中的模板
回到 shell，再兩個：
ollama list # 磁碟上有哪些、各多大
ollama ps # 現在記憶體裡載入了什麼、在哪裡
ollama ps 是你第一個真正的儀表。它回報常駐大小與 CPU／GPU 分布，像 100% GPU 或 48%/52% CPU/GPU。分布中出現任何 CPU 都代表模型沒有完全在 GPU 上——那是可修的設定問題，不是硬體極限。見 引擎參數。
健康讀數的例子：
NAME ID SIZE PROCESSOR UNTIL
qwen3:8b a1b2c3d4... 5.7 GB 100% GPU 4 minutes from now
SIZE 比磁碟上的檔案大是正常的：常駐大小是權重加計算緩衝區，不是第二份複本。
路線 B：圖形介面（LM Studio）
安裝 LM Studio。打開搜尋分頁，輸入家族名——Qwen3、Llama 3、Gemma 3——你就會看到一整面牆的尺寸與量化。兩條規則讓一切簡單：
- 先把參數量對上記憶體：8B 在 Q4 下、還沒算 KV 快取，大約 4–5 GB。
- 相信每次下載的大小提示——它包含餘裕，所以說「裝得下」就真的裝得下。優先 Q4_K_M 級量化；細節見 量化。
下載就是一根進度條。在聊天分頁載入模型跟它說話；下方的讀數會在生成時顯示 tokens/sec——記住那個數字，健康檢查會用到。LM Studio 也能開一個 OpenAI 相容的本機伺服器，之後在 端點服務 會用到。
如果 tok/s 讀數看起來很低，先別急著解除安裝任何東西——先做完下面的健康檢查，再斷定有東西壞了。
「pull」實際上做了什麼
沒有任何魔法。這個生態裡的模型就是一個 GGUF 檔（見 模型格式）：一個包含每一層、分詞器與元資料的單一大型二進位檔。ollama pull 與 LM Studio 的下載器分塊抓取那個檔——那就是你看到的分層進度——驗證摘要、並在本機索引登記檔案。中斷的下載會從停止處續傳。「安裝模型」字面上就是下載一個大檔案並記住它住哪。沒有帳號、沒有授權伺服器、沒有回報老家。
首次執行健康檢查
三個數字告訴你你的設定是否正常：
| 檢查 | 看哪裡 | 健康的樣子 |
|---|---|---|
| 解碼速度 | tok/s 讀數（LM Studio）或 Ollama 日誌中的計時 | 近期獨立 GPU 上 30+ tok/s；物理原理見 速度 |
| 首 token 時間 | 回覆開始前要等多久 | 短提示詞熱機後低於約 1 秒；長貼文更久（預填——見 速度） |
| 記憶體契合 | ollama ps、GPU 計量、系統監視器 |
模型＋KV 快取完全常駐；計算見 VRAM 用量計算 |
三項都過，就停止調校、去用模型。這個階段提示詞品質主宰一切——見 提示詞。
三個經典的初次失敗
| 症狀 | 真正原因 | 解法 |
|---|---|---|
| 載入失敗或記憶體不足當掉 | 模型裝不下 | 降一級量化（Q4 → Q3）或降模型尺寸（8B → 4B）；見 量化 |
| 流暢的垃圾、語言錯誤、迴圈複誦 | 對話模板不符 | 執行器必須用模型自己的模板；見 提示詞 與 疑難排解 |
| 有 GPU 卻只有 1–2 tok/s | 多數層還在 CPU 上 | 強制完整 GPU 卸載；見 引擎參數 |
三者都是設定，不是硬體。沒有一項代表「這台機器做不到」。
檔案住哪，與磁碟衛生
Ollama 把一切放在 ~/.ollama 底下——模型以內容定址的二進位檔存放在 ~/.ollama/models。LM Studio 用 ~/.lmstudio（舊版：~/.cache/lm-studio）。兩者長大的速度都嚇人：每次 pull 是 2–20 GB，而且從 UI 刪除有時會把二進位檔留在磁碟上。
會回本的習慣：
- 每月跑一次
ollama list，把沒碰過的用ollama rm刪掉。 - 在磁碟爆滿之前就知道你的模型目錄。之後搬它只是一個環境變數（
OLLAMA_MODELS）加一次檔案複製，不是重新下載。 - 一個實際任務一個模型，勝過五個「以防萬一」的下載——冷儲存花的頻寬回不來。
- LM Studio 也會從索引刪除，但確認 models 資料夾真的變小了——信任，然後查證。