指南
基礎概念
1
LLM 到底是什麼？下一個 token 的預測、數十億個凍結的權重，以及為什麼每個產品都只是繞著「文字進、文字出」迴圈所做的編排。
2
Token 與分詞器子詞詞彙表、為什麼韓文消耗上下文的速度是英文的 3–4 倍，以及為什麼字母計數問題會失敗。
3
Transformer 內部解剖嵌入、自注意力、FFN 與 GQA——整套架構最重的運算不過是內積與一個 softmax。
4
預填與解碼：生成如何運作兩個物理特性截然不同的階段：一次平行運算處理整個提示詞，然後一次一個 token 地生成、每步都重讀全部權重。
5
參數量能給你什麼從 1B 玩具到 70B+ 前緣級的能力階梯——知識容量、命名慣例，以及讓大小配上任務。
6
模型如何訓練（以及你為何不會自己做）預訓練、SFT 與偏好調校——每個階段的成本、改變了什麼，以及單張 GPU 上真正做得到的事。
7
開放權重 vs 封閉 API從 Apache-2.0 到純 API 的授權光譜、商用時會咬人的陷阱，以及如何解讀 Hugging Face 存放庫名稱。
硬體
8
哪些硬體重要（哪些不重要）容量、頻寬、算力——按實際買到的東西排序，加上規格表中其實不重要的項目。
9
VRAM 用量計算權重＋KV 快取＋開銷：公式、8B–70B 的現成表格，以及 16 GB 的試算示範。
10
GPU 等級：實際能跑什麼各 VRAM 等級裝得下什麼、二手市場首選，以及為什麼兩張小卡輸給一張大卡。
11
Apple Silicon 與統一記憶體統一記憶體把 RAM 變成 VRAM：各晶片等級的頻寬、MLX vs llama.cpp，以及 swap 陷阱。
12
純 CPU 推論DDR4/DDR5 的頻寬算術、舒適等級、預填之苦，以及什麼時候純 CPU 真的是正解。
13
上下文視窗與 KV 快取上下文為什麼消耗 VRAM：每 token 公式、GQA、KV 量化，以及宣稱視窗 vs 有效視窗。
模型與格式
14
模型檔案格式GGUF、safetensors、AWQ/GPTQ、EXL2、ONNX——每種容器的目的、哪個引擎吃哪種、以及如何轉換。
15
量化深入解析超越速查表：區塊縮放、K-quant 混合、imatrix I-quant、品質先壞在哪裡，以及考量 VRAM 的決策階梯。
16
開放權重模型家族樹Qwen、Llama、Gemma、Mistral、Phi、DeepSeek——尺寸、授權、base 與 instruct 命名、MoE 總量 vs 活躍量，以及微調叢林。
17
挑選適合的模型先看使用案例、再看基準測試：不上當地閱讀排行榜、VRAM 等級推薦矩陣，以及先試後買的流程。
執行與服務
18
十分鐘跑起你的第一個模型從空機器到與本機模型對話，走終端機或圖形介面——外加健康檢查與三個經典的初次失敗。
19
推論引擎比較llama.cpp、Ollama、LM Studio、vLLM、SGLang、exllamav2、MLX、transformers——各自的用途，以及為什麼差異不如你的 I/O 模式重要。
20
真正重要的引擎參數上下文長度、GPU 卸載、執行緒、flash attention、KV 快取 dtype、YaRN——少數幾個改變結果的旗標，以及驗證它們的日誌行。
21
每秒 token 數的物理原理解碼速度＝記憶體頻寬÷每 token 讀取的位元組數——量化即加速、MoE 收益、CPU 卸載懸崖、以及 tok/s 的實際體感，全來自這一條公式。
22
部署 OpenAI 相容端點chat-completions 格式是每個客戶端都會講的通用語——用 llama-server、Ollama 或 vLLM 提供服務、把 SDK 指向 localhost，然後鎖好門。
23
UI 與整合Open WebUI、LibreChat、text-generation-webui、Continue.dev、終端機工具——按角色挑；它們都講 OpenAI 相容，任何引擎都插得上。
24
批次處理與多使用者串行服務浪費 GPU；批次讓每次權重讀取由多個請求分攤。連續批次、分頁注意力、容量計算，以及何時從 Ollama 轉向 vLLM。
模型運用實務
25
提示詞與對話模板對話模板是你提示詞旅行用的信封——ChatML vs Llama vs Gemma 標記、少樣本合約，以及小模型真正跟得上的模式。
26
取樣設定溫度、top_k、top_p、min_p 與 repeat_penalty——每個旋鈕對 logits 做什麼、按什麼順序、以及按任務可用的預設。
27
結構化輸出與函式呼叫從純提示詞 JSON 到讓無效 token 變成不可能的文法遮罩解碼——外加智慧代理賴以運作的工具呼叫慣例。
28
RAG：把你的資料交給模型切塊、嵌入、檢索、引用——附實際數字的完整本機 RAG 管線、混合搜尋、重排序，以及如何分辨檢索失誤與生成失誤。
29
用 LoRA 與 QLoRA 微調單張消費級 GPU 上的配接器：微調改變什麼（行為）與改不了什麼（事實）、QLoRA 預算、主宰成敗的資料規則，以及匯出成 GGUF。
30
智慧代理與工具使用規劃—行動—觀察迴圈、以 JSON schema 呈現的工具、MCP、長程執行的上下文紀律，以及提示注入——真正的威脅模型。
31
疑難排解：症狀 → 原因 → 解法以症狀為先的診斷表，涵蓋經典款——模板不匹配、載入與執行中 OOM、1 tok/s、重複迴圈、亂碼、截斷——外加正常數字長什麼樣。