GPU 等級：實際能跑什麼

VRAM 等級就是全部。頻寬決定同一等級內跑多快，容量決定菜單上到底有哪些模型。以下是截至目前的地圖：每個等級真正裝得下什麼，附代表卡。等級才是這裡穩定的知識——特定型號每個產品週期就改名一次，VRAM 級距十年來幾乎沒動。

等級表

各級備註：

• 6–8 GB 是入門級。7–8B Q4 助理真的有用；超過 8k 的上下文最先開始吃緊。
• 12 GB 是價格甜蜜點。14B Q4 是相對 8B 級第一個認真的品質躍升，而且還裝得下真正的上下文。
• 16 GB 能讓你跑 Q6 的 14B（近乎無損）或低位元量化的 24B。32B 用 IQ3 跑得動，但 32B 上的 3-bit 正是量化傷害開始顯現的地方。
• 24 GB 是本機 LLM 的經典。32B Q4/Q5 加 16k 上下文是單人使用最佳性價比點。70B 用 IQ2_XS 塞得進規格表卻辜負了耳朵——那麼多參數配太少位元。
• 32–48 GB+ 是為 Q4 或更好的 70B、以及同時服務多人而存在（見 並行處理）。

二手市場

RTX 3090（24 GB、約 936 GB/s）截至目前仍是經典的划算選擇：用新旗艦零頭的價格拿到 24 GB，而且 32B Q4 裝得下還有餘裕。注意事項：負載下 350 W、直吹式散熱器把熱倒進機殼、礦卡可能需要重塗散熱膏。預算型榮譽提及：全新 RTX 3060 12 GB，或改裝 22 GB 記憶體的二手 2080 Ti——如果你喜歡冒險。二手資料中心卡（P40、Tesla T4 時代）是便宜的 VRAM，但頻寬慢、吵、缺乏現代功能支援——玩玩可以，天天用很累。

多 GPU：有容量，多半沒速度

拆到兩張卡買到的是容量，不是頻寬：

• 層分割（管線）——每張 GPU 持有連續的層區塊；只有小型啟動值跨匯流排。容量近乎線性增加，解碼懲罰溫和。當你把層分散到多個裝置時，llama.cpp 會自動這麼做。
• 張量平行——每個矩陣乘法都拆到多卡；要有快的卡間互連才划算，而嗜好級堆疊實作得不完美。
• 兩種做法都達不到兩張卡頻寬的總和。兩張 24 GB 卡跑 70B 的解碼速度大約等於一張卡，不是兩倍。對單一使用者來說，買一張大卡幾乎永遠勝過兩張小卡——只有為了否則拿不到的容量、或並行服務才買兩張。

筆電 GPU

筆電 RTX 4070 裝得下的東西與桌機 4070 一模一樣——容量跟著 VRAM 配置走，不跟著機殼。差別在功耗：在共享的熱預算下持續時脈較低，所以解碼速度預期比桌機兄弟慢約 20–40%，預填也等比變慢。出差與展示可以；如果這是日常工作，不是略過桌機的理由。

專業卡與 NVLink

工作站卡買到 ECC、認證驅動、鼓風扇散熱器與大 VRAM 配置——容量溢價可能值得，其餘對推論無關緊要。NVLink 是為張量平行的訓練流量而生；嗜好級服務是頻寬受限的解碼，幾乎不跨卡。除非特定容量（48/96 GB）需要，否則兩者都跳過。

買之前先確認

nvidia-smi --query-gpu=name,memory.total,memory.used --format=csv

然後對你真正想要的模型跑一次 VRAM 用量計算，再相信任何等級表——架構會變，公式不會。

相關章節：VRAM 用量計算 · 並行處理 ·
Apple Silicon