Apple Silicon 與統一記憶體

Apple Silicon 玩的是另一套遊戲。CPU 與 GPU 共用同一池統一記憶體，而且 GPU 能定址幾乎全部——所以在 Mac 上，買 RAM 就是買 VRAM。64 GB 的 Mac 裝得下所有 32B 與大多數 70B 量化版，那是任何消費級獨立卡都做不到的。問題在頻寬：你拿到的是筆電級的記憶體管道，不是每秒 TB 級的 GDDR。

具體談統一記憶體

在 PC 上，系統 RAM 與 VRAM 是兩池；溢出意味著以 VRAM 一小部分的速度走 PCIe 來回。在 Apple Silicon 上只有一個實體池，所以 GPU 直接從「系統」RAM 讀權重，沒有複製、沒有 PCIe 稅。近期的 macOS 版本預設把 GPU 可用 RAM 上限設在實體的約三分之二到四分之三；你可以調高：

sysctl iogpu.wired_limit_mb                 # 目前的 GPU 記憶體上限
sudo sysctl iogpu.wired_limit_mb=49152      # 例如 64 GB Mac 上設 48 GB

無論如何都要留幾 GB 給 OS——把全部釘給 GPU 會讓整台機器生不如死。

各晶片等級的頻寬

解碼速度＝頻寬 ÷ 每 token 位元組數，跟別處的算術一樣。8B Q4 模型約 5 GB，所以上限是頻寬 ÷ 5：

實例：約 550 GB/s 的 Max 晶片在 8B Q4 上上限約 110 tok/s，實際表現 70–95。基本款晶片跑小模型可以、30B+ 很痛苦；Max 與 Ultra 才是有獨立顯卡感的等級。數值為近似——買之前查一下確切晶片的規格。

第二個例子，Mac 存在的理由：32B Q4_K_M 模型權重約 19.2 GB，加上 8k 下約 2.1 GB 的 KV，再加 OS。36 GB 的機器跑得動但餘裕很薄；48–64 GB 才有真正的上下文餘裕。同一個模型在其他東西都還沒算之前就需要 24 GB 獨立 VRAM——而單卡有那麼多的屈指可數。每單位金錢買到的容量就是 Mac 的全部論點：36–128 GB 這個區間，消費級獨立顯卡根本沒有涵蓋。

生態系：MLX 與 llama.cpp

兩條路都很健全，而你最後可能兩個都用：

• llama.cpp（Metal 後端）——到處都跑得動、最先拿到特殊的量化格式、而且用與你 NVIDIA／AMD 機器相同的 GGUF 檔與旗標。
• MLX——Apple 的陣列框架。mlx-lm 能生成、提供服務、轉換模型，而且 Apple 專屬核心常常率先出現在這裡。Hugging Face 上有 MLX-community 轉換的大多數熱門家族。

兩者都不需要 CUDA——這也是結構性的限制：vLLM、SGLang 與 TensorRT-LLM 目前不能在 macOS 上跑。要 OpenAI 相容的服務，用 llama.cpp 內建伺服器或 mlx-lm server。

限制

• 散熱。 MacBook 的 Max 級晶片在連續生成下會節流；Mac Studio 能無限期守住時脈。筆電適合爆發、Studio 適合服務。
• **沒有 CUDA。**如果教學說要用 vLLM 或 SGLang，那條路是封閉的。llama.cpp 與 MLX 把對話、嵌入與服務顧得夠好，所以很少影響——直到影響為止。
• **量化延遲。**最尖端的量化與核心先進 llama.cpp；MLX 轉換版在數天到數週內跟上。
• **Swap 不是 VRAM。**當記憶體壓力把權重推進 swap，效能不是變慢——是崩潰。模型大小要低於實體 RAM 減去 OS 開銷。句點，沒有值得開的例外。

選購指南

• 16 GB：只能 7–8B Q4。休閒用。
• 24–36 GB：14B 舒適；36 GB 上小心控制上下文可跑 32B Q4。
• 48–64 GB：32B Q4/Q5 帶真正的上下文；64 GB 上跑 70B IQ3/Q4，要對它相對於搬移權重量的緩慢有耐心。
• 要頻寬選 Max 或 Ultra——解碼速度買的就是這個。小模型、Whisper 與視覺用基本 M。

非 LLM 附加價值：這些機器跑 Whisper 轉錄與視覺編碼器非常出色。統一記憶體加上強悍的 SIMD 單元，讓音訊與影像管線的每瓦效能快得不成比例——一台安靜的 Mac Studio 是名副其實的多模態工作馬。

相關章節：CPU 推論 · 速度 ·
量化