Apple Siliconとユニファイドメモリ
Apple Siliconは別のゲームをやる。CPUとGPUが1つのユニファイドメモリプールを共有し、GPUはそのほぼすべてにアドレス指定できる——MacではRAMを買うことはVRAMを買うこと。64 GBのMacは、コンシューマ向けディスクリートカードには載らないすべての32Bと大半の70B量子化を保持する。ただし帯域幅が引っかかり。手に入るのはラップトップ級のメモリパイプで、テラバイト毎秒のGDDRではない。
ユニファイドメモリ、具体的には
PCではシステムRAMとVRAMは別々のプールで、溢れればVRAM速度の数分の1でのPCIe往復を意味する。Apple Siliconでは物理プールが1つなので、GPUは「システム」RAMから重みをコピーなしに、PCIe税なしに直接読む。最近のmacOSはGPU利用可能RAMをデフォルトで物理量の約3分の2〜4分の3に制限する。上限は引き上げられる。
sysctl iogpu.wired_limit_mb # 現在のGPUメモリ上限
sudo sysctl iogpu.wired_limit_mb=49152 # 例:64 GB Macで48 GB
何はともあれOSに数GBは残すこと——すべてをGPUに固定するとマシン全体が悲惨になる。
チップクラス別の帯域幅
デコード速度は帯域幅 ÷ トークンあたりバイト数。どこでも同じ算数。8B Q4モデルは約5 GBなので、上限は帯域幅 ÷ 5。
| チップクラス | 概算帯域幅 | 8B Q4デコード上限 |
|---|---|---|
| Base M | 約100〜120 GB/s | 約20〜24 tok/s |
| Pro | 約150〜270 GB/s | 約30〜55 tok/s |
| Max | 約400〜550 GB/s | 約80〜110 tok/s |
| Ultra | 約800 GB/s | 約160 tok/s |
実例:約550 GB/sのMaxチップは8B Q4で上限約110 tok/s、実践では70〜95を出す。ベースチップは小さいモデルには十分で、30B超では苦痛。ディスクリートGPUに近い感覚なのはMaxとUltraのクラス。範囲は概算——購入前に正確なチップのスペックを確認すること。
2つ目の例、Macが存在する理由の例:32B Q4_K_Mモデルは重み約19.2 GB+8kでKV約2.1 GB+OS。36 GBマシンは薄いマージンで動かし、48〜64 GBなら実際のコンテキスト余裕付きで動く。同じモデルには、他を数える前だけでディスクリートVRAM 24 GBが必要で、単一カードでそれを持つものはほとんどない。現金あたりの容量がMacの主張のすべて。36〜128 GBの帯域は、コンシューマ向けディスクリートカードが単純にカバーしない領域。
エコシステム:MLXとllama.cpp
どちらの道も健全で、両方使いそうになる。
- llama.cpp(Metalバックエンド)——どこでも動き、特殊な量子化フォーマットを最初に受け取り、NVIDIA/AMDマシンと同じGGUFファイルとフラグを使う。
- MLX——Appleの配列フレームワーク。
mlx-lmが生成、サービング、変換を行い、Apple固有カーネルではしばしば最速。Hugging Faceは人気ファミリーの大半のMLX-community変換をホストする。
どちらもCUDAを必要としない——それが構造的な制限でもある。執筆時点でvLLM、SGLang、TensorRT-LLMはmacOSで動かない。OpenAI互換サービングにはllama.cpp内蔵のサーバかmlx-lm serverを使うこと。
限界
- **サーマル。**MacBookのMax級チップは持続生成でスロットルし、Mac Studioはクロックを無期限に維持する。ラップトップはバースト用、Studioはサービング用。
- **CUDAなし。**チュートリアルがvLLMやSGLangと言ったら、その道は閉じている。llama.cppとMLXはチャット、エンベディング、サービングを十分カバーし、問題になることはまれ——なる時にはなるが。
- **量子化の遅れ。**最先端の量子化とカーネルはまずllama.cppに降り、MLX変換は数日〜数週間で追従する。
- **スワップはVRAMではない。**メモリ圧力で重みがスワップに押し出されると、性能は低下ではなく崩壊する。物理RAMからOSオーバーヘッドを引いた量より小さくモデルを収めること。以上。例外を作る価値はない。
購入ガイド
- 16 GB:7〜8B Q4のみ。カジュアル用途。
- 24〜36 GB:14Bは快適。36 GBなら32B Q4もコンテキスト次第で。
- 48〜64 GB:32B Q4/Q5を実コンテキストで。64 GBなら70B IQ3/Q4も、動かす重みの割に遅いことに忍耐を持てれば。
- 帯域幅のためにMaxかUltra——デコード速度が買えるのはそれ。小さいモデル、Whisper、ビジョンにはベースM。
非LLMのボーナス:このマシンはWhisper文字起こしとビジョンエンコーダに極めて優れている。ユニファイドメモリと強力なSIMDユニットにより、音声・画像パイプラインはワットあたり不釣り合いに速い——静かなMac Studioは正真正銘のマルチモーダル実働馬。