Apple Silicon & Unified Memory

Apple Silicon spielt ein anderes Spiel. CPU und GPU teilen sich einen Pool aus
Unified Memory, und die GPU kann fast alles davon adressieren — auf einem Mac ist
RAM-Kauf also VRAM-Kauf. Ein 64-GB-Mac fasst jedes 32B und die meisten 70B-Quants,
die keine Consumer-Einsteckkarte fasst. Der Haken ist die Bandbreite: Sie bekommen
Laptop-Klasse-Speicherrohre, kein GDDR mit Terabyte pro Sekunde.

Unified Memory, konkret

Auf einem PC sind System-RAM und VRAM getrennte Pools; Überlauf heißt
PCIe-Rundreisen mit einem Bruchteil der VRAM-Geschwindigkeit. Auf Apple Silicon
gibt es einen physischen Pool, die GPU liest Gewichte also direkt aus dem
„System“-RAM, ohne Kopie und ohne PCIe-Steuer. Neuere macOS-Versionen deckeln
GPU-nutzbaren RAM standardmäßig auf grob zwei Drittel bis drei Viertel des
Physischen; Sie können die Kappe anheben:

sysctl iogpu.wired_limit_mb                 # aktuelles GPU-Speicherlimit
sudo sysctl iogpu.wired_limit_mb=49152      # z. B. 48 GB auf einem 64-GB-Mac

Lassen Sie dem OS in jedem Fall einige GB — alles auf die GPU zu pinnen macht die
ganze Maschine unglücklich.

Bandbreite nach Chip-Klasse

Decode-Geschwindigkeit ist Bandbreite ÷ Bytes pro Token, dieselbe Arithmetik wie
überall. Ein 8B-Q4-Modell ist ~5 GB, also ist die Decke Bandbreite ÷ 5:

Durchgerechnet: Ein Max-Chip mit ~550 GB/s hat auf 8B Q4 eine Decke von ~110 tok/s
und liefert in der Praxis 70–95. Basis-Chips sind für kleine Modelle fein und ab
30B+ schmerzhaft; Max und Ultra sind die Klassen, die sich wie eine diskrete GPU
anfühlen. Bereiche sind Näherungen — prüfen Sie das Datenblatt des exakten Chips
vor dem Kauf.

Zweites Beispiel, dasjenige, für das Macs existieren: Ein 32B-Q4_K_M-Modell ist
~19,2 GB Gewichte plus ~2,1 GB KV bei 8k, plus das OS. Eine 36-GB-Maschine fährt es
mit dünner Marge; 48–64 GB fahren es mit echter Kontextreserve. Dasselbe Model
braucht 24 GB diskreten VRAM, bevor Sie irgendetwas anderes zählen — und sehr
wenige einzelne Karten haben das. Kapazität pro Geldeinheit ist das ganze Argument
des Macs: Die Klammmer 36–128 GB ist Territorium, das Consumer-Einsteckkarten
schlicht nicht abdecken.

Das Ökosystem: MLX und llama.cpp

Beide Wege sind gesund, und Sie werden am Ende vermutlich beide nutzen:

• llama.cpp (Metal-Backend) — läuft überall, bekommt exotische Quant-Formate
  zuerst und nutzt dieselben GGUF-Dateien und Flags wie Ihre NVIDIA/AMD-Kisten.
• MLX — Apples Array-Framework. mlx-lm generiert, served und konvertiert
  Modelle und ist oft zuerst mit Apple-spezifischen Kernels da. Hugging Face hostet
  MLX-community-Konvertierungen der meisten populären Familien.

Keins von beiden braucht CUDA — was zugleich die strukturelle Grenze ist: vLLM,
SGLang und TensorRT-LLM laufen zum Zeitpunkt dieses Textes nicht auf macOS. Für
OpenAI-kompatibles Serving nutzen Sie den eingebauten Server von llama.cpp oder
mlx-lm server.

Die Grenzen

• Thermik. Max-Klasse-Chips in einem MacBook throtteln unter anhaltender
  Generierung; ein Mac Studio hält Taktraten unbegrenzt. Laptops sind für Ausbrüche,
  Studios fürs Serving.
• Kein CUDA. Sagt ein Tutorial vLLM oder SGLang, ist dieser Weg zu. llama.cpp
  und MLX decken Chat, Embeddings und Serving gut genug ab, dass es selten zählt —
  bis es zählt.
• Quant-Verzug. Bleeding-Edge-Quants und Kernels landen zuerst in llama.cpp;
  MLX-Konvertierungen folgen binnen Tagen bis Wochen.
• Swap ist kein VRAM. Wenn Speicherdruck Gewichte in den Swap drückt,
  degradiert die Leistung nicht — sie kollabiert. Bemessen Sie Modelle unter
  physischem RAM minus OS-Overhead. Punkt. Keine Ausnahme wert.

Kaufberatung

• 16 GB: nur 7–8B Q4. Beiläufig.
• 24–36 GB: 14B bequem; 32B Q4 auf 36 GB mit sorgfältigem Kontext.
• 48–64 GB: 32B Q4/Q5 mit echtem Kontext; 70B IQ3/Q4 auf 64 GB mit Geduld für
  seine Trägheit relativ zu den bewegten Gewichten.
• Max oder Ultra für Bandbreite — das ist es, was Decode-Geschwindigkeit kauft.
  Basis-M für kleine Modelle, Whisper und Vision.

Nicht-LLM-Bonus: Diese Maschinen sind exzellent für Whisper-Transkription und
Vision-Encoder. Unified Memory plus starke SIMD-Einheiten machen Audio- und
Bild-Pipelines unverhältnismäßig schnell pro Watt — ein leiser Mac Studio ist ein
legitimer multimodaler Workhorse.

Verwandt: CPU-Inferenz · Geschwindigkeit ·
Quantisierung