GPU-Klassen: was wirklich passt

Die VRAM-Klasse ist das ganze Spiel. Bandbreite entscheidet, wie schnell die
Dinge innerhalb einer Klasse laufen, aber Kapazität entscheidet, welche Modelle
überhaupt auf der Speisekarte stehen. Hier ist die praktische Karte zum Zeitpunkt
dieses Textes: was in jeder Klasse wirklich passt, mit repräsentativen Karten.
Klassen sind hier das stabile Wissen — spezifische SKUs werden jeden Produktzyklus
umbenannt, die VRAM-Klammern haben sich in einem Jahrzehnt kaum bewegt.

Die Klassentabelle

Anmerkungen zu den Klassen:

• 6–8 GB ist die Einstiegsklasse. 7–8B-Q4-Assistenten sind wirklich nützlich;
  Kontext über 8k beginnt zuerst zu zwicken.
• 12 GB ist der Preis-Sweet-Spot. 14B Q4 ist der erste ernsthafte
  Qualitätssprung über die 8B-Klasse, und es passt mit echtem Kontext.
• 16 GB bringt Ihnen 14B bei Q6 (nahezu verlustfrei) oder ein 24B in
  Low-Bit-Quants. 32B bei IQ3 läuft, aber 3-Bit auf 32B ist dort, wo
  Quantisierungsschaden sichtbar wird.
• 24 GB ist der lokale LLM-Klassiker. 32B Q4/Q5 mit 16k Kontext ist der beste
  Punkt Qualität-pro-Gigabyte für einen einzelnen Nutzer. 70B bei IQ2_XS passt ins
  Datenblatt und enttäuscht die Ohren — zu wenige Bits für so viele Parameter.
• 32–48 GB+ existiert für 70B bei Q4 oder besser und für das Serving mehrerer
  Nutzer zugleich (siehe Parallelität).

Der Gebrauchtmarkt

Die RTX 3090 (24 GB, ~936 GB/s) bleibt der klassische Preis-Leistungs-Pick zum
Zeitpunkt dieses Textes: 24 GB für einen Bruchteil eines neuen Flaggschiffs, und
32B Q4 passt mit Reserve. Einschränkungen: 350 W unter Last, Blow-Through-Kühler
kippen Hitze ins Gehäuse, und Karten aus der Mining-Ära wollen womöglich neu
eingepastet werden. Ehrenwerte Budget-Erwähnungen: RTX 3060 12 GB neu oder eine
gebrauchte 2080 Ti mit dem 22-GB-Speicher-Mod, wenn Sie Risiko mögen. Gebrauchte
Rechenzentrums-Karten (P40, Tesla-T4-Ära) sind billiger VRAM, aber langsame
Bandbreite, laut und ohne moderne Feature-Unterstützung — fein zum Basteln, zäh im
Alltag.

Multi-GPU: Kapazität ja, Geschwindigkeit meist nein

Das Aufteilen auf zwei Karten kauft Kapazität, nicht Bandbreite:

• Layer-Split (Pipeline) — jede GPU hält zusammenhängende Layer-Blöcke; nur
  kleine Aktivierungen queren den Bus. Nahezu linearer Kapazitätsgewinn, moderater
  Decode-Abschlag. llama.cpp macht das automatisch, wenn Sie Layer über Geräte
  verteilen.
• Tensor-Parallel — jede Matmul wird über Karten geteilt; braucht schnelle
  Inter-GPU-Links, um sich zu rechnen, und Hobby-Stacks implementieren es
  unvollkommen.
• Keiner der Wege erreicht die Summe der Bandbreiten beider Karten. Zwei 24-GB-
  Karten fahren ein 70B mit grob der Decode-Geschwindigkeit einer Karte, nicht
  doppelt. Für einen einzelnen Nutzer ist eine größere Karte fast immer der bessere
  Kauf als zwei kleinere — kaufen Sie das Paar nur für Kapazität, die Sie anders
  nicht bekommen, oder für gleichzeitiges Serving.

Laptop-GPUs

Eine Laptop-RTX 4070 fasst exakt das, was eine Desktop-4070 fasst — die Kapazität
folgt der VRAM-Konfiguration, nicht dem Gehäuse. Unterschiedlich ist die Leistung:
Anhaltende Taktraten liegen unter geteiltem Thermik-Budget niedriger, also erwarten
Sie Decode grob 20–40% langsamer als beim Desktop-Geschwister und Prefill
proportional langsamer. In Ordnung für Reisen und Demos; kein Grund, auf einen
Desktop zu verzichten, wenn das tägliche Arbeit ist.

Pro-Karten und NVLink

Workstation-Karten kaufen ECC, zertifizierte Treiber, Blower-Kühler und große
VRAM-Konfigurationen — die Kapazitätsprämie kann sich lohnen, der Rest ist für die
Inferenz irrelevant. NVLink existiert für tensor-parallelen Trainingsverkehr;
Hobby-Serving ist bandbreitenlimitierter Decode, der kaum zwischen Karten kreuzt.
Lassen Sie beide weg, außer eine bestimmte Kapazität (48/96 GB) verlangt sie.

Vor dem Kauf prüfen

nvidia-smi --query-gpu=name,memory.total,memory.used --format=csv

Dann rechnen Sie die VRAM-Mathematik für die Modelle durch, die
Sie wirklich wollen, bevor Sie irgendeiner Klassentabelle vertrauen — Architekturen
verschieben sich, die Formel nicht.

Verwandt: VRAM-Mathematik · Parallelität ·
Apple Silicon