Das richtige Model wählen

Die Modellwahl ist eine Funktion dreier Eingaben: Ihr Speicherbudget, Ihr Anwendungsfall und Ihr Qualitätsboden. Benchmarks informieren nur die dritte; die ersten beiden sind Arithmetik. Eine davon zu optimieren und die anderen zu ignorieren ist der Weg zu einem Model, das wunderschön benchmarkt und die tatsächliche Dienstaufgabe am Dienstag nicht erledigen kann.

Die drei Eingaben

1. Budget — VRAM auf einer GPU, Unified Memory auf Apple Silicon. Faustregel: Gewichte bei Q4_K_M ≈ 0,6 GB pro Milliarde Parameter, dann KV-Cache und Overhead addieren — die volle Methode steht in VRAM-Mathematik.
2. Anwendungsfall — was das Model täglich tun muss; unten aufgeschlüsselt.
3. Qualitätsboden — das Niveau, unter dem Ausgabe für Sie nutzlos ist. Ein Schreibbegleiter verträgt mehr Schludrigkeit als ein Code-Generator, dessen Ausgabe kompilieren muss.

Das Budget deckelt auch den Kontext: Ein Riesenkontext-Plan auf einer kleinen Karte heißt nur, KV-Cache-Druck gegen Gewicht-Qualität zu tauschen. Alles wird gehandelt.

Durchgerechnet, 16-GB-GPU → ~13,5 GB nutzbar, nachdem das OS seinen Schnitt genommen hat: ein 14B bei Q4_K_M (~8,5 GB Gewichte) mit großzügigem Kontext oder ein 8B bei Q6_K (~6,6 GB) mit riesigem Kontext. Beide passen; der Anwendungsfall entscheidet zwischen ihnen.

Starten Sie beim Anwendungsfall

• Allgemeiner Chat und Schreiben — ein mittelgroßes Instruct (8–14B-Klasse) bei Q5–Q6 deckt die meisten ab. Über diese Klasse hinaus zählt Stilpräferenz mehr als Benchmark-Punkte.
• Coding-Assistent — bevorzugen Sie die starken Coder-Linien (Qwen Coder, DeepSeek-Coder-Nachfahren) und halten Sie den Kontext lang: Der Wert liegt im Ausfüllen mitten in der Datei mit Repo-Kontext drumherum. Echter Code bestraft schlampigere Quants auch früher als Chat.
• Lange Dokumente — verifizieren Sie, dass beworbener Kontext nutzbarer Kontext ist. Viele „128k“-Modelle attendieren gut auf vorn und hinten und breiigen die Mitte ein. Testen Sie, bevor Sie vertrauen; siehe das Protokoll unten.
• Koreanisch / multilingual — Qwen zuerst, Gemma zweitens. Beide handhaben Koreanisch respektabel; Englisch-zuerst-Familien zeigen Risse in Grammatik und Honorativen. Details in Modellfamilien.
• Reasoning-lastige Arbeit — bevorzugen Sie Reasoning-abgestimmte Checkpoints (Qwen3-Thinking-Modus, R1-Destillate); sie handeln Latenz gegen Korrektheit in Mathe und Planung ein, und Quantisierung schadet ihnen mehr — halten Sie das Quant hoch.
• Billige Massenextraktion — ein kleines Instruct (1,5–3B) mit strukturierter Ausgabe schlägt ein großes Model beim mehrfachen Preis pro Dokument. Verschwenden Sie kein 8B an Regex-förmige Arbeit.
• Agenten und Tool-Nutzung — die echte Anforderung ist Anweisungsbefolgung und Formatdisziplin, nicht roher IQ. In der Praxis heißt das ≥7–9B-Klasse, mehr, wenn Sie es sich leisten können: Ein missformater Tool-Call kann eine ganze Kette zerlegen. Siehe Agenten.

Benchmarks lesen, ohne sich täuschen zu lassen

Gewohnheiten, die Sie ehrlich halten: Bevorzugen Sie relative Deltas auf demselben Testrahmen vor absoluten Zahlen; behandeln Sie Abstände unter 2 Punkten als Rauschen; misstrauen Sie Behauptungen ohne reproduzierbares Setup; und lesen Sie die Kontaminationsdebatte um einen Benchmark, die oft aufschlussreicher ist als das Leaderboard selbst.

Die billigste Verteidigung ist Triangulation: Ein wirklich gutes Model zeigt es über unabhängige Signale — Lab-Evals, Arena, Community-Threads und Ihr eigener Prompt-Satz. Widersprechen sich Signale, vertrauen Sie denen, die Ihrer Arbeitslast am nächsten stehen. Ihre 20 Prompts rangieren für Ihre Zwecke über jedem Leaderboard, weil sie Ihre tatsächliche Verteilung samplen.

Signal aus der lokalen Community

Benchmarks laufen auf den Prompts der Labore. Ihr besseres Signal sind Leute, die dieselbe Datei fahren, die Sie gleich herunterladen wollen:

• Hugging-Face-Trends und Download-Zahlen — träge Popularität, teuer, lange zu manipulieren.
• Welche Releases die Community-Quantisierer (bartowski, mradermacher) über die volle Leiter quantisieren — ein brauchbarer Wichtigkeitsfilter.
• r/LocalLLaMA-Threads — Modellnamen suchen, nach Neu sortieren; das wiederkehrende Lob und die Beschwerden sind echt. Wenden Sie „Stand dieses Textes“ hier doppelt an: Lokaler Konsens hat eine Halbwertszeit von Wochen.
• Quant-spezifische Berichte — die Qualität von Model X bei Q4 ist eine andere Frage als Model X bei FP16, und beide unterscheiden sich von dem, was das Labor berichtete.

Empfehlungsmatrix

Startpunkte nach VRAM-Klasse, Stand dieses Textes, angenommen grob Q4_K_M-Quants und mäßiger Kontext — gleichen Sie die Hardware in GPU-Klassen ab:

Behandeln Sie die Matrix als Startpunkt der Suche, nicht als Evangelium — das Feld re-rangiert jedes Quartal. Der stabile Rat innerhalb jeder Klasse: Bevorzugen Sie neuere Generationen, und bevorzugen Sie größer-bei-Q4 vor kleiner-bei-Q8 bis zum Q4-Boden (darunter gewinnt der Quantisierungsschaden — siehe Quantisierung).

Noch eine stabile Regel: Stehen zwei Modelle gleich, nehmen Sie die freundlichere Lizenz. Apache-2.0 und MIT beißen einen nie zurück; Community-Lizenzen tun es manchmal — siehe offen vs. geschlossen.

Probieren, bevor Sie festlegen

30 disziplinierte Minuten schlagen eine Woche Bauchgefühl:

1. Bauen Sie einen festen Prompt-Satz aus 10–20 — Ihre echten härtesten Fälle: eine koreanische E-Mail zum Umschreiben, einen fehlerhaften Diff zum Fixen, eine Dokumentzusammenfassung mit einer vergrabenen prüfbaren Fakten.
2. Fahren Sie jeden Kandidaten auf denselben Prompts, denselben Sampling-Einstellungen, demselben Quant-Level. Variieren Sie eine Sache nach der anderen.
3. Blindes A/B: Ausgaben mischen und urteilen, ohne zu wissen, welches Model welche gemacht hat. Eine Tabellenkalkulation und ein Freund funktionieren; ebenso Ihr aktuell stärkstes Model als Richter.
4. Prüfen Sie Koreanisch speziell: Honorativ-Konsistenz (존댓말/반말), natürliche Partikel, keine englischen Lehnübersetzungen. Modelle, die „Koreanisch können“, schreiben oft übersetztes Englisch in koreanischer Kleidung.
5. Prüfen Sie langen Kontext: Vergraben Sie eine Fakten 70% tief in einem langen eingefügten Text und fragen Sie danach. Dieser eine Test disqualifiziert mehr „128k“-Modelle als irgendein Leaderboard.
6. Wiederholen Sie Gleichstände bei Temperatur 0 — Sampling-Rauschen tarnt sich häufiger als Modellunterschiede, als irgendjemand zugibt.

Der Testrahmen kann ein Vier-Zeilen-Shell-Skript gegen einen laufenden llama-server sein:

while IFS= read -r prompt; do
  curl -s http://localhost:8080/v1/chat/completions \
    -H 'Content-Type: application/json' \
    -d '{"messages":[{"role":"user","content":"'"$prompt"'"}],"temperature":0.7}' \
    >> out-model-a.jsonl
done < prompts.txt

Dieselbe Schleife, eine Ausgabedatei pro Model; dann lesen Sie sie Seite an Seite mit versteckten Labels.

Wann eine geschlossene API trotzdem gewinnt

Lokal handelt von Kontrolle, Privatsphäre und Grenzkosten bei Volumen — nicht von Frontier-Fähigkeit. Zum Zeitpunkt dieses Textes schlagen die stärksten geschlossenen APIs die stärksten offenen Gewichte noch bei hartem Reasoning und langen Agenten-Ketten, mit null Setup: kein VRAM, kein Engine-Tuning, keine Quant-Mathematik.

Zu den Kosten, mit Vorbehalt: Ein lokales 8B bei Q4 ist praktisch gratis pro Token, sobald die Hardware existiert; eine Frontier-API verlangt in der Größenordnung einiger Dollar pro Million Tokens. Im Hobbyvolumen runden beide zu null; bei Millionen Tokens am Tag gewinnt lokal allein über den Preis. Die Fähigkeitslücke — nicht der Preis — ist der ehrliche Grund, einen API-Schlüssel in der Nähe zu behalten.

Ein dauerhaftes Muster ist hybrid: lokales Model als Standard, API für die wenigen Prompts, die es überfordern. Wägen Sie den Kompromiss bewusst in offen vs. geschlossen ab.

Verwandt: GPU-Klassen · Modellfamilien · Agenten · Offen vs. geschlossen