Guide
Grundlagen
1
Was ist ein LLM wirklich?Vorhersage des nächsten Tokens, Milliarden eingefrorener Gewichte — und warum jedes Produkt nur Orchestrierung um eine Text-rein/Text-raus-Schleife ist.
2
Tokens & TokenizerSubwort-Vokabulare, warum Koreanisch den Kontext 3–4× schneller auffrisst als Englisch, und warum Buchstabenzähl-Fragen scheitern.
3
Innenleben des TransformersEmbeddings, Self-Attention, FFN und GQA — die ganze Architektur mit nichts Schwererem als Skalarprodukten und einem Softmax.
4
Prefill vs. Decode: Wie Generierung abläuftZwei Phasen mit unterschiedlicher Physik: ein paralleler Durchlauf über den Prompt, dann Token-für-Token-Generierung, die alle Gewichte neu liest.
5
Was die Parameterzahl bringtDie Fähigkeitenleiter von 1B-Spielzeug bis zur 70B+-Frontier-Klasse — Wissenskapazität, Namenskonventionen und die passende Größe zur Aufgabe.
6
Wie Modelle trainiert werden (und warum Sie es nicht tun werden)Pretraining, SFT und Präferenz-Tuning — was jede Stufe kostet, was sie ändert und was auf einer GPU tatsächlich machbar ist.
7
Offene Gewichte vs. geschlossene APIsDas Lizenzspektrum von Apache-2.0 bis API-only, die Stolperfallen, die kommerzielle Nutzung beißen, und wie man einen Hugging-Face-Repo-Namen liest.
Hardware
8
Welche Hardware zählt (und welche nicht)Kapazität, Bandbreite, Rechenleistung — sortiert nach dem, was sie Ihnen wirklich bringen, plus die Datenblatt-Posten, die nicht zählen.
9
VRAM-MathematikGewichte + KV-Cache + Overhead: die Formel, Rechentabellen für 8B–70B und eine 16-GB-Bemessung zum Nachvollziehen.
10
GPU-Klassen: was wirklich passtWas in jede VRAM-Klasse passt, Gebrauchtmarkt-Tipps und warum zwei kleinere Karten gegen eine größere verlieren.
11
Apple Silicon & Unified MemoryUnified Memory macht RAM zu VRAM: Bandbreite nach Chip-Klasse, MLX vs. llama.cpp und die Swap-Falle.
12
Ausschließlich auf der CPUBandbreiten-Arithmetik für DDR4/DDR5, Komfortklassen, Prefill-Schmerz und wann rein CPU wirklich die richtige Antwort ist.
13
Kontextfenster & der KV-CacheWarum Kontext VRAM kostet: die Pro-Token-Formel, GQA, quantisiertes KV und beworbene vs. effektive Fenster.
Modelle & Formate
14
ModellformateGGUF, Safetensors, AWQ/GPTQ, EXL2, ONNX — wozu jeder Container da ist, welche Engine welche frisst und wie man konvertiert.
15
Quantisierung im DetailHinter die Spicktabellen: Block-Skalen, K-Quant-Mixe, Imatrix-I-Quants, wo die Qualität zuerst bricht und eine VRAM-bewusste Entscheidungsleiter.
16
Der Stammbaum der offenen GewichteQwen, Llama, Gemma, Mistral, Phi, DeepSeek — Größen, Lizenzen, Base- vs. Instruct-Benennung, MoE gesamt vs. aktiv und der Fine-Tune-Dschungel.
17
Das richtige Model wählenZuerst der Anwendungsfall, dann Benchmarks: Leaderboards lesen, ohne sich täuschen zu lassen, eine Empfehlungsmatrix nach VRAM-Klasse und ein Probier-vor-dem-Festlegen-Protokoll.
Betrieb & Serving
18
Ihr erstes Model in 10 MinutenVon der leeren Maschine zum Chat mit einem lokalen Model, per Terminal oder GUI — plus Gesundheitschecks und die drei klassischen Erstfehler.
19
Inferenz-Engines im Vergleichllama.cpp, Ollama, LM Studio, vLLM, SGLang, exllamav2, MLX, transformers — wozu jede da ist, und warum die Unterschiede weniger zählen als Ihr I/O-Muster.
20
Engine-Regler, die zählenKontextlänge, GPU-Offload, Threads, Flash Attention, KV-Cache-Dtype, YaRN — die Handvoll Flags, die Ergebnisse ändern, und die Log-Zeilen, die sie verifizieren.
21
Die Physik der Tokens pro SekundeDecode-Geschwindigkeit ist Speicherbandbreite geteilt durch Bytes gelesen pro Token — aus dieser einen Formel folgen Quantisierung-als-Beschleunigung, MoE-Gewinne, die CPU-Offload-Klippe und wie sich tok/s wirklich anfühlt.
22
Einen OpenAI-kompatiblen Endpunkt servenDie Chat-Completions-Form ist die Lingua franca, die jeder Client spricht — serven Sie sie mit llama-server, Ollama oder vLLM, richten Sie SDKs auf localhost und schließen Sie die Tür ab.
23
UIs & IntegrationenOpen WebUI, LibreChat, text-generation-webui, Continue.dev, Terminal-Werkzeuge — nach Rolle wählen; alle sprechen OpenAI-kompatibel, also passt jede Engine.
24
Batching & mehrere NutzerSerielle Bedienung verschwendet die GPU; Batching teilt jede Gewicht-Lesung über Anfragen. Continuous Batching, Paged Attention, Kapazitätsrechnung und wann Sie Ollama für vLLM verlassen.
Arbeiten mit Modellen
25
Prompts & Chat-TemplatesChat-Templates sind der Umschlag, in dem Ihr Prompt reist — ChatML vs. Llama vs. Gemma-Markup, Few-Shot-Verträge und die Muster, denen kleine Modelle wirklich folgen können.
26
Sampling-EinstellungenTemperatur, top_k, top_p, min_p und repeat_penalty — was jeder Regler mit den Logits tut, in welcher Reihenfolge, und Presets, die pro Aufgabe funktionieren.
27
Strukturierte Ausgabe & Function CallingVon Nur-Prompt-JSON bis zur grammatik-maskierten Dekodierung, die ungültige Tokens unmöglich macht — plus die Tool-Calling-Konventionen, auf denen Agenten laufen.
28
RAG: dem Model Ihre Daten gebenChunken, embedden, abrufen, zitieren — eine vollständige lokale RAG-Pipeline mit konkreten Zahlen, hybrider Suche, Reranking und wie man Retrieval-Fehler von Generierungs-Fehlern unterscheidet.
29
Fine-Tuning mit LoRA & QLoRAAdapter auf einer Consumer-GPU: was Tuning ändert (Verhalten) vs. was es nicht kann (Fakten), QLoRA-Budgets, die Datenregeln, die dominieren, und der Export nach GGUF.
30
Agenten & Tool-NutzungDie Plan–Handeln–Beobachten-Schleife, Tools als JSON-Schemas, MCP, Kontextdisziplin für lange Läufe und Prompt-Injection — das echte Bedrohungsmodell.
31
Fehlerbehebung: Symptom → Ursache → FixEine symptom-zuerst-Diagnosetabelle für die Klassiker — Template-Missverhältnisse, OOM beim Laden und mitten im Lauf, 1 tok/s, Wiederholungsschleifen, Zeichensalat, Kappungen — plus wie normale Zahlen aussehen.