Was ist ein LLM wirklich?

Ein LLM ist eine Funktion: Text hinein, eine Wahrscheinlichkeitsverteilung über das nächste Token heraus. Generieren ist diese Funktion in einer Schleife — ein Token ziehen, anhängen, alles wieder hineingeben, wiederholen —, bis ein Stop-Token oder ein Längenlimit greift. Jedes darauf aufgebaute Produkt, von Chat-Apps bis zu Coding-Agenten, ist Orchestrierung um genau diese Schleife.

Die Modelldatei selbst besteht aus zwei Dingen: Milliarden von Gewichten in Gleitkommadarstellung (die Parameter) und ein fester Berechnungsgraph, der sie kombiniert (siehe Innenleben des Transformers). Eine Datenbank steckt nicht darin, keine Regel-Engine, kein Notizspeicher. Zur Inferenzzeit sind die Gewichte eingefroren; alles, was sich das Model während eines Gesprächs „merkt“, ist schlicht Text in Ihrem Prompt-Fenster.

Die Kernschleife

Pseudocode für die gesamte Generierungs-Engine. Nichts, was irgendein Anbieter ausliefert, geht tiefer als das hier:

tokens = tokenize(prompt)
while not done and len(tokens) < max_context:
    probs = model(tokens)             # ein Forward-Pass
    next  = sample(probs, temperature)
    tokens.append(next)
    stream_to_user(next)
    if next == stop_token:
        done = True

Zwei Stellschrauben dieser Schleife dominieren das Alltagsverhalten, und keine von beiden steckt in den Gewichten: Temperature (wie abenteuerlustig das Sampling ist) und max context (wie viel Konversation hineinpasst). Beides sind Laufzeiteinstellungen, die Ihre Engine anwendet (siehe Engine-Regler).

Was die Gewichte physikalisch sind

Ein „7B“-Modell hat 7.000.000.000 Float-Parameter. Die gespeicherte Größe hängt nur von der Präzision ab, nicht von Cleverness:

Dieselben Gewichte, gröbere Speicherung — Sie tauschen etwas Qualität gegen viel Speicher (siehe Quantisierung). Die Anzahl selbst ist beim Training festgelegt; die Nutzung des Modells ändert sie nie.

Die Skalenleiter

Die Parameterzahl ist der grobe, aber ehrliche Maßstab dafür, was wann eintraf:

Jede Sprosse ist rund 10× die vorherige, und jede schaltet Verhalten frei, das die kleinere schlicht nicht hervorbringen konnte — nicht „dasselbe, nur etwas besser“. Skalierung brachte Fähigkeiten; die Verpackung machte sie nutzbar.

Kein Gedächtnis zwischen Sitzungen

Das Model ist zustandslos. Zustand lebt in der Konversation: im laufenden Fenster aus Tokens, die Sie und es erzeugt haben. Tab schließen, und er ist weg; neuen Chat starten, und es weiß nicht, dass Sie existieren. Jede „Gedächtnis“-Funktion ist ein Wrapper, der alten Text in den neuen Prompt reinjiziert.

Praktische Konsequenz: Was Sie im Fenster behalten, ist alles, was es gerade weiß. Lange Konversationen kappen ihren eigenen Anfang leise, sobald das Fenster voll ist — das Model „bemerkt“ den fehlenden Text nicht (siehe Tokens).

Flüssig ist nicht korrekt

Das Trainingsziel ist plausibler Anschluss, nicht Wahrheit. Die scharfen Kanten:

• Das Model erzeugt selbstsichere, wohlgeformte Unwahrheiten. Halluzination ist eine Eigenschaft der Next-Token-Vorhersage, kein Bug, den jemand zu beheben vergessen hat.
• Gewandtheit ist ein schlechtes Wahrheitssignal: Eine falsche Antwort liest sich exakt so gut wie eine richtige.
• Die Kalibrierung wackelt. Fragen Sie „Wie sicher bist du?“ — oft bekommen Sie eine erfundene Zahl.
• Häufige Fakten sind zuverlässig — sie kamen im Training Millionen Male vor. Long-Tail-Fakten entarten sanft in selbstsichere Fiktion.
• Modelle neigen zur Gefälligkeit: Widersprechen Sie einer richtigen Antwort, knickt sie womöglich ein. Korrektheit und Selbstsicherheit sind verschiedene Achsen.
• Erzwungene, prüfbare Ausgabe (JSON mit auszufüllenden Feldern, Multiple Choice) schlägt die Bitte an das Model, in sich hineinzuschauen.

Wissen friert beim Training ein

Alles, was das Model weiß, wurde beim Training eingebacken; es gibt ein Cutoff-Datum, und keine noch so lange Konversation aktualisiert die Gewichte. Frische Fakten verlangen Text im Kontext (Retrieval) oder neues Training (siehe Training). Das Model kann auch nicht belegen, woher eine Fakten stammt — es hat keinen Index in seinen Korpus, nur das Echo des Korpus in seinen Gewichten.

Fähigkeiten treffen ungleichmäßig ein

Skalierung fügt Fähigkeiten nicht gleichmäßig hinzu:

• Unter ~3B: gutes Autocomplete, Extraktion, Klassifikation; mehrschichtiges Reasoning scheitert meist.
• 7–9B: verlässliches Befolgen von Anweisungen, ordentlicher Code; Arithmetik und lange Ketten bleiben wackelig.
• 30B+: Planung, Nuance, härterer Code — spät und etwas plötzlich da.
• MoE verkompliziert die Leiter: Beurteilen Sie nach aktiven Parametern, nicht nach Gesamtzahl.

„Größer ist besser“ stimmt also im Durchschnitt und täuscht im Detail: Manche Aufgaben bilden früh ein Plateau, andere schalten sich spät ein. Benchmarken Sie auf Ihrer Aufgabe, nicht auf Bauchgefühl (siehe Modellauswahl).

Das Produkt ist die Schleife, verpackt

Wenn Sie irgendein LLM-Produkt benutzen, passiert ungefähr Folgendes:

1. Ihr Text wird tokenisiert.
2. System-Prompt, Tool-Definitionen, abgerufene Dokumente und Chat-Verlauf werden zu einem Prompt aneinandergehängt.
3. Das Model durchläuft die obige Schleife und streamt Tokens heraus.
4. Wrapper-Code parst die Ausgabe, ruft Tools auf, führt Ergebnisse zurück und promptet erneut.
5. Die UI rendert Markdown und nennt es eine Konversation.

Die Schritte 1, 2, 4 und 5 sind nicht das Model. Sobald Sie verinnerlicht haben, dass das Model eine zustandslose Text-rein/Text-raus-Funktion mit festem Fenster ist, ist der Rest dieses Leitfadens Buchführung: wie groß das Fenster ist (Tokens), wie schnell die Schleife läuft (Prefill vs. Decode), wo sie läuft (Hardware-Überblick) und wie man sie steuert (Prompting).

Verwandt: Tokens · Innenleben des Transformers · Parameter · Training