Wie Modelle trainiert werden (und warum Sie es nicht tun werden)

Jedes Chat-Modell, das Sie herunterladen können, durchlief dieselbe dreistufige Pipeline. Stufe eins werden Sie mit ziemlicher Sicherheit nie ausführen — das ist Rechenzentrums-Territorium —, aber günstige Cousins der Stufen zwei und drei könnten Sie durchaus fahren. Die Stufen zu kennen erklärt Base-gegen-Instruct-Verhalten, warum Modelle halluzinieren, und was ein „gemergtes“ Model auf Hugging Face wirklich ist.

Stufe 1: Pretraining — der teure Teil

Ein Ziel in unvorstellbarem Maßstab: das nächste Token vorhersagen über Billionen von Tokens aus Webtext, Code und Büchern. Hier treten Wissen und Können in die Gewichte ein, und hier fließt die überwältigende Mehrheit der Rechenleistung hinein.

Das Ergebnis ist ein Base-Modell: brillant im Fortsetzen, unbrauchbar als Assistent. Gefragt, antwortet es — und macht dann weiter mit einer weiteren Frage, einer Liste, einem Seitenumbruch, weil Text im Internet das eben tut.

Stufe 2: Supervised Fine-Tuning (SFT)

Zehntausende bis wenige Millionen kuratierte (Anweisung → Antwort)-Paare, ein paar GPU-Tage. Ein Rundungsfehler neben dem Pretraining, aber es verdrahtet das Verhalten neu: die Anweisung beantworten, in einem hilfreichen Format, dann aufhören. Das ist die Stufe, die ein Base-Modell in etwas verwandelt, mit dem man chatten kann.

Stufe 3: Präferenz-Tuning

• RLHF: Menschen ordnen Antwortpaare; ein Reward-Modell lernt die Rangfolge; die Policy wird gegen den Reward optimiert (PPO). Das klassische Rezept, schwergewichtige Maschinerie.
• DPO: überspringt das Reward-Modell und optimiert Präferenzpaare direkt. Einfacher, stabil, der Open-Source-Favorit.
• Wirkung: Stil, Hilfsbereitschaft, Verweigerungen, besser kalibrierte Aussagen. Auch Schmeichelei — das Model lernt, dass Menschen Zustimmung belohnen.

Wie SFT-Daten wirklich aussehen — schlichtes JSONL aus Anweisung/Antwort-Paaren, nichts Exotisches:

{"instruction": "Summarize the changelog in three bullets.", "response": "- Adds ..."}
{"instruction": "답변을 존댓말로 작성하세요.", "response": "네, 알겠습니다 ..."}

Tausende bis Millionen davon, ein paar Epochen, und das Base-Modell lernt das Assistenten-Format.

Dieselben Gewichte, andere Stufen

prompt: "Write a haiku about GPUs."

base (nach Stufe 1):
  "Write a haiku about GPUs.
   Write a sonnet about CPUs.
   1. Choose your topic carefully..."     ← setzt das Dokument fort

instruct (Stufen 1+2+3):
  "A thousand cores wake,
   each chasing one quiet token—
   fans hold their breath."               ← antwortet, formatiert, hört auf

Das Repo-Suffix verrät die Stufe: bloßer Name = Base; -instruct / -it / -chat = abgestimmt (siehe Parameter).

Noch ein Vokabularbegriff: der Knowledge-Cutoff — das Datum, zu dem der Pretraining-Korpus zusammengestellt wurde. Fragen Sie nach etwas Späterem, bekommen Sie entweder ein ehrliches „Ich weiß es nicht“ oder, schlimmer, selbstsichere Fiktion; beides ist korrektes Verhalten für eingefrorene Gewichte (Was ist ein LLM).

Training vs. Fine-Tuning: rund 1000× auseinander

Fine-Tuning stellt die Regler ein; es fügt kein Wissen hinzu. Einem 7B den Ton Ihrer Firma beibringen: LoRA, ein Abend. Ihm Ihre 50k internen Dokumente beibringen: Das ist Retrieval, kein Training (RAG, Fine-Tuning).

Was Fine-Tuning kann und nicht kann, damit Sie es richtig einsetzen:

• Kann: Ausgabeformat, Ton, Terminologie, Verweigerungsstil, Tool-Call-Syntax, eine enge Aufgabe zuverlässig erledigen.
• Kann: eine enge Aufgabe aus einem großen in ein kleines Model destillieren.
• Kann (zuverlässig) nicht: neue Fakten hinzufügen, schwaches Reasoning reparieren, Knowledge-Cutoffs verlängern, ein kleines Model groß machen.
• Regel: Wenn das Problem „weiß nicht“ ist, nutzen Sie Retrieval; wenn es „verhält sich falsch“ ist, fine-tunen Sie.

Checkpoints, Merges und was Sie herunterladen

• Das Training speichert unterwegs Checkpoints; Releases sind meist die finalen Gewichte der Instruct-Stufe — Sie bekommen den fertigen Assistenten, nicht den Prozess, der ihn gebaut hat.
• Ein „Merge“ mittelt oder interpoliert mehrere Fine-Tunes desselben Base-Modells (Model Soups). Es findet kein Training statt; es ist Gewichts-Arithmetik, die oft zwischen ihren Eltern landet. Beliebt auf Hugging Face, billig, gelegentlich exzellent.
• Unklare Herkunft heißt unklare Lizenz: Merges erben die Bedingungen jedes Elternteils (offene Gewichte vs. geschlossene APIs).
• Die Base-Gewichte hinter einem Chat-Modell werden manchmal ebenfalls veröffentlicht — greifen Sie nur für Completion-Workloads oder als Fine-Tuning-Substrat zu.
• Warum offene Releases an der finalen Stufe enden: Pretraining-Daten und Zwischen-Checkpoints sind die teuren Wettbewerbs-Assets; die fertigen Gewichte sind die Demo.
• Community-Instruct-Modelle teilen Post-Training-Rezepte und -Datensätze, weshalb so viele austauschbar wirken: gleiche Basis, gleiches Stufe-2/3-Spielbuch.
• Bevorzugen Sie Releases, deren Model Card Daten und Stufen aufführt; ein dokumentierter finaler Checkpoint altert besser als ein gehypter.

Verwandt: Fine-Tuning · RAG · Offene Gewichte vs. geschlossene APIs · Parameter