Der Stammbaum der offenen Gewichte

Eine Handvoll Familien deckt nahezu die gesamte lokale Nutzung ab, und jede erscheint als Leiter aus Größen und Post-Training-Varianten. Den Stammbaum zu kennen verrät Ihnen, worauf irgendein zufälliger Hugging-Face-Fine-Tune wirklich gebaut ist — und nach welcher Basis Sie zuerst greifen. Alle diese sind offene Gewichte; was das bringt und was nicht, steht in offen vs. geschlossen.

Die großen Familien

Ehrenwerte Erwähnungen: GLM (Zhipu) und Yi (01.AI) — starke Basen mit Langkontext-Varianten; OLMo (AllenAI) — vollständig offen: Trainingsdaten, Code und Checkpoints alles veröffentlicht, der Referenzpunkt, wenn „offen“ mehr bedeuten muss als Gewichte.

Größen und Lizenzbedingungen driften pro Release — lesen Sie die Model Card, bevor Sie irgendetwas Kommerzielles ausliefern.

Familiennotizen

• Qwen — die Standardantwort für multilinguale lokale Nutzung. Die Größenleiter ist ungewöhnlich fein abgestuft (0,6/1,7/4/8/14/32B dicht, plus 30B-A3B und 235B-A22B MoE), also hat jede VRAM-Klasse ein Qwen. Die Qwen3-Generation fügte den meisten Größen „Thinking“-Schalter pro Prompt hinzu.
• Llama — weniger die Qualitäts- als die Kompatibilitäts-Frontier: Jedes Tool, jedes Tutorial und jeder Fine-Tune unterstützt es zuerst. Llama 4 ging zu MoE, also bleibt die dichte 3.x-Linie in vielen lokalen Setups das Alltagspferd.
• Gemma — konsequent stark für seine Dateigröße, was zählt, wenn Sie auf einem Laptop an Q4 gebunden sind. Gemma 3s Vision-Eingabe macht es lokal zum einfachen multimodalen Standard.
• Mistral — Pionier des brauchbaren offenen 7B und des offenen MoE (Mixtral 8x7B). Neuere Flaggschiffe neigen zu geschlossen; die offenen 7B und die Small-Varianten (22–24B) bleiben Arbeitstiere.
• Phi — schwer auf kuratierten „Lehrbuch-Qualitäts“-Synthetikdaten trainiert; schlägt über seine Gewichtsklasse in Mathe und Logik, dünner beim Weltwissen. Ein gutes kleines Agenten-Gehirn.
• DeepSeek — V3 und R1 schoben die offene Reasoning-Fähigkeit nach vorn; die vollen Modelle brauchen ernsthafte Hardware, aber die R1-Destillat-Familie (Qwen/Llama-Basen, trainiert auf R1-Reasoning-Traces) fährt Chain-of-Thought lokal ab 1,5B.

Generationen auf einen Blick

Familienstämme bewegen sich schnell; Generationen altern wie Milch. Grobe Stammlinie, von alt nach neu, hier abgedeckt:

Die nützliche Regel: Innerhalb einer Familie matcht eine neuere Generation in kleinerer Größe meist eine ältere Generation in größerer. Ein aktuelles 8B schlägt routinemäßig ein zwei Generationen altes 30B bei den meisten Aufgaben — weshalb der richtige Instinkt „das neueste Model, das passt“ ist, nicht „das größte Model, das passt“.

Modellnamen lesen: Base vs. Instruct vs. Reasoning

Jede Familie liefert mehrere Post-Training-Varianten; der Name ist der Entschlüsselungsring:

Ein Base-Modell antwortet, indem es Ihren Text fortsetzt: Sagen Sie Hallo, bekommen Sie womöglich einen Forum-Thread, eine FAQ oder einen Wikipedia-artigen Absatz über Begrüßungen. Instruct-Modelle benehmen sich wie Assistenten. Alles Weitere in diesem Leitfaden setzt Instruct- oder Reasoning-Checkpoints voraus — ein Base-Modell zu fahren und zu schließen „lokale Modelle sind dumm“ ist ein klassischer Fehler der ersten Woche.

MoE: Gesamt- vs. aktive Parameter

Mixture-of-Experts-Modelle speichern weit mehr Gewichte, als irgendein einzelnes Token nutzt. Der Feed-Forward-Block jedes Layers spaltet sich in Experten-Subnetzwerke; ein kleiner Router wählt pro Token, pro Layer die besten wenigen Experten aus. „235B-A22B“ heißt 235B Parameter gespeichert, ~22B aktiv pro Token. Zwei Kosten gehen auseinander:

memory for weights  ∝ total params    (alle Experten müssen im RAM/VRAM sitzen)
compute per token   ∝ active params   (nur die gerouteten Experten laufen)

Ein MoE kauft also Großmodell-Qualität zu Kleinmodell-Geschwindigkeit — wenn Sie die Gewichte halten können. Das ist die ganze lokale Geschichte des Qwen3-30B-A3B: ~30B gespeicherte Fähigkeit für Maschinen mit 24–32 GB, zu ~3B Decode-Kosten, gleich große dichte Modelle überflügelnd und dabei schneller generierend. Die Mechanik steht in Geschwindigkeit.

Gleiches Speicherbudget, andere Form:

MoE-Vorbehalte: Die Qualität pro aktivem Parameter ist niedriger als bei einem dichten Model, das Routing fügt bei Batchgröße 1 Overhead hinzu, und Router sind empfindlich gegen schlampige Quantisierung — bevorzugen Sie Community-geprüfte Quant-Rezepte für MoE-Checkpoints gegenüber selbstgestrickten.

Koreanisch und Multilingualität

Grobe Community-Einigkeit für Koreanisch, Stand dieses Textes: Qwen zuerst (starkes Koreanisch über die gesamte Größenleiter), Gemma zweitens (saubere koreanische Prosa, gelegentlich steife Honorative), Englisch-zuerst-Familien sichtbar drittens (Partikelfehler, Lehnübersetzungen aus dem Englischen). Testen Sie direkt — Honorative (존댓말/반말), Partikelwahl, Register-Konsistenz — mit dem Protokoll in Modellauswahl.

Der Fine-Tune-Dschungel

Die meisten Repos auf Hugging Face stammen nicht vom ursprünglichen Labor. Schichten von Kultur lagern sich oben ab:

• Merges — Gewichts-Mittelung (TIES, DARE, SLERP) mehrerer Fine-Tunes. Manchmal wirklich besser als jeder Elternteil; oft ein Münzwurf, der in Evals schlechter abschneidet.
• Abliterated — Verweigerungsrichtungen chirurgisch entfernt. Nützlich für Fiktion und Forschung; kostet meist etwas allgemeine Fähigkeit. Beachten Sie Lizenz und Rechtsraum.
• „Slop“-Fine-Tunes — ein schneller LoRA auf Synthetikdaten, Arena-Vibes jagend, veröffentlicht unter eskalierendem Namen. Die Qualität variiert wild, in beide Richtungen.
• Community-Quants — bartowski, mradermacher und Kollegen quantisieren Upstream neu, ohne die Gewichte anzufassen. Diese sind sicher; prüfpflichtig sind verhaltensändernde Fine-Tunes.

Wenn Sie die Card eines Fine-Tunes öffnen, suchen Sie das benannte Basismodell, Evals aus einem Testrahmen, den Sie erkennen (keine Screenshots), und einen beschriebenen Datensatz — „privater Datensatz“ ist eine gelbe Flagge.

Standardpolitik: Bevorzugen Sie das Upstream-Lab-Release, außer ein Fine-Tune hat unabhängige, reproduzierte Beweise, besser zu sein. Wie Sie das gegen Benchmarks und Community-Signal abwägen: Modellauswahl.

Verwandt: Modellauswahl · Offen vs. geschlossen · Quantisierung · Modellformate