Was die Parameterzahl bringt
Die Parameterzahl ist die beste Ein-Zahlen-Zusammenfassung eines Modells: Sie kauft Wissenskapazität und Können und berechnet Ihnen Speicher und Geschwindigkeit. Unter ~30B spüren Sie jede Sprosse der Leiter; darüber flachen die Erträge ab. Diese Seite kartiert die Leiter und sagt Ihnen, welche Sprosse Ihre Aufgabe wirklich braucht.
Die Fähigkeitenleiter
| Parameter | Klasse | Gut für | Q4-Footprint |
|---|---|---|---|
| 0,5–1B | Utility | Klassifikation, Extraktion, Autocomplete, Routing | unter 1 GB; CPU genügt |
| 3–4B | Leichter Assistent | schneller Chat, Entwürfe, Zusammenfassungen | ~2–3 GB |
| 7–9B | Das Arbeitstier | solider allgemeiner Chat und Code | ~4–6 GB |
| 12–14B | Starker Allrounder | spürbar besseres Reasoning, noch schnell | ~8–10 GB |
| 30–40B | Nahe der Frontier | die meisten Aufgaben in frontier-naher Qualität | ~18–24 GB; will 24 GB VRAM |
| 70B+ | Offen auf Frontier-Niveau | das härteste Reasoning, beste Nuance | ~40 GB; 2×24 GB oder 48 GB+ |
| MoE (groß gesamt, klein aktiv) | z. B. 100B+ gesamt, 10–30B aktiv | frontier-artige Qualität zu Mittelklasse-Kosten | groß — alle Experten müssen im Speicher sitzen |
Ein 30–40B in 4-Bit ist der lokale Sweet Spot zum Zeitpunkt dieses Textes: Es passt auf 24-GB-Karten und bleibt für die meisten Arbeiten nah genug an der Frontier-Qualität. MoE-Modelle brechen die Größenheuristik — beurteilen Sie sie nach aktiven Parametern für die Geschwindigkeit, nach Gesamtparametern für den Speicher.
Was Parameter kaufen: Wissenskapazität
Fakten leben in Gewichten — überwiegend in den FFN-Layern (siehe Innenleben des Transformers). Kapazität skaliert mit der Parameterzahl:
- Berühmte Fakten (Hauptstädte, gängige APIs): ab ~3B zuverlässig.
- Arbeitswissen (Bibliotheken mittlerer Popularität, Nebenthemen): wollen 14B+.
- Long Tail (obskure Spezifikationen, Nischengeschichte): 30B+, und selbst dann erwarten Sie Lücken.
Kleine Modelle wissen nicht nur weniger — sie stopfen die Lücken mit gewandter Erfindung, weshalb die Halluzinationsrate mit fallender Größe steigt. Für Long-Tail-Fragen auf kleinen Modellen schlägt Retrieval die Parameter (RAG).
Lesen Sie das Suffix: Base vs. Instruct
Dieselbe Parameterzahl erscheint in verschiedenen Verhaltensstadien:
- Base: bloßer Familienname (Qwen2.5-7B). Next-Token-Vervollständigung. Stellen Sie eine Frage, antwortet es womöglich mit weiteren Fragen, imitiert einen Forum-Thread oder plappert weiter.
- Instruct/Chat: Suffix -instruct, -it oder -chat (Qwen2.5-7B-Instruct). Beantwortet Fragen, befolgt Anweisungen, hört auf. In späteren Trainingsstadien darauf abgestimmt (siehe Training).
Prompt: "How do I boil an egg?"
base:
"How do I boil an egg? 10 points for best answer!?"
(setzt das Dokument fort — Sie gaben ihm Text, es gab Ihnen mehr Text)
instruct:
"Place eggs in a pot and cover with cold water. Bring to a
boil, cover, and remove from heat: 6 min soft, 10–12 hard."
(antwortet, formatiert, hört auf)
95% der lokalen Nutzung wollen die Instruct-Variante. Base-Modelle verdienen ihren Unterhalt bei Completion-artigen Workloads: Autocomplete, Text-Infilling, kreative Fortsetzung und als Substrat für Ihr eigenes Fine-Tuning.
Weitere Suffixe, denen Sie in Repo-Namen begegnen:
- -base: ausdrücklich das vortrainierte Stadium (Fine-Tuning-Substrat).
- -coder / -math / -vl: abgestimmt auf Code, Mathe oder Vision-Language-Eingaben.
- MoE-Nomenklatur wie 235B-A22B: Gesamtparameter, dann aktive pro Token — lesen Sie es als „235B resident, 22B arbeitend“.
- -gguf oder ein Quant-Tag: eine Umverpackung, kein neues Model (siehe Modellformate).
Abnehmende Erträge pro Verdopplung
Jede Verdopplung der Parameter bringt weniger Benchmark-Punkte als die letzte, während die Speicherkosten linear wachsen und die Decode-Geschwindigkeit mit jedem Gigabyte fällt — alles davon streamt beim Decode pro Token durch den VRAM (Prefill vs. Decode). Der Schritt 7B → 14B ist umwälzend; 70B → 140B ist für die meisten Aufgaben marginal. Die Regel: Fahren Sie das kleinste Model, das Ihre Tests besteht.
| Aufgabe | Starten bei |
|---|---|
| Zusammenfassen, Extrahieren, Klassifizieren | 3–4B |
| Allgemeiner Chat, Schreiben | 7–9B |
| Coding-Assistent | 8–9B Minimum; 14B+ spürbar besser |
| Tool-Nutzung, Agenten-Schleifen | 14B+; 30B+ für Zuverlässigkeit |
| Harte Mathe, mehrschichtiges Reasoning | 30B+ oder ein auf Reasoning abgestimmtes Model |
| Koreanischer und multilingualer Chat | 7B+ aus multilingual starken Familien |
Was Größe an Geschwindigkeit kostet
Decode streamt das gesamte Model pro Token, also heißt größer auf derselben Karte langsamer, ungefähr umgekehrt proportional zu den Gewicht-Bytes. Größenordnung Single-User-Decode auf einer 24-GB-Karte (~1 TB/s Bandbreite, 4-Bit-Gewichte):
| Model | Q4-Größe | Decode grob |
|---|---|---|
| 8B | ~4,5 GB | ~100+ tok/s |
| 14B | ~9 GB | ~50–60 tok/s |
| 32B | ~19 GB | ~25–35 tok/s |
| 70B | ~40 GB | passt nicht — braucht 2×24 GB, ~20–30 tok/s |
Zahlen bewegen sich mit Bandbreite, Treibern und Batchgröße; die Form nicht: doppelt die Gewichte, halb so viele Tokens pro Sekunde (Geschwindigkeit, GPU-Klassen).
Kleine Modelle sind quantisierungsempfindlicher
Ein 30B-Modell in 4-Bit verliert fast nichts; ein 1B-Modell in 4-Bit verliert viel. Redundanz wächst mit der Größe, also schlucken große Gewichte grobe Rundung, die kleinen Gewichten nicht möglich ist:
- 30B+: Q4 ist nahezu gratis, Q3 oft in Ordnung.
- 7–14B: Q4/Q5 sind sicher; Q3 genau beobachten und benchmarken.
- Unter 4B: Bevorzugen Sie Q6/Q8/FP16 — die Ersparnis ist ohnehin klein.
Details und Verhalten pro Format in Quantisierung; Auswahl pro Familie in Modellauswahl.
Verwandt: Quantisierung · Modellauswahl · Modellfamilien · Training