Ihr erstes Model in 10 Minuten

Ein fähiges Model lokal zum Laufen zu bringen ist heute eine Zehn-Minuten-Arbeit, kein Wochenendprojekt. Zwei Routen decken fast alle ab: das Terminal (Ollama) für Menschen, die Befehle mögen, und eine GUI (LM Studio) für Menschen, die Fortschrittsbalken mögen. Beide enden am selben Ort — einem quantisierten GGUF auf Ihrer eigenen Platte, das mit interaktiver Geschwindigkeit antwortet, während nichts nach Hause telefoniert. Wählen Sie einen Weg, tun Sie es, und machen Sie dann die Gesundheitschecks am Ende.

Bevor Sie starten

Kennen Sie drei Zahlen Ihrer Maschine:

VRAM (oder Unified Memory): 8 GB fährt 7–9B-Modelle bei Q4; 16 GB handhabt 13–14B; 24 GB erreicht die 30B-Klasse. Die volle Bemessungsrechnung steht in VRAM-Mathematik.
Speicherbandbreite: Sie, nicht die Rechenleistung, entscheidet über Ihre tok/s — siehe Geschwindigkeit.
Freier Speicher: Planen Sie 50–100 GB ein, wenn Sie mehr als ein Model probieren wollen.

Weg A: die Terminal-Route (Ollama)

Installieren Sie Ollama — ein Ein-Zeilen-Installationsskript auf Linux/macOS, ein Installer auf Windows. Es startet einen lokalen Dienst und gibt Ihnen einen ollama-Befehl. Kein Konto, kein Schlüssel.

Wählen Sie ein mittelgroßes offenes Model. Zum Zeitpunkt dieses Textes ist die 7–9B-Klasse — qwen3:8b oder ein Model der Llama-3.1-8B-Klasse — das richtige erste Model: wirklich nützlich, und es passt auf eine 8-GB-GPU oder toleriert eine CPU. Wenn Sie Koreanisch schreiben, haben die Familien Qwen und Gemma koreanischen Text historisch gut gehandhabt — aber testen Sie mit einem echten eigenen Absatz, denn Tokenizer unterscheiden sich (siehe Tokens).

# abholen (~5 GB) und in einem Schritt mit dem Chatten beginnen
ollama run qwen3:8b

Sie sind jetzt in einer Chat-Schleife. Tippen Sie eine Nachricht, drücken Sie Enter, sehen Sie Tokens herausströmen. Die Slash-Befehle für Tag eins:

/bye          # den Chat verlassen
/show info    # Quantisierung, Kontextlänge, Template in Gebrauch

Zurück in Ihrer Shell, zwei weitere:

ollama list   # was auf der Platte liegt, und wie groß jedes ist
ollama ps     # was gerade im Speicher geladen ist, und wo

ollama ps ist Ihr erstes echtes Messgerät. Es meldet die residente Größe und eine CPU/GPU-Aufteilung wie 100% GPU oder 48%/52% CPU/GPU. Jeder CPU-Anteil in der Aufteilung heißt, dass das Model nicht vollständig auf der GPU liegt — ein behebbares Konfigurationsproblem, keine Hardwaregrenze. Siehe Engine-Regler.

Beispiel einer gesunden Anzeige:

NAME         ID           SIZE     PROCESSOR    UNTIL
qwen3:8b     a1b2c3d4...  5.7 GB   100% GPU     4 minutes from now

SIZE größer als die Datei auf der Platte ist normal: Die residente Größe ist Gewichte plus Compute-Buffer, keine zweite Kopie.

Weg B: die GUI-Route (LM Studio)

Installieren Sie LM Studio. Öffnen Sie den Such-Tab, tippen Sie einen Familiennamen — Qwen3, Llama 3, Gemma 3 — und Sie bekommen eine Wand aus Größen und Quantisierungen. Zwei Regeln halten es einfach:

Passen Sie zuerst die Parameterzahl an den Speicher an: Ein 8B bei Q4 ist grob 4–5 GB vor dem KV-Cache.
Vertrauen Sie dem Größenhinweis pro Download — er schließt Reserve ein, sodass „passt“ wirklich passt. Bevorzugen Sie Quants der Q4_K_M-Klasse; die Details stehen in Quantisierung.

Der Download ist ein Fortschrittsbalken. Laden Sie das Model im Chat-Tab und sprechen Sie mit ihm; die Anzeige unten zeigt Tokens pro Sekunde, während es generiert — merken Sie sich diese Zahl für den Gesundheitscheck. LM Studio kann auch einen OpenAI-kompatiblen lokalen Server freigeben, der später in Serving nützlich wird.

Sieht die tok/s-Anzeige niedrig aus, deinstallieren Sie noch nichts — beenden Sie erst die Gesundheitschecks unten, bevor Sie schließen, dass etwas kaputt ist.

Was „Pullen“ wirklich tut

Nichts Magisches. Ein Model in diesem Ökosystem ist eine GGUF-Datei (siehe Modellformate): ein einzelner Blob, der jeden Layer, den Tokenizer und Metadaten enthält. ollama pull und LM Studios Downloader holen diesen Blob in Stücken — das ist der geschichtete Fortschritt, den Sie sehen —, verifizieren einen Digest und registrieren die Datei in einem lokalen Index. Unterbrochene Downloads setzen dort fort, wo sie stoppten. „Ein Model installieren“ ist wörtlich das Herunterladen einer großen Datei und das Merken, wo sie lebt. Kein Konto, kein Lizenzserver, kein Nach-Hause-Telefonieren.

Gesundheitschecks beim ersten Start

Drei Zahlen sagen Ihnen, ob Ihr Setup gesund ist:

Check	Wo nachsehen	Gesund sieht so aus
Decode-Geschwindigkeit	tok/s-Anzeige (LM Studio) oder Zeitmessung in Ollama-Logs	30+ tok/s auf einer aktuellen diskreten GPU; die Physik steht in Geschwindigkeit
Zeit zum ersten Token	Wie lange, bis die Antwort beginnt	Unter ~1 s warm für kurze Prompts; lange eingefügte Texte dauern länger (Prefill — siehe Geschwindigkeit)
Speicherfit	`ollama ps`, GPU-Anzeige, Systemmonitor	Model + KV-Cache vollständig resident; die Rechnung steht in VRAM-Mathematik

Bestehen alle drei, hören Sie auf zu tunen und benutzen Sie das Model. Prompt-Qualität dominiert in dieser Phase alles andere — siehe Prompting.

Die drei klassischen Erstfehler

Symptom	Echte Ursache	Fix
Laden scheitert oder stürzt mit Out-of-Memory ab	Model passt nicht	Eine Quant-Stufe runter (Q4 → Q3) oder eine Modellgröße runter (8B → 4B); siehe Quantisierung
Flüssiger Unsinn, falsche Sprache, Echo-Schleifen	Falsches Chat-Template für das Model	Der Runner muss das eigene Template des Modells nutzen; siehe Prompting und Fehlerbehebung
1–2 tok/s trotz GPU	Die meisten Layer liegen noch auf der CPU	Vollen GPU-Offload erzwingen; siehe Engine-Regler

Alle drei sind Konfiguration, keine Hardware. Keine von ihnen heißt „diese Maschine kann es nicht“.

Wo die Dateien leben, und Festplatten-Hygiene

Ollama hält alles unter ~/.ollama — Modelle werden als inhaltsadressierte Blobs unter ~/.ollama/models gespeichert. LM Studio nutzt ~/.lmstudio (ältere Builds: ~/.cache/lm-studio). Beide wachsen alarmierend schnell: Jeder Pull ist 2–20 GB, und das Löschen aus einer UI lässt den Blob manchmal auf der Platte zurück.

Gewohnheiten, die sich auszahlen:

Führen Sie monatlich ollama list aus und ollama rm für alles, das Sie nicht angefasst haben.
Kennen Sie Ihr Modell-Verzeichnis, bevor die Platte voll ist. Es später zu verschieben ist eine Env-Variable (OLLAMA_MODELS) plus eine Dateikopie, kein erneuter Download.
Ein Model pro echter Aufgabe schlägt fünf „für alle Fälle“-Downloads — Kaltlagerung hat Sie trotzdem Bandbreite gekostet.
LM Studio löscht auch aus seinem Index, aber verifizieren Sie, dass der Modell-Ordner wirklich schrumpfte — vertrauen, dann prüfen.

Verwandt: Inferenz-Engines · Engine-Regler · Geschwindigkeit · Modellauswahl