localaiforum
Connexion
Guide › Exécution et service

Votre premier modèle en 10 minutes

Faire tourner un modèle capable localement est désormais un travail de dix minutes, pas un projet de week-end. Deux routes couvrent presque tout le monde : le terminal (Ollama) pour ceux qui aiment les commandes, et une interface graphique (LM Studio) pour ceux qui aiment les barres de progression. Les deux finissent au même endroit — un GGUF quantifié sur votre propre disque, répondant à vitesse interactive, sans rien qui téléphone maison. Choisissez un chemin, faites-le, puis exécutez les contrôles de santé à la fin.

Avant de commencer

Connaissez trois chiffres sur votre machine :

  • VRAM (ou mémoire unifiée) : 8 GB exécute les modèles 7–9B en Q4 ; 16 GB gère le 13–14B ; 24 GB atteint la classe 30B. Toutes les maths de dimensionnement dans calcul de VRAM.
  • Bande passante mémoire : c'est elle, pas le calcul, qui décide vos tok/s — voir vitesse.
  • Disque libre : budgétez 50–100 GB si vous comptez essayer plus d'un modèle.

Voie A : la route terminal (Ollama)

Installez Ollama — un script d'installation en une ligne sur Linux/macOS, un installeur sur Windows. Il démarre un service local et vous donne une commande ollama. Pas de compte, pas de clé.

Choisissez un modèle ouvert de taille moyenne. À ce jour, la classe 7–9B — qwen3:8b ou un modèle de classe Llama 3.1 8B — est le bon premier modèle : réellement utile, et il tient sur un GPU 8 GB ou tolère un CPU. Si vous écrivez en coréen, les familles Qwen et Gemma ont historiquement bien géré le texte coréen — mais testez avec un vrai paragraphe de votre cru, car les tokenizers diffèrent (voir jetons).

# récupère (~5 GB) et lance la discussion en une étape
ollama run qwen3:8b

Vous êtes maintenant dans une boucle de chat. Tapez un message, appuyez sur Entrée, regardez les jetons défiler. Les commandes slash du premier jour :

/bye          # quitter le chat
/show info    # quantification, longueur de contexte, gabarit utilisé

De retour dans votre shell, deux de plus :

ollama list   # ce qui est sur le disque, et la taille de chacun
ollama ps     # ce qui est chargé en mémoire actuellement, et où

ollama ps est votre premier vrai instrument. Il rapporte la taille résidente et une répartition CPU/GPU comme 100% GPU ou 48%/52% CPU/GPU. Tout CPU dans la répartition signifie que le modèle n'est pas entièrement sur le GPU — un problème de configuration réparable, pas une limite matérielle. Voir paramètres moteur.

Exemple d'une lecture saine :

NAME         ID           SIZE     PROCESSOR    UNTIL
qwen3:8b     a1b2c3d4...  5.7 GB   100% GPU     dans 4 minutes

Une SIZE plus grande que le fichier sur disque est normale : la taille résidente, c'est poids plus tampons de calcul, pas une seconde copie.

Voie B : la route interface graphique (LM Studio)

Installez LM Studio. Ouvrez l'onglet de recherche, tapez un nom de famille — Qwen3, Llama 3, Gemma 3 — et vous obtenez un mur de tailles et de quantifications. Deux règles gardent ça simple :

  1. Accordez d'abord le nombre de paramètres à la mémoire : un 8B en Q4 fait à peu près 4–5 GB avant le cache KV.
  2. Faites confiance à l'indication de taille par téléchargement — elle inclut la marge, donc « tient » tient vraiment. Préférez les quants de classe Q4_K_M ; les détails sont dans quantification.

Le téléchargement est une barre de progression. Chargez le modèle dans l'onglet chat et parlez-lui ; l'affichage en bas montre les jetons/seconde pendant la génération — retenez ce chiffre pour le contrôle de santé. LM Studio peut aussi exposer un serveur local compatible OpenAI, utile plus tard dans service.

Si l'affichage tok/s semble bas, ne désinstallez rien tout de suite — terminez les contrôles ci-dessous avant de conclure que quelque chose est cassé.

Ce que « puller » fait réellement

Rien de magique. Un modèle dans cet écosystème est un fichier GGUF (voir formats de modèles) : un blob unique contenant chaque couche, le tokenizer et les métadonnées. ollama pull et le téléchargeur de LM Studio rapatrient ce blob par morceaux — c'est la progression par couches que vous voyez — vérifient un digest, et enregistrent le fichier dans un index local. Les téléchargements interrompus reprennent où ils se sont arrêtés. « Installer un modèle », c'est littéralement télécharger un gros fichier et retenir où il vit. Pas de compte, pas de serveur de licences, pas de téléphone maison.

Contrôles de santé du premier lancement

Trois chiffres vous disent si votre installation est saine :

Contrôle Où regarder À quoi ressemble « sain »
Vitesse de décodage affichage tok/s (LM Studio) ou chronométrage dans les logs Ollama 30+ tok/s sur un GPU dédié récent ; la physique est dans vitesse
Temps jusqu'au premier jeton combien de temps avant que la réponse démarre sous ~1 s à chaud pour des prompts courts ; les longs collages prennent plus longtemps (préremplissage — voir vitesse)
Tenue mémoire ollama ps, compteur GPU, moniteur système modèle + cache KV entièrement résidents ; les maths sont dans calcul de VRAM

Si les trois passent, arrêtez de régler et allez utiliser le modèle. La qualité du prompt domine tout le reste à ce stade — voir prompting.

Les trois pannes classiques du débutant

Symptôme Vraie cause Correctif
Le chargement échoue ou plante en out-of-memory le modèle ne tient pas descendez d'un quant (Q4 → Q3) ou d'une taille (8B → 4B) ; voir quantification
Charabia fluide, mauvaise langue, boucles d'écho mauvais gabarit de conversation pour le modèle le lanceur doit utiliser le gabarit propre au modèle ; voir prompting et dépannage
1–2 tok/s malgré un GPU la plupart des couches encore sur CPU forcez le délestage GPU complet ; voir paramètres moteur

Les trois relèvent de la configuration, pas du matériel. Aucune ne signifie « cette machine ne peut pas ».

Où vivent les fichiers, et hygiène disque

Ollama garde tout sous ~/.ollama — les modèles sont stockés en blobs à adressage de contenu sous ~/.ollama/models. LM Studio utilise ~/.lmstudio (anciennes versions : ~/.cache/lm-studio). Les deux grossissent à une vitesse alarmante : chaque pull fait 2–20 GB, et supprimer depuis une interface laisse parfois le blob sur le disque.

Habitudes qui rapportent :

  • Lancez ollama list chaque mois et ollama rm sur tout ce que vous n'avez pas touché.
  • Connaissez votre répertoire de modèles avant que le disque se remplisse. Le déplacer plus tard, c'est une variable d'env (OLLAMA_MODELS) plus une copie de fichiers, pas un re-téléchargement.
  • Un modèle par tâche réelle bat cinq téléchargements « au cas où » — le stockage froid vous a quand même coûté la bande passante.
  • LM Studio supprime aussi de son index, mais vérifiez que le dossier des modèles a réellement rétréci — confiance, puis vérification.

Voir aussi : moteurs d'inférence · paramètres moteur · vitesse · choisir un modèle