Ce que le nombre de paramètres vous apporte
Le nombre de paramètres est la meilleure synthèse en un chiffre d'un modèle : il achète capacité de connaissances et compétence, et se fait payer en mémoire et en vitesse. Sous ~30B, vous sentez chaque échelon de l'échelle ; au-dessus, les rendements s'aplatissent. Cette page cartographie l'échelle et vous dit quel échelon votre tâche exige réellement.
L'échelle des capacités
| Paramètres | Classe | Bon pour | Empreinte Q4 |
|---|---|---|---|
| 0.5–1B | utilitaire | classification, extraction, autocomplètement, routage | sous 1 GB ; le CPU suffit |
| 3–4B | assistant léger | chat rapide, brouillons, résumés | ~2–3 GB |
| 7–9B | la valeur sûre | chat général et code solides | ~4–6 GB |
| 12–14B | polyvalent costaud | raisonnement nettement meilleur, toujours rapide | ~8–10 GB |
| 30–40B | quasi frontière | la plupart des tâches à qualité voisine de la frontière | ~18–24 GB ; réclame 24 GB de VRAM |
| 70B+ | ouvert de classe frontière | raisonnement le plus difficile, meilleure nuance | ~40 GB ; 2×24 GB ou 48 GB+ |
| MoE (total grand, actif petit) | p. ex. 100B+ totaux, 10–30B actifs | qualité quasi frontière au coût d'un modèle intermédiaire | volumineux — tous les experts doivent tenir en mémoire |
Un 30–40B en 4 bits est le point optimal local à la date de rédaction : il tient dans les cartes 24 GB et reste assez proche de la qualité frontière pour la plupart des travaux. Les modèles MoE cassent l'heuristique de taille — jugez-les sur les paramètres actifs pour la vitesse, sur les paramètres totaux pour la mémoire.
Ce que les paramètres achètent : la capacité de connaissances
Les faits vivent dans les poids — écrasamment dans les couches FFN (voir l'intérieur du transformer). La capacité suit le nombre de paramètres :
- Faits célèbres (capitales, APIs courantes) : fiables dès ~3B.
- Connaissances de travail (bibliothèques de popularité moyenne, sujets secondaires) : exigent 14B+.
- Longue traîne (spécifications obscures, histoire de niche) : 30B+, et même là, attendez-vous à des trous.
Les petits modèles ne savent pas seulement moins — ils comblent les trous d'invention fluide, donc le taux d'hallucination monte quand la taille baisse. Pour les questions de longue traîne sur petits modèles, la récupération bat les paramètres (RAG).
Lisez le suffixe : base vs instruct
Le même nombre de paramètres se livre à différents stades comportementaux :
- Base : nom de famille nu (Qwen2.5-7B). Complétion de jeton suivant. Posez-lui une question et il peut répondre avec d'autres questions, imiter un fil de forum ou dériver sans fin.
- Instruct/chat : suffixé -instruct, -it ou -chat (Qwen2.5-7B-Instruct). Répond aux questions, suit les instructions, s'arrête. Réglé pour cela aux stades ultérieurs de l'entraînement (voir entraînement).
prompt: "Comment faire cuire un œuf ?"
base:
"Comment faire cuire un œuf ? 10 points pour la meilleure réponse !?"
(continue le document — vous lui avez donné du texte, il vous en a rendu davantage)
instruct:
"Placez les œufs dans une casserole et couvrez d'eau froide. Portez à
ébullition, couvrez, et retirez du feu : 6 min coulant, 10–12 dur."
(répond, met en forme, s'arrête)
95% de l'usage local veut la variante instruct. Les modèles base méritent leur place pour les charges de complétion : autocomplètement, remplissage de texte, continuation créative, et comme substrat de votre propre fine-tuning.
D'autres suffixes que vous croiserez dans les noms de dépôts :
- -base : explicitement le stade pré-entraîné (substrat de fine-tuning).
- -coder / -math / -vl : réglé pour le code, les maths ou l'entrée vision-langage.
- Nommage MoE comme 235B-A22B : paramètres totaux, puis actifs par jeton — lisez « 235B résidents, 22B au travail ».
- -gguf ou une étiquette de quantification : un reconditionnement, pas un nouveau modèle (voir formats de modèles).
Rendements décroissants par doublement
Chaque doublement de paramètres ajoute moins de points de benchmark que le précédent, tandis que le coût mémoire croît linéairement et que la vitesse de décodage baisse à chaque gigaoctet — tout cela traverse la VRAM par jeton pendant le décodage (préremplissage vs décodage). Le pas 7B → 14B est transformateur ; 70B → 140B est marginal pour la plupart des tâches. La règle : exécutez le plus petit modèle qui passe vos tests.
| Tâche | Commencer à |
|---|---|
| Résumer, extraire, classifier | 3–4B |
| Chat général, écriture | 7–9B |
| Assistant de code | 8–9B minimum ; 14B+ nettement meilleur |
| Usage d'outils, boucles d'agents | 14B+ ; 30B+ pour la fiabilité |
| Maths difficiles, raisonnement multi-étapes | 30B+ ou un modèle réglé pour le raisonnement |
| Chat coréen et multilingue | 7B+ de familles solides en multilingue |
Ce que la taille coûte en vitesse
Le décodage streame tout le modèle par jeton, donc à carte égale plus gros signifie plus lent, à peu près inversement aux octets de poids. Ordre de grandeur du décodage mono-utilisateur sur une carte 24 GB (~1 TB/s de bande passante, poids 4 bits) :
| Modèle | Taille Q4 | Décodage indicatif |
|---|---|---|
| 8B | ~4.5 GB | ~100+ tok/s |
| 14B | ~9 GB | ~50–60 tok/s |
| 32B | ~19 GB | ~25–35 tok/s |
| 70B | ~40 GB | ne tient pas — exige 2×24 GB, ~20–30 tok/s |
Les chiffres bougent avec la bande passante, les pilotes et la taille de lot ; la forme non : deux fois les poids, moitié des jetons par seconde (vitesse, paliers de GPU).
Les petits modèles sont plus sensibles à la quantification
Un modèle 30B en 4 bits ne perd presque rien ; un modèle 1B en 4 bits perd beaucoup. La redondance croît avec la taille, donc les gros poids absorbent l'arrondi grossier que les petits ne peuvent pas :
- 30B+ : Q4 est quasi gratuit, Q3 souvent correct.
- 7–14B : Q4/Q5 sont sûrs ; surveillez Q3 de près et benchmarkz-le.
- Sous 4B : préférez Q6/Q8/FP16 — les économies sont de toute façon faibles.
Détails et comportement par format dans quantification ; comment choisir par famille dans choisir un modèle.
Voir aussi : quantification · choisir un modèle · familles de modèles · entraînement