Paliers de GPU : ce qui tient vraiment

Le palier de VRAM est tout l'enjeu. La bande passante décide la vitesse d'exécution au sein d'un palier, mais la capacité décide quels modèles sont au menu. Voici la carte pratique à ce jour : ce qui tient réellement à chaque palier, avec des cartes représentatives. Les paliers sont ici le savoir stable — les références précises sont rebaptisées à chaque cycle produit, les tranches de VRAM ont à peine bougé en dix ans.

Le tableau des paliers

Notes par palier :

• 6–8 GB est le palier d'entrée. Les assistants 7–8B Q4 sont réellement utiles ; le contexte au-delà de 8k commence à serrer avant tout le reste.
• 12 GB est le meilleur rapport qualité-prix. Le 14B Q4 est le premier vrai saut de qualité au-dessus de la classe 8B, et il tient avec du vrai contexte.
• 16 GB vous donne le 14B en Q6 (quasi sans perte) ou un 24B en quants bas bitrate. Le 32B en IQ3 tourne, mais le 3 bits sur 32B est là où les dégâts de quantification se voient.
• 24 GB est le classique du LLM local. Le 32B Q4/Q5 avec 16k de contexte est le meilleur point qualité-par-gigaoctet pour un utilisateur unique. Le 70B en IQ2_XS tient dans la brochure et déçoit à l'oreille — trop peu de bits pour autant de paramètres.
• 32–48 GB+ existe pour le 70B en Q4 ou mieux, et pour servir plusieurs utilisateurs à la fois (voir concurrence).

Le marché de l'occasion

La RTX 3090 (24 GB, ~936 GB/s) reste la valeur classique à ce jour : 24 GB pour une fraction d'un flagship neuf, et le 32B Q4 tient avec de la marge. Réserves : 350 W en charge, les ventirads blow-through déversent la chaleur dans le boîtier, et les cartes de l'ère minière peuvent demander un remplacement de pâte thermique. Mentions budget honorables : RTX 3060 12 GB neuuve, ou une 2080 Ti d'occasion avec le mod mémoire 22 GB si vous aimez le risque. Les cartes de centre de données d'occasion (ère P40, Tesla T4) sont de la VRAM bon marché mais à bande passante lente, bruyantes, et sans support moderne — bien pour bricoler, fatigant pour l'usage quotidien.

Multi-GPU : la capacité oui, la vitesse surtout non

Répartir sur deux cartes achète de la capacité, pas de la bande passante :

• Découpage par couches (pipeline) — chaque GPU tient des blocs contigus de couches ; seules de petites activations traversent le bus. Gain de capacité quasi linéaire, pénalité de décodage modeste. llama.cpp fait cela automatiquement quand vous répartissez les couches entre appareils.
• Parallélisme de tenseurs — chaque matmul est réparti entre cartes ; exige des liens inter-GPU rapides pour payer, et les piles hobby l'implémentent imparfaitement.
• Aucune approche n'atteint la somme des bandes passantes des deux cartes. Deux cartes 24 GB exécutent un 70B à peu près à la vitesse de décodage d'une seule carte, pas au double. Pour un utilisateur unique, une carte plus grosse est presque toujours le meilleur achat que deux plus petites — n'achetez la paire que pour une capacité inaccessible autrement, ou pour le service simultané.

GPU de laptop

Une RTX 4070 de laptop tient exactement ce que tient une 4070 de bureau — la capacité suit la configuration VRAM, pas le châssis. Ce qui diffère, c'est la puissance : les fréquences soutenues sont plus basses sous un budget thermique partagé, attendez-vous donc à un décodage ~20–40% plus lent que la sœur de bureau, et un préremplissage proportionnellement plus lent. Bien pour voyager et démos ; pas une raison de renoncer au bureau si c'est du travail quotidien.

Cartes pro et NVLink

Les cartes de station de travail achètent l'ECC, des pilotes certifiés, des ventirads blower et de grandes configurations VRAM — la prime de capacité peut valoir le coup, le reste est sans importance pour l'inférence. Le NVLink existe pour le trafic d'entraînement en parallélisme de tenseurs ; le service hobby est un décodage limité par la bande passante qui franchit à peine l'entre-cartes. Passez votre chemin pour les deux, sauf si une capacité précise (48/96 GB) les exige.

Vérifiez avant d'acheter

nvidia-smi --query-gpu=name,memory.total,memory.used --format=csv

Puis appliquez le calcul de VRAM aux modèles que vous voulez vraiment avant de faire confiance à un tableau de paliers — les architectures changent, la formule non.

Voir aussi : calcul de VRAM · concurrence · Apple Silicon