Le matériel qui compte (et celui qui ne compte pas)

Les performances d'un LLM local se réduisent à trois ressources, qui ne se valent pas. La capacité de VRAM décide ce que vous pouvez exécuter du tout. La bande passante mémoire décide la vitesse perçue de la génération. Le calcul brut décide surtout combien de temps vous attendez juste après avoir appuyé sur Entrée. Classez-les correctement et chaque décision matérielle devient évidente ; classez-les mal et vous payez pour des téraflops que vous n'utiliserez jamais.

Le classement : capacité, bande passante, calcul

1. Capacité de VRAM (GB) — la contrainte limitante. Un modèle qui ne tient pas ne tourne pas, ou déborde vers la RAM système et rampe. La capacité décide simultanément taille du modèle, niveau de quantification et longueur de contexte, et rien d'autre sur la carte ne compense son manque.
2. Bande passante mémoire (GB/s) — la vitesse à laquelle les jetons sortent. Chaque jeton généré lit pour ainsi dire tout le modèle depuis la VRAM, donc la vitesse de décodage est la bande passante divisée par la taille du modèle en octets. Le calcul reste surtout inactif pendant la génération.
3. Calcul (TFLOPS) — compte pour le préremplissage : digérer votre prompt avant l'apparition du premier jeton. Plus de FLOPs signifie un temps jusqu'au premier jeton plus court et plus de débit en lot quand plusieurs requêtes partagent le GPU. Il ne fait presque pas bouger les jetons par seconde en flux unique.

Quelle ressource achète quelle expérience

Deux formules portent presque toute l'intuition :

tok/s de décodage  ≈ bande passante effective (GB/s) ÷ taille du modèle (GB)
FLOPs de préremplissage ≈ 2 × paramètres × jetons de prompt

Exemple détaillé. Un modèle 8B en Q4_K_M fait environ 5 GB de poids. Sur un GPU à ~1,000 GB/s de bande passante, le plafond de décodage est 1,000 ÷ 5 ≈ 200 tok/s ; les moteurs réels tombent à 100–150 une fois les frais généraux payés. Ce même prompt de 2,000 jetons exige à peu près 2 × 8×10⁹ × 2×10³ ≈ 32 TFLOPs de préremplissage — moins d'une seconde sur tout GPU dédié moderne, assez lent pour se sentir sur CPU. Le simulateur vous laisse explorer ces compromis avec de vrais chiffres.

Pourquoi une nouvelle génération de GPU accélère à peine le décodage

Chaque génération de GPU double à peu près le calcul : plus de cœurs, des fréquences plus hautes, de meilleures unités tensorielles. Préremplissage et TTFT s'améliorent en conséquence — le RAG à longs prompts et les agents à l'échelle d'une base de code paraissent nettement plus vifs sur les cartes récentes. Mais le système mémoire bouge bien moins : de GDDR6 à GDDR6X à GDDR7 s'achète peut-être 20–50% de bande passante en plus par génération, et le décodage roule sur la bande passante. Donc une carte neuve digère les prompts plus vite, puis génère à peu près à la vitesse du palier précédent à bande passante similaire. En comparant des cartes pour des LLM locaux, lisez d'abord les colonnes GB/s et VRAM, TFLOPS en dernier.

Ce qui n'importe (presque) pas

• Marge d'alimentation. L'inférence LLM tire bien en dessous du pic de jeu de la carte. Une alim de qualité dimensionnée pour le besoin officiel de la carte suffit ; ne budgétez pas pour un monstre de 1,600 W que vous ne chargerez jamais.
• Refroidissement. Seul le service soutenu de plusieurs heures compte, là où la limitation thermique rabote les fréquences. N'importe quelle carte correcte à deux ou trois ventilateurs tient le coup.
• Lignes PCIe. x8 vs x16, Gen 4 vs Gen 5 — affecte le temps de chargement du modèle et le trafic de délestage CPU, pas la génération. Ignorez-les sauf si vous délestez des couches.
• NVLink et pilotes pro. Le service de hobby ne brasse presque rien entre cartes pendant le décodage. Agréable à avoir, jamais ça ne vaut la peine de payer pour ça ici.
• NPU. Le NPU des laptops et SoCs de bureau modernes est réellement bon pour les petits modèles de vision et d'audio, mais à ce jour il n'existe aucune pile de service LLM pratique le ciblant. Comptez sur GPU, CPU ou Apple Silicon — pas le NPU — pour les modèles de chat.

État d'esprit de dimensionnement : d'abord le modèle, ensuite la carte

Ne demandez pas « que peut faire tourner mon GPU ». Demandez quel palier de modèle vous voulez vraiment, puis achetez la carte la moins chère qui le tient avec de la marge :

1. Choisissez la charge : chat 8B décontracté, assistant sérieux 32B de code/raisonnement, ou qualité de classe 70B si le budget le permet.
2. Calculez son empreinte à un bon quant avec le contexte que vous utilisez vraiment — calcul de VRAM a la formule et les tableaux détaillés.
3. Associez-la à un palier de carte avec 10–20% de marge — paliers de GPU fait correspondre paliers et modèles.
4. Alors seulement optimisez la bande passante dans ce palier.

Partir d'un budget GPU, c'est ainsi qu'on se retrouve avec une carte rapide qui ne tient que des modèles trop petits pour servir, ou une carte géante utilisée à 40% de capacité. Budgétez le modèle, puis la mémoire, et laissez le calcul se débrouiller. Et avant d'améliorer quoi que ce soit, vérifiez ce que vous avez réellement :

nvidia-smi --query-gpu=name,memory.total,memory.used --format=csv

Voir aussi : calcul de VRAM · paliers de GPU · vitesse · inférence sur CPU