Qué hardware importa (y qué no)

El rendimiento de LLMs locales se reduce a tres recursos, y no son
iguales. La capacidad de VRAM decide qué puedes ejecutar siquiera. El ancho
de banda de memoria decide qué tan rápida se siente la generación. El
cómputo en bruto decide sobre todo cuánto esperas justo después de pulsar
Enter. Ordénalos correctamente y cada decisión de hardware se vuelve
obvia; ordénalos mal y pagas por teraflops que nunca usas.

El orden: capacidad, ancho de banda, cómputo

1. Capacidad de VRAM (GB) — la restricción que manda. Un modelo que no
   cabe no corre, o se derrama a la RAM del sistema y se arrastra. La
   capacidad decide el tamaño del modelo, el nivel de cuantización y la
   longitud de contexto a la vez, y nada más en la tarjeta compensa no
   tenerla.
2. Ancho de banda de memoria (GB/s) — qué tan rápido salen los tokens.
   Cada token generado lee esencialmente todo el modelo desde la VRAM,
   así que la velocidad de decodificación es el ancho de banda dividido
   por el tamaño del modelo en bytes. El cómputo permanece mayormente
   ocioso durante la generación.
3. Cómputo (TFLOPS) — importa para el prefill: digerir tu prompt
   antes de que aparezca el primer token. Más FLOPs significan menos
   tiempo hasta el primer token y más rendimiento por lotes cuando varias
   peticiones comparten la GPU. Apenas mueve los tokens por segundo de un
   solo flujo.

Qué recurso compra qué experiencia

Dos fórmulas cargan casi toda la intuición:

tok/s decode   ≈ ancho de banda efectivo (GB/s) ÷ tamaño del modelo (GB)
prefill FLOPs  ≈ 2 × parámetros × tokens del prompt

Ejemplo resuelto. Un modelo 8B en Q4_K_M son unos 5 GB de pesos. En una
GPU con ~1,000 GB/s de ancho de banda el techo de decodificación es
1,000 ÷ 5 ≈ 200 tok/s; los motores reales quedan en 100–150 una vez
pagados los gastos generales. Ese mismo prompt de 2,000 tokens necesita
aproximadamente 2 × 8×10⁹ × 2×10³ ≈ 32 TFLOPs de prefill — menos de un
segundo en cualquier GPU discreta moderna, lo bastante lento para notarse
en CPU. El simulador te deja jugar con estas compensaciones con
números reales.

Por qué una nueva generación de GPU apenas acelera la decodificación

Cada generación de GPU duplica más o menos el cómputo: más núcleos,
relojes más altos, mejores unidades tensoriales. El prefill y el TTFT
mejoran en consecuencia — el RAG con prompts largos y los agentes a
escala de base de código se sienten visiblemente más ágiles en tarjetas
nuevas. Pero el sistema de memoria se mueve mucho menos: de GDDR6 a
GDDR6X a GDDR7 compra quizá 20–50% más de ancho de banda por generación,
y el ancho de banda es lo que alimenta la decodificación. Así que una
tarjeta nueva digiere prompts más rápido y luego genera a casi la misma
velocidad que el nivel anterior con ancho de banda similar. Al comparar
tarjetas para LLMs locales, lee primero las columnas de GB/s y VRAM, y
los TFLOPS al final.

Lo que casi no importa

• Margen de la fuente de alimentación. La inferencia de LLM consume
  bastante menos que el pico de juego de la tarjeta. Una fuente de
  calidad con la capacidad oficial recomendada para la tarjeta sobra; no
  presupuestes un monstruo de 1,600 W que nunca vas a cargar.
• Refrigeración. Solo importa el servicio sostenido de varias horas,
  donde la limitación térmica recorta relojes. Cualquier tarjeta decente
  de dos o tres ventiladores aguanta.
• Carriles PCIe. x8 vs x16, Gen 4 vs Gen 5 — afecta al tiempo de
  carga del modelo y al tráfico de descarga a CPU, no a la generación.
  Ignóralo salvo que descargues capas.
• NVLink y drivers profesionales. El servicio de aficionado apenas
  mueve nada entre tarjetas durante la decodificación. Agradable de
  tener, nunca vale la pena pagarlo aquí.
• NPU. La NPU de los portátiles y SoCs de escritorio modernos es
  genuinamente buena con modelos pequeños de visión y audio, pero a
  fecha de redacción no existe una pila práctica de servicio de LLMs que
  la aproveche. Planifica con GPU, CPU o Apple Silicon — no con NPU —
  para modelos de chat.

Mentalidad de dimensionamiento: primero el modelo, luego la tarjeta

No preguntes «qué puede correr mi GPU». Pregunta qué nivel de modelo
quieres realmente, y luego compra la tarjeta más barata que lo sostenga
con margen:

1. Elige la carga de trabajo: chat casual de 8B, un asistente serio de
   32B para código/razonamiento, o calidad de clase 70B donde el
   presupuesto lo permita.
2. Calcula su huella con una buena cuantización y el contexto que de
   verdad usas — cálculo de VRAM tiene la fórmula y
   las tablas resueltas.
3. Emparéjalo con un nivel de tarjeta dejando 10–20% de margen —
   niveles de GPU mapea niveles a modelos.
4. Solo entonces optimiza el ancho de banda dentro de ese nivel.

Trabajar hacia adelante desde un presupuesto de GPU es como la gente
acaba con una tarjeta rápida que solo aloja modelos demasiado pequeños
para servir de algo, o una tarjeta gigante usada al 40% de su capacidad.
Presupuesta el modelo, luego la memoria, y deja que el cómputo se
resuelva solo. Y antes de mejorar nada, comprueba lo que tienes:

nvidia-smi --query-gpu=name,memory.total,memory.used --format=csv

Relacionados: cálculo de VRAM · niveles de GPU ·
Velocidad · inferencia en CPU