Niveles de GPU: qué cabe de verdad

El nivel de VRAM lo es todo. El ancho de banda decide qué tan rápido
corren las cosas dentro de un nivel, pero la capacidad decide qué modelos
están siquiera en el menú. Abajo está el mapa práctico a fecha de
redacción: qué cabe genuinamente en cada nivel, con tarjetas
representativas. Los niveles son aquí el conocimiento estable — los SKU
concretos cambian de nombre en cada ciclo de producto, los tramos de VRAM
apenas se han movido en una década.

La tabla de niveles

Notas por nivel:

• 6–8 GB es el nivel de entrada. Los asistentes 7–8B Q4 son
  genuinamente útiles; el contexto más allá de 8k empieza a apretar antes
  que cualquier otra cosa.
• 12 GB es el punto óptimo de precio. El 14B Q4 es el primer salto
  de calidad serio sobre la clase 8B, y cabe con contexto real.
• 16 GB te da 14B en Q6 (casi sin pérdida) o un 24B en cuantizaciones
  de pocos bits. El 32B en IQ3 corre, pero 3 bits en 32B es donde se
  muestra el daño de la cuantización.
• 24 GB es el clásico del LLM local. 32B Q4/Q5 con 16k de contexto es
  el mejor punto de calidad por gigabyte para un solo usuario. El 70B en
  IQ2_XS cabe en el folleto y decepciona al oído — demasiados pocos bits
  para tantos parámetros.
• 32–48 GB+ existe para 70B en Q4 o mejor, y para servir a varios
  usuarios a la vez (véase Concurrencia).

El mercado de segunda mano

La RTX 3090 (24 GB, ~936 GB/s) sigue siendo la compra de valor clásica a
fecha de redacción: 24 GB por una fracción de lo que cuesta una insignia
nueva, y el 32B Q4 cabe con margen. Advertencias: 350 W bajo carga, los
refrigeradores de flujo directo vierten calor al cajón, y las tarjetas
de la era minera quizá necesiten pasta térmica nueva. Menciones
honoríficas de presupuesto: RTX 3060 12 GB nueva, o una 2080 Ti de
segunda mano con el mod de memoria de 22 GB si te gusta el riesgo. Las
tarjetas de centro de datos usadas (P40, era Tesla T4) son VRAM barata
pero ancho de banda lento, ruidosas y sin soporte de funciones modernas —
bien para trastear, cansadas para el uso diario.

Multi-GPU: capacidad sí, velocidad casi no

Repartir entre dos tarjetas compra capacidad, no ancho de banda:

• Reparto por capas (pipeline) — cada GPU mantiene bloques contiguos
  de capas; solo activaciones pequeñas cruzan el bus. Ganancia de
  capacidad casi lineal, penalización moderada de decodificación.
  llama.cpp lo hace automáticamente cuando repartes capas entre
  dispositivos.
• Paralelismo de tensores — cada multiplicación de matrices se parte
  entre tarjetas; necesita enlaces rápidos entre GPUs para compensar, y
  las pilas de aficionado lo implementan de forma imperfecta.
• Ninguno de los dos enfoques alcanza la suma del ancho de banda de ambas
  tarjetas. Dos tarjetas de 24 GB corren un 70B más o menos a la
  velocidad de decodificación de una sola tarjeta, no al doble. Para un
  solo usuario, una tarjeta mayor casi siempre es la mejor compra frente
  a dos menores — compra la pareja solo por capacidad que no puedas
  conseguir de otra forma, o para servicio concurrente.

GPUs de portátil

Una RTX 4070 de portátil aloja exactamente lo que aloja una 4070 de
escritorio — la capacidad sigue a la configuración de VRAM, no al chasis.
Lo que difiere es la potencia: los relojes sostenidos se sitúan más bajo
bajo un presupuesto térmico compartido, así que espera una decodificación
aproximadamente 20–40% más lenta que su hermana de escritorio, y un
prefill proporcionalmente más lento. Bien para viajes y demos; no razón
para saltarte un escritorio si esto es trabajo diario.

Tarjetas profesionales y NVLink

Las tarjetas de estación de trabajo compran ECC, drivers certificados,
refrigeradores soplantes y configuraciones grandes de VRAM — la prima de
capacidad puede valer la pena, el resto es irrelevante para la
inferencia. NVLink existe para el tráfico de entrenamiento en paralelo de
tensores; el servicio de aficionado es decodificación limitada por ancho
de banda que apenas cruza entre tarjetas. Sáltate ambos salvo que una
capacidad concreta (48/96 GB) los exija.

Comprueba antes de comprar

nvidia-smi --query-gpu=name,memory.total,memory.used --format=csv

Luego corre el cálculo de VRAM para los modelos que
de verdad quieres antes de confiar en cualquier tabla de niveles — las
arquitecturas cambian, la fórmula no.

Relacionados: cálculo de VRAM · Concurrencia ·
Apple Silicon