Qué te compra el número de parámetros
El número de parámetros es el mejor resumen de un modelo en un solo número: compra capacidad de conocimiento y habilidad, y te cobra en memoria y velocidad. Por debajo de ~30B sientes cada peldaño de la escalera; por encima, los retornos se aplanan. Esta página mapea la escalera y te dice qué peldaño necesita tu tarea en realidad.
La escalera de capacidades
| Parámetros | Clase | Bueno para | Huella Q4 |
|---|---|---|---|
| 0.5–1B | utilidad | clasificación, extracción, autocompletado, enrutado | menos de 1 GB; la CPU va bien |
| 3–4B | asistente ligero | chat rápido, borradores, resumen | ~2–3 GB |
| 7–9B | el caballo de batalla | chat y código generales sólidos | ~4–6 GB |
| 12–14B | todoterreno fuerte | razonamiento notablemente mejor, aún rápido | ~8–10 GB |
| 30–40B | casi vanguardia | la mayoría de las tareas a calidad vecina a la vanguardia | ~18–24 GB; pide 24 GB de VRAM |
| 70B+ | clase vanguardia abierta | el razonamiento más difícil, el mejor matiz | ~40 GB; 2×24 GB o 48 GB+ |
| MoE (total grande, activos pequeños) | p. ej. 100B+ totales, 10–30B activos | calidad casi de vanguardia a coste de modelo medio | grande — todos los expertos deben caber en memoria |
Un 30–40B a 4 bits es el punto óptimo local al escribir esto: cabe en tarjetas de 24 GB y se mantiene lo bastante cerca de la calidad de vanguardia para la mayoría del trabajo. Los modelos MoE rompen la heurística de tamaño — júzgalos por parámetros activos para velocidad, por parámetros totales para memoria.
Qué compran los parámetros: capacidad de conocimiento
Los hechos viven en los pesos — abrumadoramente en las capas FFN (véase el interior del transformer). La capacidad escala con el número de parámetros:
- Hechos famosos (capitales, APIs comunes): fiables desde ~3B.
- Conocimiento laboral (bibliotecas de popularidad media, temas secundarios): quieres 14B+.
- Cola larga (especificaciones oscuras, historia de nicho): 30B+, y aun así espera huecos.
Los modelos pequeños no solo saben menos — tapan los huecos con invención fluida, así que la tasa de alucinación sube al bajar el tamaño. Para preguntas de cola larga en modelos pequeños, la recuperación vence a los parámetros (RAG).
Lee el sufijo: base vs instruct
El mismo número de parámetros se distribuye en distintas etapas de comportamiento:
- Base: nombre de familia pelado (Qwen2.5-7B). Completación del siguiente token. Pregúntale algo y puede responder con más preguntas, imitar un hilo de foro o divagar hacia adelante.
- Instruct/chat: sufijos -instruct, -it o -chat (Qwen2.5-7B-Instruct). Responde preguntas, sigue instrucciones, se detiene. Afinado para ello en etapas posteriores de entrenamiento (véase entrenamiento).
prompt: "How do I boil an egg?"
base:
"How do I boil an egg? 10 points for best answer!?"
(continúa el documento — le diste texto, te devolvió más texto)
instruct:
"Place eggs in a pot and cover with cold water. Bring to a
boil, cover, and remove from heat: 6 min soft, 10–12 hard."
(responde, formatea, se detiene)
El 95% del uso local quiere la variante instruct. Los modelos base ganan su sueldo en cargas de estilo completación: autocompletado, relleno de texto, continuación creativa y como sustrato para tu propio ajuste fino.
Más sufijos que te encontrarás en nombres de repos:
- -base: explícitamente la etapa preentrenada (sustrato de ajuste fino).
- -coder / -math / -vl: afinados para código, matemáticas o entrada de lenguaje y visión.
- Nombres MoE como 235B-A22B: parámetros totales, luego activos por token — léelo como «235B residentes, 22B trabajando».
- -gguf o una etiqueta de cuantización: un reempaquetado, no un modelo nuevo (véase formatos de modelo).
Rendimientos decrecientes por duplicación
Cada duplicación de parámetros añade menos puntos de benchmark que la anterior, mientras el coste de memoria crece linealmente y la velocidad de decodificación baja con cada gigabyte — todo ello fluye por la VRAM por token durante la decodificación (prefill vs decodificación). El salto 7B → 14B es transformador; 70B → 140B es marginal para la mayoría de las tareas. La regla: corre el modelo más pequeño que pase tus pruebas.
| Tarea | Empieza en |
|---|---|
| Resumir, extraer, clasificar | 3–4B |
| Chat general, escritura | 7–9B |
| Asistente de código | 8–9B mínimo; 14B+ notablemente mejor |
| Uso de herramientas, bucles de agente | 14B+; 30B+ para fiabilidad |
| Matemáticas duras, razonamiento multipaso | 30B+ o un modelo afinado para razonamiento |
| Chat en coreano y multilingüe | 7B+ de familias con fuerte multilingüismo |
Qué cuesta el tamaño en velocidad
La decodificación transmite el modelo entero por token, así que en la misma tarjeta más grande significa más lento, aproximadamente al inverso de los bytes de pesos. Orden de magnitud de decodificación para un solo usuario en una tarjeta de 24 GB (~1 TB/s de ancho de banda, pesos de 4 bits):
| Modelo | Tamaño Q4 | Decodificación aproximada |
|---|---|---|
| 8B | ~4.5 GB | ~100+ tok/s |
| 14B | ~9 GB | ~50–60 tok/s |
| 32B | ~19 GB | ~25–35 tok/s |
| 70B | ~40 GB | no cabe — necesita 2×24 GB, ~20–30 tok/s |
Los números se mueven con el ancho de banda, los drivers y el tamaño de lote; la forma no: el doble de pesos, la mitad de tokens por segundo (velocidad, niveles de GPU).
Los modelos pequeños son más sensibles a la cuantización
Un modelo 30B a 4 bits casi no pierde nada; un modelo 1B a 4 bits pierde mucho. La redundancia crece con el tamaño, así que los pesos grandes absorben redondeos gruesos que los pequeños no pueden:
- 30B+: Q4 es casi gratis, Q3 suele ir bien.
- 7–14B: Q4/Q5 son seguros; vigila Q3 de cerca y hazle benchmark.
- Por debajo de 4B: prefiere Q6/Q8/FP16 — el ahorro es pequeño de todos modos.
Detalles y comportamiento por formato en cuantización; cómo elegir por familia en elección de modelo.
Relacionados: cuantización · elección de modelo · familias de modelos · entrenamiento