Guía
Fundamentos
1
¿Qué es un LLM, en realidad?Predicción del siguiente token, miles de millones de pesos congelados y por qué todo producto es orquestación alrededor de un bucle de texto-entra/texto-sale.
2
Tokens y tokenizadoresVocabularios de subpalabras, por qué el coreano consume el contexto 3–4× más rápido que el inglés y por qué fallan las preguntas de contar letras.
3
El interior del transformerEmbeddings, autoatención, FFN y GQA — toda la arquitectura con nada más pesado que productos punto y un softmax.
4
Prefill vs decodificación: cómo se ejecuta la generaciónDos fases con físicas distintas: una pasada paralela sobre el prompt y luego una generación de un token a la vez que relee todos los pesos.
5
Qué te compra el número de parámetrosLa escalera de capacidades de los 1B de juguete a la clase 70B+ de vanguardia — capacidad de conocimiento, convenciones de nombres y cómo emparejar tamaño con tarea.
6
Cómo se entrenan los modelos (y por qué tú no lo harás)Preentrenamiento, SFT y ajuste de preferencias — qué cuesta cada etapa, qué cambia y qué es realmente factible en una sola GPU.
7
Pesos abiertos vs APIs cerradasEl espectro de licencias de Apache-2.0 a solo-API, las trampas que muerden el uso comercial y cómo leer el nombre de un repo de Hugging Face.
Hardware
8
Qué hardware importa (y qué no)Capacidad, ancho de banda, cómputo — ordenados por lo que de verdad te compran, más los puntos de la hoja de especificaciones que no importan.
9
Cálculo de VRAMPesos + caché KV + sobrecarga: la fórmula, tablas resueltas para 8B–70B y un recorrido de dimensionamiento para 16 GB.
10
Niveles de GPU: qué cabe de verdadQué cabe en cada nivel de VRAM, compras del mercado de segunda mano y por qué dos tarjetas menores pierden contra una mayor.
11
Apple Silicon y memoria unificadaLa memoria unificada convierte la RAM en VRAM: ancho de banda por clase de chip, MLX vs llama.cpp y la trampa del swap.
12
Ejecutar solo con CPUAritmética de ancho de banda para DDR4/DDR5, niveles de comodidad, el dolor del prefill y cuándo solo-CPU es genuinamente la respuesta correcta.
13
Ventanas de contexto y la caché KVPor qué el contexto cuesta VRAM: la fórmula por token, GQA, KV cuantizado y ventanas anunciadas vs efectivas.
Modelos y formatos
14
Formatos de archivo de modelosGGUF, safetensors, AWQ/GPTQ, EXL2, ONNX — para qué sirve cada contenedor, qué motor consume cuál y cómo convertir.
15
Cuantización en profundidadMás allá de la tabla rápida: escalas por bloque, mezclas K-quant, I-quants con imatrix, dónde se rompe primero la calidad y una escalera de decisión consciente de la VRAM.
16
El árbol genealógico de los pesos abiertosQwen, Llama, Gemma, Mistral, Phi, DeepSeek — tamaños, licencias, nomenclatura base vs instruct, MoE total-vs-activo y la selva de los ajustes finos.
17
Elegir el modelo correctoPrimero el caso de uso, luego los benchmarks: leer tablas de clasificación sin que te engañen, una matriz de recomendación por nivel de VRAM y un protocolo de prueba antes de comprometerte.
Ejecución y servicio
18
Tu primer modelo en 10 minutosDe la máquina vacía a chatear con un modelo local, por terminal o GUI — más las comprobaciones de salud y los tres fallos clásicos de principiante.
19
Motores de inferencia comparadosllama.cpp, Ollama, LM Studio, vLLM, SGLang, exllamav2, MLX, transformers — para qué sirve cada uno y por qué las diferencias importan menos que tu patrón de E/S.
20
Los controles del motor que importanLongitud de contexto, descarga a GPU, hilos, flash attention, dtype de la caché KV, YaRN — el puñado de flags que cambian resultados, y las líneas de registro que los verifican.
21
La física de los tokens por segundoLa velocidad de decodificación es el ancho de banda de memoria dividido por los bytes leídos por token — de esa única fórmula salen la cuantización como aceleración, las ganancias MoE, el acantilado de la descarga a CPU y cómo se sienten realmente los tok/s.
22
Servir un endpoint compatible con OpenAILa forma de chat-completions es la lengua franca que habla todo cliente — sírvela con llama-server, Ollama o vLLM, apunta los SDK a localhost y cierra la puerta.
23
UIs e integracionesOpen WebUI, LibreChat, text-generation-webui, Continue.dev, herramientas de terminal — elige por rol; todas hablan OpenAI-compat así que cualquier motor encaja.
24
Procesamiento por lotes y múltiples usuariosEl servicio serial desperdicia la GPU; los lotes comparten cada lectura de pesos entre peticiones. Lotes continuos, atención paginada, matemática de capacidad y cuándo dejar Ollama por vLLM.
Trabajo con modelos
25
Prompts y plantillas de chatLas plantillas de chat son el sobre en el que viaja tu prompt — marcación ChatML vs Llama vs Gemma, contratos few-shot y los patrones que los modelos pequeños pueden seguir de verdad.
26
Ajustes de muestreoTemperatura, top_k, top_p, min_p y repeat_penalty — qué hace cada control con los logits, en qué orden, y preajustes que funcionan por tarea.
27
Salida estructurada y llamada a funcionesDel JSON solo-por-prompt a la decodificación con máscara de gramática que vuelve imposibles los tokens inválidos — más las convenciones de llamada a herramientas sobre las que corren los agentes.
28
RAG: dándole tus datos al modeloFragmentar, incrustar, recuperar, citar — una tubería RAG local completa con números resueltos, búsqueda híbrida, reranking y cómo distinguir fallos de recuperación de fallos de generación.
29
Ajuste fino con LoRA y QLoRAAdaptadores en una GPU de consumo: qué cambia el ajuste (comportamiento) vs qué no puede (hechos), presupuestos QLoRA, las reglas de datos que dominan y exportación a GGUF.
30
Agentes y uso de herramientasEl bucle planificar–actuar–observar, herramientas como esquemas JSON, MCP, disciplina de contexto para corridas largas y la inyección de prompts — el modelo de amenaza real.
31
Resolución de problemas: síntoma → causa → soluciónUna tabla de diagnóstico por síntomas para los clásicos — desajustes de plantilla, OOM al cargar y en mitad de la corrida, 1 tok/s, bucles de repetición, jerigonza, truncado — más qué aspecto tienen los números normales.