Apple Silicon y memoria unificada

Apple Silicon juega un partido distinto. La CPU y la GPU comparten un
solo depósito de memoria unificada, y la GPU puede direccionar casi toda
— así que en una Mac, comprar RAM es comprar VRAM. Una Mac de 64 GB aloja
todo 32B y la mayoría de las cuantizaciones de 70B que ninguna tarjeta
discreta de consumo puede. La pega es el ancho de banda: recibes
tuberías de memoria de clase portátil, no GDDR de terabytes por segundo.

Memoria unificada, en concreto

En un PC, la RAM del sistema y la VRAM son depósitos separados;
derramarse significa viajes de ida y vuelta por PCIe a una fracción de la
velocidad de la VRAM. En Apple Silicon hay un solo depósito físico, así
que la GPU lee los pesos directamente desde la RAM «del sistema» sin
copia y sin peaje de PCIe. Las versiones recientes de macOS limitan por
omisión la RAM utilizable por la GPU a aproximadamente dos tercios o
tres cuartos de la física; puedes subir el límite:

sysctl iogpu.wired_limit_mb                 # límite actual de memoria de GPU
sudo sysctl iogpu.wired_limit_mb=49152      # p. ej. 48 GB en una Mac de 64 GB

Deja igualmente varios GB al sistema operativo — clavarlo todo a la GPU
vuelve miserable a toda la máquina.

Ancho de banda por clase de chip

La velocidad de decodificación es ancho de banda ÷ bytes por token, la
misma aritmética que en cualquier otra parte. Un modelo 8B Q4 es ~5 GB,
así que el techo es ancho de banda ÷ 5:

Ejemplo resuelto: un chip Max de ~550 GB/s tiene un techo de ~110 tok/s
con 8B Q4 y entrega 70–95 en la práctica. Los chips Base están bien para
modelos pequeños y duelen con 30B+; Max y Ultra son las clases que se
sienten como una GPU discreta. Los rangos son aproximados — comprueba la
especificación del chip exacto antes de comprar.

Segundo ejemplo, aquel para el que existen las Mac: un modelo 32B Q4_K_M
son ~19.2 GB de pesos más ~2.1 GB de KV a 8k, más el sistema operativo.
Una máquina de 36 GB lo corre con un margen fino; 48–64 GB lo corren con
margen real de contexto. El mismo modelo necesita 24 GB de VRAM discreta
antes de contar cualquier otra cosa — y muy pocas tarjetas únicas las
tienen. La capacidad por unidad de dinero es todo el argumento de la
Mac: el tramo de 36–128 GB es territorio que las tarjetas discretas de
consumo simplemente no cubren.

El ecosistema: MLX y llama.cpp

Ambos caminos están sanos, y probablemente acabarás usando los dos:

• llama.cpp (backend Metal) — corre en todas partes, recibe primero
  los formatos de cuantización exóticos, y usa los mismos archivos GGUF
  y flags que tus cajas NVIDIA/AMD.
• MLX — el framework de arrays de Apple. mlx-lm genera, sirve y
  convierte modelos, y a menudo es el primero con kernels específicos de
  Apple. Hugging Face aloja conversiones de MLX-community de la mayoría
  de las familias populares.

Ninguno requiere CUDA — que es también la limitación estructural: vLLM,
SGLang y TensorRT-LLM no corren en macOS a fecha de redacción. Para
servicio compatible con OpenAI, usa el servidor integrado de llama.cpp o
mlx-lm server.

Los límites

• Termalidad. Los chips clase Max en un MacBook recortan velocidad
  bajo generación sostenida; un Mac Studio mantiene los relojes
  indefinidamente. Los portátiles son para ráfagas, los Studios para
  servir.
• Sin CUDA. Si un tutorial dice vLLM o SGLang, ese camino está
  cerrado. llama.cpp y MLX cubren chat, embeddings y servicio lo bastante
  bien para que casi nunca importe — hasta que importa.
• Retraso de cuantizaciones. Las cuantizaciones y kernels de
  vanguardia aterrizan primero en llama.cpp; las conversiones MLX siguen
  en cuestión de días a semanas.
• El swap no es VRAM. Cuando la presión de memoria empuja los pesos
  al swap, el rendimiento no se degrada — colapsa. Dimensiona los
  modelos por debajo de la RAM física menos la sobrecarga del sistema.
  Punto final, sin excepciones que valgan la pena.

Guía de compra

• 16 GB: solo 7–8B Q4. Casual.
• 24–36 GB: 14B cómodo; 32B Q4 en 36 GB con contexto cuidadoso.
• 48–64 GB: 32B Q4/Q5 con contexto real; 70B IQ3/Q4 en 64 GB con
  paciencia con su lentitud relativa a los pesos movidos.
• Max o Ultra por el ancho de banda — eso es lo que compra la velocidad
  de decodificación. Base M para modelos pequeños, Whisper y visión.

Extra no-LLM: estas máquinas son excelentes para transcripción con
Whisper y codificadores de visión. La memoria unificada más unidades
SIMD potentes hacen las tuberías de audio e imagen desproporcionadamente
rápidas por vatio — un Mac Studio silencioso es una legítima bestia de
carga multimodal.

Relacionados: inferencia en CPU · Velocidad ·
Cuantización