Apple Silicon и единая память

Apple Silicon играет в другую игру. CPU и GPU делят один пул единой памяти, и GPU может адресовать почти всю её — поэтому на Mac покупка RAM есть покупка VRAM. Mac с 64 GB держит все кванты 32B и большинство 70B, которые не подвластны ни одной потребительской дискретной карте. Загвоздка — пропускная способность: вы получаете память уровня ноутбука, а не GDDR с терабайтом в секунду.

Единая память, конкретно

На ПК системная RAM и VRAM — отдельные пулы; переполнение означает круги по PCIe за долю скорости VRAM. На Apple Silicon один физический пул, поэтому GPU читает веса прямо из «системной» RAM без копирования и без налога PCIe. Свежие версии macOS по умолчанию ограничивают доступную GPU память примерно двумя третями–тремя четвертями физической; потолок можно поднять:

sysctl iogpu.wired_limit_mb                 # текущий лимит памяти GPU
sudo sysctl iogpu.wired_limit_mb=49152      # напр. 48 GB на Mac с 64 GB

В любом случае оставьте ОС несколько GB — прибивание всего к GPU делает всю машину жалкой.

Пропускная способность по классам чипов

Скорость декодирования — пропускная способность ÷ байты на токен, та же арифметика, что и везде. Модель 8B Q4 — ~5 GB, поэтому потолок равен пропускной способности ÷ 5:

Класс чипа	Примерная пропускная способность	Потолок декодирования 8B Q4
Базовый M	~100–120 GB/s	~20–24 tok/s
Pro	~150–270 GB/s	~30–55 tok/s
Max	~400–550 GB/s	~80–110 tok/s
Ultra	~800 GB/s	~160 tok/s

Разбор: чип Max с ~550 GB/s имеет потолок ~110 tok/s на 8B Q4 и на практике даёт 70–95. Базовые чипы нормальны для маленьких моделей и мучительны на 30B+; Max и Ultra — классы, которые ощущаются как дискретная GPU. Диапазоны приблизительны — проверьте спецификацию конкретного чипа перед покупкой.

Второй пример, тот, ради которого существуют Mac: модель 32B Q4_K_M — это ~19.2 GB весов плюс ~2.1 GB KV при 8k плюс ОС. Машина с 36 GB гоняет её с тонким запасом; 48–64 GB — с настоящим запасом на контекст. Та же модель требует 24 GB дискретного VRAM ещё до всяких подсчётов остального — и очень немногие одиночные карты столько имеют. Ёмкость на единицу денег — весь аргумент Mac: диапазон 36–128 GB — территория, которую потребительские дискретные карты просто не покрывают.

Экосистема: MLX и llama.cpp

Оба пути здоровы, и вы, скорее всего, будете использовать оба:

llama.cpp (бэкенд Metal) — работает везде, первым получает экзотические форматы квантов и использует те же файлы GGUF и флаги, что и ваши NVIDIA/AMD-боксы.
MLX — фреймворк массивов Apple. mlx-lm генерирует, обслуживает и конвертирует модели и часто первым получает Apple-специфичные ядра. Hugging Face хостит MLX-конверсии большинства популярных семейств.

Ни один не требует CUDA — что также является структурным ограничением: vLLM, SGLang и TensorRT-LLM не работают на macOS на момент написания. Для OpenAI-совместимого обслуживания используйте встроенный сервер llama.cpp или mlx-lm server.

Ограничения

Температуры. Чипы класса Max в MacBook троттлят под длительной генерацией; Mac Studio держит частоты бесконечно. Ноутбуки — для всплесков, Studio — для обслуживания.
Нет CUDA. Если туториал говорит vLLM или SGLang — этот путь закрыт. llama.cpp и MLX покрывают чат, эмбеддинги и обслуживание достаточно хорошо, так что это редко важно — пока не станет важно.
Квант-лаг. Свежайшие кванты и ядра приходят сначала в llama.cpp; MLX-конверсии следуют через дни-недели.
Своп — не VRAM. Когда давление памяти выталкивает веса в своп, производительность не деградирует — она рушится. Размерьте модели ниже физической RAM минус накладные ОС. Точка. Исключений, стоящих того, нет.

Apple Silicon и единая память

Единая память, конкретно

Пропускная способность по классам чипов

Экосистема: MLX и llama.cpp

Ограничения

Рекомендации по покупке