Классы GPU: что реально помещается

Уровень VRAM — это вся игра. Пропускная способность решает, как быстро всё работает внутри уровня, но ёмкость решает, какие модели вообще в меню. Ниже — практичная карта на момент написания: что действительно влезает на каждом уровне, с типичными картами. Уровни — стабильное знание здесь; конкретные SKU переименовывают каждый продуктовый цикл, а VRAM-планки за десятилетие почти не сдвинулись.

Таблица уровней

Заметки по уровням:

• 6–8 GB — входной уровень. Ассистенты 7–8B Q4 действительно полезны; контекст за пределами 8k начинает зажимать раньше всего остального.
• 12 GB — золотая середина по цене. 14B Q4 — первый серьёзный скачок качества над классом 8B, и он влезает с настоящим контекстом.
• 16 GB дают 14B в Q6 (почти без потерь) или 24B в низкобитных квантах. 32B на IQ3 работает, но 3 бита на 32B — это где становится виден урон квантизации.
• 24 GB — классика локальных LLM. 32B Q4/Q5 с 16k контекста — лучшая точка качества на гигабайт для одного пользователя. 70B на IQ2_XS влезает по буклету и разочаровывает на слух — слишком мало бит на столько параметров.
• 32–48 GB+ существуют для 70B в Q4 или лучше и для обслуживания нескольких пользователей сразу (см. параллелизм).

Вторичный рынок

RTX 3090 (24 GB, ~936 GB/s) остаётся классическим выбором по цене/возможностям на момент написания: 24 GB за часть цены нового флагмана, и 32B Q4 влезает с запасом. Оговорки: 350 W под нагрузкой, blow-through-кулеры вываливают тепло в корпус, а карты майнинг-эпохи могут требовать замены термопасты. Достойные бюджетные упоминания: RTX 3060 12 GB новой или б/у 2080 Ti с модом памяти до 22 GB, если любите риск. Б/у карты из датацентров (эпоха P40, Tesla T4) — дешёвый VRAM, но медленная пропускная способность, шум и отсутствие современных фич — сгодятся для экспериментов, утомительны для ежедневной работы.

Мульти-GPU: ёмкость да, скорость в основном нет

Разнос по двум картам покупает ёмкость, а не пропускную способность:

• Послойный сплит (пайплайн) — каждая GPU держит непрерывные блоки слоёв; через шину ходят только малые активации. Почти линейный прирост ёмкости, умеренный штраф декодирования. llama.cpp делает это автоматически, когда вы распределяете слои по устройствам.
• Тензорный параллелизм — каждое matmul разрезается между картами; окупается только при быстрых меж-GPU линках, и хобби-стеки реализуют его неидеально.
• Ни один подход не достигает суммы пропускных способностей обеих карт. Две карты по 24 GB гоняют 70B примерно на скорости декодирования одной карты, не вдвое быстрее. Для одного пользователя одна большая карта почти всегда лучше покупки двух меньших — берите пару только ради ёмкости, недостижимой иначе, или для параллельного обслуживания.

GPU в ноутбуках

Ноутбучная RTX 4070 вмещает ровно то же, что десктопная 4070 — ёмкость следует за конфигурацией VRAM, а не за корпусом. Различается питание: устойчивые частоты ниже при общем тепловом бюджете, поэтому ждите декодирование примерно на 20–40% медленнее десктопного собрата и пропорционально более медленный префилл. Нормально для поездок и демо; не причина отказываться от десктопа, если это ежедневная работа.

Профессиональные карты и NVLink

Рабочие карты покупают ради ECC, сертифицированных драйверов, турбинных кулеров и больших конфигураций VRAM — премия за ёмкость может того стоить, остальное для инференса нерелевантно. NVLink существует для тензорно-параллельного обучающего трафика; хобби-обслуживание — это декодирование, ограниченное пропускной способностью и почти не пересекающее границы карт. Пропускайте оба, если только конкретная ёмкость (48/96 GB) их не требует.

Проверьте перед покупкой

nvidia-smi --query-gpu=name,memory.total,memory.used --format=csv

Затем прогоните математику VRAM для моделей, которые реально хотите, прежде чем доверять любой таблице уровней — архитектуры меняются, формула нет.

Связанные разделы: математика VRAM · параллелизм · Apple Silicon