Выбор правильной модели

Выбор модели — функция трёх входов: вашего бюджета памяти, вашего сценария и вашего минимального порога качества. Бенчмарки информируют только третий; первые два — арифметика. Оптимизировать что-то одно, игнорируя остальные, — так люди получают модель, которая блестяще бенчмаркается и не способна выполнить насущную задачу этого вторника.

Три входа

1. Бюджет — VRAM на GPU, единая память на Apple Silicon. Правило: веса в Q4_K_M ≈ 0.6 GB на миллиард параметров, затем добавьте KV-кэш и накладные — полный метод в математике VRAM.
2. Сценарий — что модель должна делать ежедневно; расшифровка ниже.
3. Порог качества — уровень, ниже которого вывод для вас бесполезен. Пишущий компаньон терпит больше шлака, чем генератор кода, чей вывод должен компилироваться.

Бюджет также ограничивает контекст: план с огромным контекстом на маленькой карте означает лишь торговлю давления KV-кэша против качества весов. Всё с чем-то торгуется.

Разбор: GPU 16 GB → ~13.5 GB доступных после доли ОС: 14B в Q4_K_M (~8.5 GB весов) со щедрым контекстом или 8B в Q6_K (~6.6 GB) с огромным контекстом. Влезают обе; сценарий решает между ними.

Начинайте со сценария

• Общий чат и письмо — среднеразмерная instruct (класс 8–14B) в Q5–Q6 покрывает большинство. Выше того уровня стиль предпочтений важнее бенчмарк-очков.
• Кодинг-ассистент — выбирайте сильные кодерские линии (Qwen Coder, потомки DeepSeek-Coder) и держите контекст длинным: ценность в заполнении середины файла с контекстом репозитория вокруг. Реальный код также наказывает неряшливые кванты раньше, чем чат.
• Длинные документы — проверяйте, что заявленный контекст — рабочий контекст. Многие модели «128k» хорошо смотрят на начало и конец и размазывают середину. Проверьте, прежде чем верить; протокол ниже.
• Корейский / мультиязык — Qwen первый, Gemma второй. Оба прилично держат корейский; англо-центричные семейства трескаются в грамматике и вежливых формах. Детали в семействах моделей.
• Работа, нагруженная рассуждением — предпочитайте чекпоинты, дообученные под рассуждение (режим thinking Qwen3, R1-дистиллы); они меняют задержку на правильность в математике и планировании, и квантизация вредит им сильнее — держите квант высоким.
• Дешёвая массовая экстракция — маленькая instruct (1.5–3B) с структурированным выводом бьёт большую модель по цене в разы за документ. Не тратьте 8B на regex-образную работу.
• Агенты и работа с инструментами — реальное требование — следование инструкциям и дисциплина формата, а не сырой IQ. На практике это класс ≥7–9B, больше если можете себе позволить: один кривой вызов инструмента может развалить всю цепочку. См. агенты.

Чтение бенчмарков без обмана

Привычки, которые держат честность: предпочитайте относительные дельты на одном и том же инструментарии абсолютным числам; относитесь к разрывам меньше 2 пунктов как к шуму; не доверяйте заявлениям без воспроизводимой настройки; и читайте обсуждение контаминации вокруг бенчмарка — оно часто информативнее самого лидерборда.

Самая дешёвая защита — триангуляция: по-настоящему хорошая модель показывает это по независимым сигналам — эвалы лаборатории, арена, треды сообщества и ваш собственный набор промптов. Когда сигналы расходятся, доверяйте ближайшим к вашей нагрузке. Ваши 20 промптов ранжируют выше любого лидерборда для ваших целей, потому что сэмплируют ваше реальное распределение.

Сигнал локального сообщества

Бенчмарки гоняют на промптах лабораторий. Ваш лучший сигнал — люди, запускающие тот же файл, который вы собираетесь скачать:

• Тренды Hugging Face и счётчики скачиваний — медленно движущаяся популярность, дорого фальсифицировать надолго.
• Какие релизы комьюнити-квантизаторы (bartowski, mradermacher) квантуют по всей лестнице — приличный фильтр важности.
• Треды r/LocalLLaMA — поищите имя модели, сортируйте по свежести; повторяющиеся похвалы и жалобы реальны. «На момент написания» применяйте здесь вдвойне: у локального консенсуса период полураспада — недели.
• Отчёты по конкретным квантам — качество модели X в Q4 это другой вопрос, чем X в FP16, и оба отличаются от того, что сообщила лаборатория.

Матрица рекомендаций

Отправные точки на момент написания по уровням VRAM, предполагая примерно кванты Q4_K_M и умеренный контекст — перепроверьте железо в классах GPU:

Считайте матрицу отправной точкой поиска, не евангелием — поле переранжируется каждый квартал. Стабильный совет внутри любого уровня: предпочитайте более новые поколения и «больше в Q4» «меньше в Q8» до пола Q4 (ниже него побеждает урон квантизации — см. квантизация).

Ещё одно стабильное правило: когда две модели равны, берите более дружелюбную лицензию. Apache-2.0 и MIT никогда не кусают назад; комьюнити-лицензии иногда кусают — см. открытое против закрытого.

Попробуйте, прежде чем обязаться

Дисциплинированные полчаса бьют неделю вайбов:

1. Соберите фиксированный набор из 10–20 промптов — ваши реальные сложнейшие случаи: корейское письмо на переписывание, багованный диф на исправление, суммаризация документа с одним проверяемым фактом, закопанным внутри.
2. Прогоните каждого кандидата на тех же промптах, тех же настройках сэмплирования, том же уровне кванта. Меняйте по одному за раз.
3. Слепое A/B: перемешайте выводы и судите, не зная, какая модель какую сделала. Таблица и друг сработают; как и ваша сильнейшая текущая модель в роли судьи.
4. Проверьте корейский отдельно: консистентность вежливых форм (존댓말/반말), естественные частицы, без английских калек. Модели, «знающие корейский», часто пишут переведённый английский в корейской одежде.
5. Проверьте длинный контекст: закопайте факт на 70% глубины длинной вставки и спросите о нём. Этот единственный тест дисквалифицирует больше моделей «128k», чем любой лидерборд.
6. Перегоните ничьи при температуре 0 — шум сэмплирования маскируется под различия моделей чаще, чем кто-либо признаёт.

Каркас может быть четыре строки шелла против работающего llama-server:

while IFS= read -r prompt; do
  curl -s http://localhost:8080/v1/chat/completions \
    -H 'Content-Type: application/json' \
    -d '{"messages":[{"role":"user","content":"'"$prompt"'"}],"temperature":0.7}' \
    >> out-model-a.jsonl
done < prompts.txt

Тот же цикл, один файл вывода на модель; затем читайте их бок о бок со скрытыми ярлыками.

Когда закрытый API всё ещё побеждает

Локальное — про контроль, приватность и предельную стоимость при объёме — не про фронтирные возможности. На момент написания сильнейшие закрытые API всё ещё бьют сильнейшие открытые веса в сложном рассуждении и длинных агентных цепочках, с нулевой настройкой: без VRAM, без тюнинга движка, без математики квантов.

По стоимости, с оговорками: локальная 8B в Q4 фактически бесплатна на токен, раз железо уже есть; фронтирный API берёт порядка нескольких долларов за миллион токенов. На хобби-объёмах оба округляются к нулю; на миллионах токенов в день локальное побеждает по цене. Разрыв возможностей — не цена — честная причина держать API-ключ под рукой.

Устойчивый паттерн — гибрид: локальная модель как дефолт, API для немногих промптов, которые её ставят в тупик. Взвешивайте компромисс осознанно в открытом против закрытого.

Связанные разделы: классы GPU · семейства моделей · агенты · открытое против закрытого