Древо семейств открытых весов

Горстка семейств покрывает почти всё локальное использование, и каждое поставляется лестницей размеров и вариантов пост-обучения. Знание древа говорит вам, на чём на самом деле построен случайный файнтюн с Hugging Face — и за какую базу хвататься первой. Все они — открытые веса; что это даёт и чего не даёт — в открытом против закрытого.

Основные семейства

Достойные упоминания: GLM (Zhipu) и Yi (01.AI) — сильные базы с вариантами длинного контекста; OLMo (AllenAI) — полностью открыт: обучающие данные, код и чекпоинты опубликованы, точка отсчёта, когда «открытость» должна значить больше, чем веса.

Размеры и лицензионные условия дрейфуют от релиза к релизу — читайте карточку модели, прежде чем выпускать что-то коммерческое.

Заметки по семействам

• Qwen — ответ по умолчанию для мультиязычного локального использования. Лестница размеров необычно мелкозернистая (0.6/1.7/4/8/14/32B плотные, плюс 30B-A3B и 235B-A22B MoE), поэтому у каждого уровня VRAM есть свой Qwen. Поколение Qwen3 добавило переключатель «thinking» на промпт почти во всех размерах.
• Llama — меньше фронтир качества, больше фронтир совместимости: каждый инструмент, туториал и дообучение поддерживают его первым. Llama 4 перешёл на MoE, поэтому плотная линейка 3.x остаётся рабочей лошадкой многих локальных сетапов.
• Gemma — стабильно сильна для своего размера файла, что важно, когда вы привязаны к Q4 на ноутбуке. Ввод зрения у Gemma 3 делает её лёгким мультимодальным дефолтом локально.
• Mistral — пионер пригодной открытой 7B и открытого MoE (Mixtral 8x7B). Свежие флагманы склоняются к закрытости; открытые 7B и варианты Small (22–24B) остаются рабочими лошадками.
• Phi — обучена с упором на курируемые «учебникового качества» синтетические данные; бьёт выше своего веса в математике и логике, тоньше в мировых знаниях. Хороший мозг для маленького агента.
• DeepSeek — V3 и R1 продвинули возможности открытого рассуждения; полные модели требуют серьёзного железа, но семейство R1-дистиллов (базы Qwen/Llama, обученные на трассах рассуждений R1) гоняет chain-of-thought локально начиная с 1.5B.

Поколения одним взглядом

Семейные древа движутся быстро; поколения стареют как молоко. Грубая родословная, от старых к новым из покрытых здесь:

Полезное правило: внутри семейства новое поколение меньшего размера обычно соответствует старому поколению большего. Свежая 8B регулярно бьёт 30B двух поколений назад по большинству задач — поэтому верный инстинкт «новейшая модель, которая влезает», а не «самая большая, которая влезает».

Чтение имён моделей: base, instruct, reasoning

Каждое семейство выпускает несколько вариантов пост-обучения; имя — дешифровальный диск:

Базовая модель отвечает продолжением вашего текста: поздоровайтесь — и можете получить тред форума, FAQ или википедийный абзац о приветствиях. Instruct-модели ведут себя как ассистенты. Всё остальное в этом руководстве предполагает instruct- или reasoning-чекпоинты — запустить базовую модель и заключить «локальные модели тупые» — классическая ошибка первой недели.

MoE: общие против активных параметров

Модели mixture-of-experts хранят куда больше весов, чем использует любой один токен. Полный блок каждого слоя режется на подсети-эксперты; маленький роутер выбирает топ-нескольких экспертов на токен, на слой. «235B-A22B» означает 235B параметров в хранилище, ~22B активных на токен. Две стоимости расходятся:

память под веса     ∝ общие параметры    (все эксперты должны сидеть в RAM/VRAM)
вычисления на токен ∝ активные параметры (работают только маршрутизированные)

Так MoE покупает качество большой модели со скоростью маленькой — если вы можете удержать веса. В этом вся локальная история Qwen3-30B-A3B: ~30B хранимой компетенции для машин с 24–32 GB при цене декодирования ~3B, обгоняющая плотные модели того же размера и генерирующая быстрее. Механика — в скорости.

Тот же бюджет памяти, другая форма:

Оговорки MoE: качество на активный параметр ниже, чем у плотной модели, роутинг добавляет накладные при батче 1, а роутеры чувствительны к небрежной квантизации — для MoE-чекпоинтов предпочитайте проверенные комьюнити рецепты квантов самодеятельным.

Корейский и мультиязычность

Грубый консенсус сообщества по корейскому на момент написания: Qwen первый (сильный корейский по всей лестнице размеров), Gemma второй (чистая корейская проза, изредка деревянные вежливые формы), англо-центричные семейства видимым третьим (ошибки частиц, кальки с английского). Тестируйте напрямую — вежливые формы (존댓말/반말), выбор частиц, консистентность регистра — по протоколу из выбора модели.

Джунгли дообучений

Большинство репозиториев на Hugging Face — не от исходной лаборатории. Слои культуры накапливаются сверху:

• Мержи — усреднение весов (TIES, DARE, SLERP) нескольких дообучений. Иногда действительно лучше любого родителя; часто монетка, проигрывающая эвалам.
• Abliterated — направления отказов хирургически удалены. Полезно для художественной литературы и исследований; обычно стоит части общих способностей. Помните о лицензии и вашей юрисдикции.
• «Слоп»-дообучения — быстрая LoRA на синтетике в погоне за арена-вайбами, опубликованная под нарастающим именем. Качество варьируется дико, в обе стороны.
• Комьюнити-кванты — bartowski, mradermacher и коллеги переквантовывают апстрим, не трогая веса. Это безопасно; проверок требуют дообучения, меняющие поведение.

Когда открываете карточку дообучения, ищите именованную базовую модель, эвалы от знакомого вам инструмента (не скриншоты) и описание датасета — «приватный датасет» это жёлтый флаг.

Политика по умолчанию: предпочитайте релиз исходной лаборатории, пока у дообучения нет независимых, воспроизведённых доказательств, что оно лучше. Как взвешивать это против бенчмарков и сигналов сообщества: выбор модели.

Связанные разделы: выбор модели · открытое против закрытого · квантизация · форматы моделей