Что даёт количество параметров
Количество параметров — лучшая одночисловая сводка модели: оно покупает ёмкость знаний и навыки, а платите вы памятью и скоростью. Ниже ~30B вы чувствуете каждую ступень лестницы; выше отдача выравнивается. Эта страница картографирует лестницу и говорит, какая ступень реально нужна вашей задаче.
Лестница возможностей
| Параметры | Класс | Для чего | След в Q4 |
|---|---|---|---|
| 0.5–1B | утилитарные | классификация, извлечение, автокомплит, маршрутизация | меньше 1 GB; CPU хватает |
| 3–4B | лёгкий ассистент | быстрый чат, черновики, суммаризация | ~2–3 GB |
| 7–9B | рабочая лошадка | уверенный общий чат и код | ~4–6 GB |
| 12–14B | сильный универсал | заметно лучшее рассуждение, всё ещё быстрый | ~8–10 GB |
| 30–40B | околофронтирные | большинство задач на околофронтирном качестве | ~18–24 GB; хочет 24 GB VRAM |
| 70B+ | фронтирный класс, открытые | сложнейшее рассуждение, лучшие нюансы | ~40 GB; 2×24 GB или 48 GB+ |
| MoE (много всего, мало активных) | напр. 100B+ всего, 10–30B активных | околофронтирное качество по цене средней модели | много — все эксперты должны сидеть в памяти |
Модель 30–40B в 4 битах — локальная золотая середина на момент написания: она влезает в карты на 24 GB и остаётся достаточно близко к фронтирному качеству для большинства задач. Модели MoE ломают эвристику размера — судите их по активным параметрам для скорости и по общим для памяти.
Что покупают параметры: ёмкость знаний
Факты живут в весах — подавляюще в слоях FFN (см. внутри трансформера). Ёмкость масштабируется с количеством параметров:
- Знаменитые факты (столицы, распространённые API): надёжны начиная с ~3B.
- Рабочие знания (библиотеки средней популярности, второстепенные темы): хочется 14B+.
- Длинный хвост (экзотические спецификации, нишевая история): 30B+, и даже тогда ждите дыр.
Маленькие модели не просто знают меньше — они закрашивают дыры беглым вымыслом, поэтому уровень галлюцинаций растёт с уменьшением размера. По вопросам длинного хвоста на маленьких моделях ретривал бьёт параметры (RAG).
Читайте суффикс: base против instruct
Одно и то же количество параметров поставляется на разных поведенческих стадиях:
- Base: голое имя семейства (Qwen2.5-7B). Дополнение следующего токена. Задайте вопрос — она может ответить новыми вопросами, сымитировать тред форума или продолжать болтать дальше.
- Instruct/чат: с суффиксами -instruct, -it или -chat (Qwen2.5-7B-Instruct). Отвечает на вопросы, следует инструкциям, останавливается. Заточена под это на поздних стадиях обучения (см. обучение).
prompt: "How do I boil an egg?"
base:
"How do I boil an egg? 10 points for best answer!?"
(продолжает документ — вы дали ей текст, она дала вам ещё текст)
instruct:
"Place eggs in a pot and cover with cold water. Bring to a
boil, cover, and remove from heat: 6 min soft, 10–12 hard."
(отвечает, форматирует, останавливается)
95% локального использования хочет вариант instruct. Базовые модели отрабатывают своё на задачах дополнения: автокомплит, заполнение текста, творческое продолжение и как субстрат для собственного дообучения.
Ещё суффиксы, которые вы встретите в именах репозиториев:
- -base: явно стадия предобучения (субстрат для дообучения).
- -coder / -math / -vl: заточены под код, математику или vision-language вход.
- Именование MoE вида 235B-A22B: сначала общие параметры, затем активные на токен — читайте как «235B резидентно, 22B работает».
- -gguf или тег квантования: переупаковка, а не новая модель (см. форматы моделей).
Убывающая отдача на каждое удвоение
Каждое удвоение параметров добавляет меньше бенчмарк-очков, чем предыдущее, при этом стоимость памяти растёт линейно, а скорость декодирования падает с каждым гигабайтом — всё это стримится через VRAM на каждый токен при декодировании (префилл и декодирование). Шаг 7B → 14B трансформирует; 70B → 140B для большинства задач маргинален. Правило: запускайте самую маленькую модель, которая проходит ваши тесты.
| Задача | Начните с |
|---|---|
| Суммаризация, извлечение, классификация | 3–4B |
| Общий чат, письмо | 7–9B |
| Кодинг-ассистент | минимум 8–9B; 14B+ заметно лучше |
| Работа с инструментами, агентные циклы | 14B+; 30B+ для надёжности |
| Сложная математика, многошаговое рассуждение | 30B+ или модель, дообученная под рассуждения |
| Корейский и мультиязычный чат | 7B+ из сильных в мультиязычности семейств |
Что размер стоит в скорости
Декодирование стримит всю модель на каждый токен, поэтому на той же карте больше означает медленнее, примерно обратно пропорционально байтам весов. Оценка на порядок величины для одиночного пользователя на одной карте 24 GB (~1 TB/s пропускной способности, веса в 4 битах):
| Модель | Размер в Q4 | Грубое декодирование |
|---|---|---|
| 8B | ~4.5 GB | ~100+ tok/s |
| 14B | ~9 GB | ~50–60 tok/s |
| 32B | ~19 GB | ~25–35 tok/s |
| 70B | ~40 GB | не влезает — нужно 2×24 GB, ~20–30 tok/s |
Числа двигаются с пропускной способностью, драйверами и размером батча; форма — нет: вдвое больше весов — вдвое меньше токенов в секунду (скорость, классы GPU).
Маленькие модели чувствительнее к квантизации
Модель 30B в 4 битах теряет почти ничего; модель 1B в 4 битах теряет много. Избыточность растёт с размером, поэтому большие веса поглощают грубое округление, которое малым не по зубам:
- 30B+: Q4 практически бесплатно, Q3 часто нормально.
- 7–14B: Q4/Q5 безопасны; за Q3 следите пристально и бенчмаркьте.
- До 4B: предпочитайте Q6/Q8/FP16 — экономия всё равно мала.
Подробности и поведение по форматам — в квантизации; как выбирать по семействам — в выборе модели.
Связанные разделы: квантизация · выбор модели · семейства моделей · обучение