Первая модель за 10 минут

Запустить способную модель локально теперь работа на десять минут, а не проект на выходные. Два маршрута покрывают почти всех: терминал (Ollama) для тех, кто любит команды, и GUI (LM Studio) для тех, кто любит прогресс-бары. Оба заканчиваются в одном месте — квантованный GGUF на вашем диске, отвечающий на интерактивной скорости, и ничего не отправляет наружу. Выберите один путь, пройдите его, затем выполните проверки здоровья в конце.

Перед стартом

Знайте три числа о вашей машине:

VRAM (или единая память): 8 GB запускает модели 7–9B в Q4; 16 GB тянет 13–14B; 24 GB достигает класса 30B. Полная математика размеров — в математике VRAM.
Пропускная способность памяти: именно она, а не вычисления, решает ваш tok/s — см. скорость.
Свободный диск: заложите 50–100 GB, если планируете пробовать больше одной модели.

Путь A: терминальный маршрут (Ollama)

Установите Ollama — однострочный установочный скрипт на Linux/macOS, инсталлятор на Windows. Она поднимает локальный сервис и даёт команду ollama. Без аккаунта, без ключа.

Выберите модель среднего размера. На момент написания класс 7–9B — qwen3:8b или модель класса Llama 3.1 8B — правильная первая модель: действительно полезная, влезает в GPU на 8 GB или терпит CPU. Если вы пишете по-корейски, семейства Qwen и Gemma исторически хорошо работали с корейским текстом — но проверьте на реальном абзаце собственного сочинения, потому что токенизаторы различаются (см. токены).

# скачать (~5 GB) и сразу начать чат одним шагом
ollama run qwen3:8b

Вы теперь в чат-цикле. Напишите сообщение, нажмите Enter, смотрите, как стримятся токены. Слэш-команды первого дня:

/bye          # покинуть чат
/show info    # квантизация, длина контекста, используемый шаблон

Обратно в шелле, ещё две:

ollama list   # что на диске и насколько каждая велика
ollama ps     # что загружено в память прямо сейчас и где

ollama ps — ваш первый настоящий прибор. Он показывает резидентный размер и разбиение CPU/GPU вроде 100% GPU или 48%/52% CPU/GPU. Любой CPU в разбиении означает, что модель не полностью на GPU — устранимая проблема конфигурации, а не аппаратный предел. См. параметры движка.

Пример здорового показа:

NAME         ID           SIZE     PROCESSOR    UNTIL
qwen3:8b     a1b2c3d4...  5.7 GB   100% GPU     4 minutes from now

SIZE больше файла на диске — норма: резидентный размер это веса плюс вычислительные буферы, а не вторая копия.

Путь B: маршрут через GUI (LM Studio)

Установите LM Studio. Откройте вкладку поиска, введите имя семейства — Qwen3, Llama 3, Gemma 3 — и получите стену размеров и квантов. Два правила удерживают простоту:

Сначала сопоставьте количество параметров с памятью: 8B в Q4 — примерно 4–5 GB до KV-кэша.
Доверяйте подсказке размера при скачивании — она включает запас, поэтому «влезает» реально влезает. Предпочитайте кванты класса Q4_K_M; детали в квантизации.

Загрузка — прогресс-бар. Загрузите модель во вкладке чата и поговорите с ней; показатель внизу показывает токены в секунду во время генерации — запомните это число для проверки здоровья. LM Studio также умеет поднимать OpenAI-совместимый локальный сервер, что пригодится позже в обслуживании.

Если показатель tok/s выглядит низким, пока ничего не удаляйте — пройдите проверки здоровья ниже, прежде чем заключать, что что-то сломано.

Что на самом деле делает «pull»

Ничего магического. Модель в этой экосистеме — один файл GGUF (см. форматы моделей): единый блоб, содержащий все слои, токенизатор и метаданные. ollama pull и загрузчик LM Studio тянут этот блоб кусками — это и есть слоистый прогресс, который вы видите, — проверяют дайджест и регистрируют файл в локальном индексе. Прерванные загрузки возобновляются с места остановки. «Установить модель» буквально означает скачать большой файл и запомнить, где он лежит. Без аккаунта, без лицензионного сервера, без стука наружу.

Проверки здоровья первого запуска

Три числа скажут, адекватен ли ваш сетап:

Проверка	Где смотреть	Здоровье выглядит как
Скорость декодирования	показатель tok/s (LM Studio) или тайминги в логах Ollama	30+ tok/s на свежей дискретной GPU; физика в скорости
Время до первого токена	Как долго до начала ответа	Меньше ~1 с в прогретом виде для коротких промптов; длинные вставки дольше (префилл — см. скорость)
Помещение в память	`ollama ps`, метр GPU, системный монитор	Модель + KV-кэш полностью резидентны; математика в математике VRAM

Если все три прошли — хватит тюнить, идите пользоваться моделью. Качество промптов доминирует над всем остальным на этой стадии — см. промптинг.

Три классических первых провала

Симптом	Настоящая причина	Исправление
Загрузка падает или крашится с out-of-memory	Модель не влезает	Шаг вниз по кванту (Q4 → Q3) или по размеру модели (8B → 4B); см. квантизация
Беглая бессмыслица, не тот язык, циклы эха	Неверный чат-шаблон для модели	Раннер должен использовать собственный шаблон модели; см. промптинг и диагностика
1–2 tok/s при наличии GPU	Большинство слоёв всё ещё на CPU	Принудительный полный оффлоад на GPU; см. параметры движка

Все три — конфигурация, не железо. Ни одно не значит «эта машина не может».

Где живут файлы и гигиена диска

Ollama держит всё под ~/.ollama — модели хранятся как контент-адресуемые блобы под ~/.ollama/models. LM Studio использует ~/.lmstudio (старые сборки: ~/.cache/lm-studio). Оба растут пугающе быстро: каждый pull это 2–20 GB, а удаление из UI иногда оставляет блоб на диске.

Привычки, которые окупаются:

Запускайте ollama list ежемесячно и ollama rm всё, к чему не прикасались.
Знайте свой каталог моделей до того, как диск заполнится. Перенос потом — одна переменная окружения (OLLAMA_MODELS) плюс копирование файлов, не повторная загрузка.
Одна модель на реальную задачу бьёт пять скачанных «на всякий случай» — холодное хранение всё равно стоило вам трафика.
LM Studio удаляет и из индекса, но проверьте, что каталог моделей реально сжался — доверяй, но проверяй.

Связанные разделы: движки инференса · параметры движка · скорость · выбор модели