Руководство
Основы
1
Что такое LLM на самом деле?Предсказание следующего токена, миллиарды замороженных весов и почему любой продукт — это оркестрация вокруг цикла «текст на входе — текст на выходе».
2
Токены и токенизаторыСловари из подслов, почему корейский съедает контекст в 3–4 раза быстрее английского и почему модели проваливают подсчёт букв.
3
Внутри трансформераЭмбеддинги, self-attention, FFN и GQA — вся архитектура, в которой нет ничего тяжелее скалярных произведений и softmax.
4
Префилл и декодирование: как работает генерацияДве фазы с разной физикой: один параллельный проход по промпту, затем генерация по одному токену за раз, перечитывающая все веса.
5
Что даёт количество параметровЛестница возможностей от 1B-игрушек до фронтирного класса 70B+ — ёмкость знаний, соглашения об именовании и подбор размера под задачу.
6
Как обучают модели (и почему вы не будете)Предобучение, SFT и настройка по предпочтениям — сколько стоит каждая стадия, что она меняет и что реально сделать на одной GPU.
7
Открытые веса против закрытых APIСпектр лицензий от Apache-2.0 до API-only, подводные камни для коммерческого использования и как читать имя репозитория на Hugging Face.
Железо
8
Какое железо важно (а какое нет)Ёмкость, пропускная способность, вычисления — в порядке того, что они реально покупают, плюс пункты спек-листов, которые не важны.
9
Математика VRAMВеса + KV-кэш + накладные расходы: формула, таблицы с разборами для 8B–70B и поэтапный разбор для карты на 16 GB.
10
Классы GPU: что реально помещаетсяЧто влезает на каждом уровне VRAM, выбор на вторичке и почему две меньшие карты проигрывают одной большой.
11
Apple Silicon и единая памятьЕдиная память превращает RAM в VRAM: пропускная способность по классам чипов, MLX против llama.cpp и ловушка свопа.
12
Запуск только на CPUАрифметика пропускной способности для DDR4/DDR5, уровни комфорта, боль префилла и когда CPU-only — действительно правильный выбор.
13
Окна контекста и KV-кэшПочему контекст стоит VRAM: формула на токен, GQA, квантованный KV и заявленные против эффективных окон.
Модели и форматы
14
Форматы файлов моделейGGUF, safetensors, AWQ/GPTQ, EXL2, ONNX — зачем каждый контейнер, какой движок что ест и как конвертировать.
15
Квантизация в деталяхМимо шпаргалки: блочные масштабы, смеси K-квантов, I-кванты с imatrix, где качество ломается первым и лестница решений с учётом VRAM.
16
Древо семейств открытых весовQwen, Llama, Gemma, Mistral, Phi, DeepSeek — размеры, лицензии, именование base против instruct, MoE total против active и джунгли дообучений.
17
Выбор правильной моделиСначала сценарий, потом бенчмарки: чтение лидербордов без обмана, матрица рекомендаций по уровням VRAM и протокол «попробуй, прежде чем обязаться».
Запуск и обслуживание
18
Первая модель за 10 минутОт пустой машины до чата с локальной моделью — через терминал или GUI — плюс проверки здоровья и три классических первых провала.
19
Сравнение инференс-движковllama.cpp, Ollama, LM Studio, vLLM, SGLang, exllamav2, MLX, transformers — зачем каждый и почему различия значат меньше, чем ваш паттерн ввода-вывода.
20
Параметры движка, которые важныДлина контекста, оффлоад на GPU, потоки, flash attention, dtype KV-кэша, YaRN — горстка флагов, меняющих результат, и строки лога, которые их подтверждают.
21
Физика токенов в секундуСкорость декодирования — пропускная способность памяти, делённая на байты чтения на токен; из этой формулы вытекают квантизация-как-ускорение, выигрыши MoE, обрыв CPU-оффлоада и как ощущается tok/s.
22
Развёртывание OpenAI-совместимого эндпоинтаФормат chat-completions — лингва франка, на котором говорит каждый клиент: разверните его через llama-server, Ollama или vLLM, направьте SDK на localhost и закройте дверь.
23
UI и интеграцииOpen WebUI, LibreChat, text-generation-webui, Continue.dev, терминальные инструменты — выбирайте по роли; все говорят на OpenAI-совместимости, так что подключается любой движок.
24
Батчинг и несколько пользователейПоследовательное обслуживание сжигает GPU впустую; батчинг делит каждое чтение весов между запросами. Непрерывный батчинг, paged attention, математика ёмкости и когда уйти из Ollama в vLLM.
Работа с моделями
25
Промпты и чат-шаблоныЧат-шаблон — конверт, в котором путешествует ваш промпт: разметка ChatML против Llama против Gemma, контракты few-shot и паттерны, которые реально держат маленькие модели.
26
Настройки сэмплированияТемпература, top_k, top_p, min_p и repeat_penalty — что каждая ручка делает с логитами, в каком порядке и рабочие пресеты по задачам.
27
Структурированный вывод и вызов функцийОт JSON-только-через-промпт до грамматически-маскированного декодирования, делающего неверные токены невозможными, — плюс конвенции вызова инструментов, на которых работают агенты.
28
RAG: как передать модели свои данныеЧанк, эмбеддинг, ретривал, цитирование — полный локальный RAG-пайплайн с разобранными числами, гибридный поиск, реранкинг и как отличить промах ретривала от промаха генерации.
29
Дообучение с LoRA и QLoRAАдаптеры на одной потребительской GPU: что меняет тюнинг (поведение) и чего не может (факты), бюджеты QLoRA, доминирующие правила данных и экспорт в GGUF.
30
Агенты и работа с инструментамиЦикл план–действие–наблюдение, инструменты как JSON-схемы, MCP, дисциплина контекста для долгих прогонов и промпт-инъекция — актуальная модель угроз.
31
Диагностика: симптом → причина → решениеТаблица диагностики по симптомам для классики — несовпадение шаблонов, OOM при загрузке и посреди прогона, 1 tok/s, циклы повторов, бред, обрезание — плюс как выглядят нормальные числа.