ガイド
基礎
1
LLMとは何か——その正体次トークン予測、凍結された数十億の重み、そしてあらゆるプロダクトがテキスト入出力ループのオーケストレーションにすぎない理由。
2
トークンとトークナイザサブワード語彙、韓国語が英語の3〜4倍の速度でコンテキストを消費する理由、文字数えの質問が失敗する理由。
3
transformerの内部エンベディング、自己アテンション、FFN、GQA——内積とソフトマックスより重いものがないアーキテクチャ全体。
4
プリフィルとデコード:生成の仕組み物理特性の異なる2フェーズ。プロンプトへの1回の並列パスと、全重みを読み直す1トークンずつの生成。
5
パラメータ数で買えるもの1Bのおもちゃから70B超フロンティア級までの能力の梯子——知識容量、命名規則、タスクに合うサイズの選び方。
6
モデルの学習方法(そしてあなたがやらない理由)事前学習、SFT、選好チューニング——各段階のコスト、変更内容、1枚のGPUで実際に可能なこと。
7
オープンウェイト対クローズドAPIApache-2.0からAPI専用までのライセンスのスペクトラム、商用利用で刺される落とし穴、Hugging Faceリポジトリ名の読み方。
ハードウェア
8
重要なハードウェア(と重要でないもの)容量、帯域幅、計算性能——実際に買えるものでランク付け。加えて、重要でないスペック項目。
9
VRAM計算重み+KVキャッシュ+オーバーヘッド。式、8B〜70Bの計算表、16 GBサイジングの実演。
10
GPUティア:実際に何が収まるか各VRAMティアで収まるもの、中古市場の選択肢、小さいカード2枚が大きい1枚に負ける理由。
11
Apple SiliconとユニファイドメモリユニファイドメモリはRAMをVRAMに変える。チップクラス別の帯域幅、MLX対llama.cpp、スワップの罠。
12
CPUのみで動かすDDR4/DDR5の帯域幅の算数、快適ティア、プリフィルの苦痛、CPUのみが本当に正解となる場合。
13
コンテキストウィンドウとKVキャッシュコンテキストがVRAMを食う理由。トークンあたりの式、GQA、KV量子化、うたい文句と実効のウィンドウ。
モデルとフォーマット
14
モデルファイルフォーマットGGUF、safetensors、AWQ/GPTQ、EXL2、ONNX——各コンテナの用途、どのエンジンが何を食うか、変換方法。
15
量子化、深掘り早見表の先へ。ブロックスケール、K-quantミックス、imatrix I-quant、品質が最初に壊れる場所、VRAM対応の意思決定ラダー。
16
オープンウェイトの家系図Qwen、Llama、Gemma、Mistral、Phi、DeepSeek——サイズ、ライセンス、base対instructの命名、MoEの総数対アクティブ、ファインチューニングの密林。
17
適切なモデルの選び方まずユースケース、次にベンチマーク。騙されずにリーダーボードを読む方法、VRAMティア別推奨マトリクス、コミット前の試用プロトコル。
実行とサービング
18
10分で最初のモデルまっさらのマシンからローカルモデルとの会話へ、ターミナルまたはGUIで——加えてヘルスチェックと古典的な3大初回失敗。
19
推論エンジン比較llama.cpp、Ollama、LM Studio、vLLM、SGLang、exllamav2、MLX、transformers——それぞれの用途と、違いよりI/Oパターンが重要な理由。
20
結果を変えるエンジンノブコンテキスト長、GPUオフロード、スレッド、フラッシュアテンション、KVキャッシュdtype、YaRN——結果を変える少数のフラグと、それを検証するログ行。
21
トークン毎秒の物理デコード速度はメモリ帯域幅をトークンあたり読み取りバイト数で割ったもの——この1つの式から、速度改善としての量子化、MoEの利得、CPUオフロードの崖、tok/sの実際の感触が導かれる。
22
OpenAI互換エンドポイントのサービングchat-completionsの形はすべてのクライアントが話す共通語——llama-server、Ollama、vLLMでサーブし、SDKをlocalhostに向けて、ドアに鍵を掛ける。
23
UIと統合Open WebUI、LibreChat、text-generation-webui、Continue.dev、ターミナルツール——役割で選ぶ。すべてOpenAI互換を話すので、どのエンジンでも差し込める。
24
バッチ処理とマルチユーザー直列サービングはGPUを無駄にし、バッチ処理は重みの各読み取りをリクエスト間で共有する。コティニュアスバッチング、ページドアテンション、容量計算、OllamaからvLLMへの卒業タイミング。
モデルの活用
25
プロンプトとチャットテンプレートチャットテンプレートはプロンプトが旅する封筒——ChatML対Llama対Gemmaのマークアップ、few-shot契約、小さいモデルが実際に従えるパターン。
26
サンプリング設定temperature、top_k、top_p、min_p、repeat_penalty——各ノブがロジットに何を、どの順で行うか、タスクごとに機能するプリセット。
27
構造化出力と関数呼び出しプロンプトのみのJSONから、不正トークンを不可能にするグラマーマスク付きデコーディングまで——加えてエージェントが走らせるツール呼び出しの慣習。
28
RAG:モデルにあなたのデータを与えるチャンク化、埋め込み、検索、引用——計算例付きの完全なローカルRAGパイプライン、ハイブリッド検索、リランキング、検索ミスと生成ミスの見分け方。
29
LoRAとQLoRAによるファインチューニングコンシューマGPU1枚でのアダプタ。チューニングが変えるもの(挙動)と変えないもの(事実)、QLoRAの予算、支配的なデータのルール、GGUFへのエクスポート。
30
エージェントとツール利用計画–行動–観察ループ、JSONスキーマとしてのツール、MCP、長時間実行のコンテキスト規律、プロンプトインジェクション——実際の脅威モデル。
31
トラブルシューティング:症状 → 原因 → 修正古典のための症状ファースト診断表——テンプレ不一致、ロード時と実行中のOOM、1 tok/s、反復ループ、文字化け、切り詰め——加えて正常な数値の姿。