適切なモデルの選び方

モデル選択は3つの入力の関数。メモリ予算、ユースケース、品質の下限。ベンチマークが情報を与えるのは3つ目だけで、最初の2つは算数。どれか1つを最適化して他を無視すると、ベンチマークは美しいのに火曜日の実際のタスクができないモデルに行き着く。

3つの入力

1. 予算——GPUならVRAM、Apple Siliconならユニファイドメモリ。経験則:Q4_K_Mの重みは10億パラメータあたり約0.6 GB、そこにKVキャッシュとオーバーヘッドを加算——完全な方法はVRAM計算。
2. ユースケース——モデルが日々やらねばならないこと。下で展開。
3. 品質の下限——それ未満では出力が無価値になる水準。文章の伴走者は、出力がコンパイルされねばならないコード生成器より多くのslopに耐えられる。

予算はコンテキストにも上限を課す。小さいカードでの巨大コンテキスト計画は、KVキャッシュ圧力と重み品質の交換を意味するだけ。すべてはトレード。

実例、16 GB GPU → OSの取り分の後、使用可能約13.5 GB。潤沢なコンテキストのQ4_K_M 14B(重み約8.5 GB)か、巨大コンテキストのQ6_K 8B(約6.6 GB)。どちらも収まる。決めるのはユースケース。

ユースケースから始める

• 汎用チャットと文章——中サイズのinstruct(8〜14B級)をQ5〜Q6で。大半の人をカバーする。そのティアを超えると、ベンチマークの点よりスタイルの好みが重要になる。
• コーディングアシスタント——強力なコーダー血統(Qwen Coder、DeepSeek-Coderの子孫)を優先し、コンテキストは長く保つ。価値は、リポジトリコンテキストに囲まれたファイル途中の補完にある。実コードは、チャットより早く雑な量子化を罰する。
• 長文ドキュメント——うたい文句のコンテキストが使えるコンテキストか検証する。多くの「128k」モデルは前後には良く注目し、中盤を泥にする。信じる前にテスト。プロトコルは下で。
• 韓国語/多言語——まずQwen、次にGemma。どちらも韓国語をまともに扱う。英語優先ファミリーは文法と敬語に亀裂を見せる。詳細はモデルファミリー。
• 推論の重い作業——推論特化チェックポイント(Qwen3 thinkingモード、R1-distill)を優先。数学と計画でレイテンシと正しさを交換し、量子化の被害も大きい——量子化は高く保つ。
• 安価な大量抽出——構造化出力の小型instruct(1.5〜3B)が、文書あたり数倍のコストの大きいモデルに勝つ。正規表現型の仕事に8Bを使うな。
• エージェントとツール利用——本当に必要なのは指示追従と形式の規律であって、生のIQではない。実践では7〜9B級以上、余裕があればそれ以上。不正なツール呼び出し1つがチェーン全体を台無しにする。エージェントを参照。

騙されずにベンチマークを読む

正直でいられる習慣:絶対値より同じハーネスでの相対差を優先。2点未満の差はノイズとして扱う。再現可能な設定のない主張を疑う。そしてベンチマーク周りの汚染議論を読む——リーダーボード自体より有益なことが多い。

最も安い防御は三角測量。本当に良いモデルは、独立したシグナル——研究所の評価、アリーナ、コミュニティのスレッド、自分のプロンプトセット——の横断でそれを示す。シグナルが食い違うときは、ワークロードに最も近いものを信じる。あなたの20プロンプトは、あなたの目的ではすべてのリーダーボードに優先する。実際の分布をサンプリングしているから。

ローカルコミュニティのシグナル

ベンチマークは研究所のプロンプトで走る。より良いシグナルは、あなたがダウンロードしようとしている同じファイルを動かしている人々。

• Hugging Faceのトレンドとダウンロード数——動きの遅い人気で、長期間の操作には高くつく。
• コミュニティ量子化者(bartowski、mradermacher)が全サイズ段で量子化するリリース——まずまずの重要度フィルタ。
• r/LocalLLaMAのスレッド——モデル名で検索し、新着順に。繰り返し現れる賛辞と不満は本物。ここでは「執筆時点」を二重に適用すること。ローカルのコンセンサスの半減期は数週間。
• 量子化固有の報告——Q4でのモデルXの品質は、FP16でのモデルXとは別の質問で、両方とも研究所の報告とも異なる。

推奨マトリクス

執筆時点でのVRAMティア別の出発点。概ねQ4_K_M量子化と中程度のコンテキストを仮定——ハードウェアはGPUティアで交差確認。

マトリクスは探索の出発点であって福音ではない——この分野は四半期ごとに順位が変わる。ティア内で安定した助言。新しい世代を優先。Q8の小さいものよりQ4の大きいものを、Q4の下限まで(それ未満では量子化ダメージが勝つ——量子化を参照)。

もう1つの安定ルール。2つのモデルが互角なら、より友好的なライセンスを選ぶ。Apache-2.0とMITは後で噛みついてこない。コミュニティライセンスはときどき噛みつく——オープン対クローズドを参照。

コミット前に試す

規律ある30分が、1週間の雰囲気に勝る。

1. 10〜20の固定プロンプトセットを組む——本当に難しいケース。書き直す韓国語メール、直すバグ入りのdiff、確認可能な事実が1つ埋められた文書要約。
2. すべての候補を同じプロンプト、同じサンプリング設定、同じ量子化レベルで実行。一度に変えるのは1つ。
3. 盲検A/B:出力をシャッフルし、どのモデルが作ったか知らずに判定。スプレッドシートと友人で成立し、現在最強のモデルを判定者にしても成立する。
4. 韓国語を特に確認:敬語の一貫性(존댓말/반말)、自然な助詞、英語の逐語訳の不在。「韓国語を知る」モデルはしばしば韓国語の衣を着た翻訳英語を書く。
5. 長いコンテキストを確認:長い貼り付けの70%の深さに事実を埋めて尋ねる。この1つのテストは、どのリーダーボードよりも多くの「128k」モデルを失格にする。
6. 互角はtemperature 0で再実行——サンプリングノイズがモデル差を装うのは、誰もが認めるより頻繁。

ハーネスは、稼働中のllama-serverへの4行のシェルで足りる。

while IFS= read -r prompt; do
  curl -s http://localhost:8080/v1/chat/completions \
    -H 'Content-Type: application/json' \
    -d '{"messages":[{"role":"user","content":"'"$prompt"'"}],"temperature":0.7}' \
    >> out-model-a.jsonl
done < prompts.txt

同じループでモデルごとに出力ファイルを1つ。あとはラベルを隠して並べて読む。

クローズドAPIがそれでも勝つとき

ローカルは制御、プライバシー、大量時の限界費用の話であって、フロンティア能力の話ではない。執筆時点で、最強のクローズドAPIは、難しい推論と長いエージェントチェーンで依然として最強のオープンウェイトに勝つ。セットアップはゼロ。VRAMなし、エンジンチューニングなし、量子化の算数なし。

コストについて、ヘッジ付きの数値。ハードウェアが存在すればローカルのQ4 8Bはトークンあたり実質無料。フロンティアAPIは100万トークンあたり数ドル規模を課金。趣味の量ならどちらもゼロに丸まり、1日数百万トークンなら価格だけでローカルが勝つ。APIキーを手元に残す正直な理由は価格ではなく能力差。

耐久的なパターンはハイブリッド。デフォルトはローカルモデル、それを手詰まりにさせる少数のプロンプトにAPI。トレードオフはオープン対クローズドで意識的に天秤に。

関連: GPUティア · モデルファミリー · エージェント · オープン対クローズド