localaiforum
ログイン
ガイド › モデルとフォーマット

オープンウェイトの家系図

少数のファミリーがローカル用途のほぼすべてをカバーし、それぞれがサイズとポストトレーニングのフレーバーの梯子として出荷される。家系図を知れば、Hugging Faceの雑多なファインチューニングが実際に何の上に建っているか、どのベースに最初に手を伸ばすかが分かる。これらはすべてオープンウェイト。それが何を与え、何を与えないかはオープン対クローズドで。

主要ファミリー

ファミリー サイズ ライセンス 特色
Qwen 0.6B → 235B-A22B MoE Apache-2.0(大半のサイズ) 最強の多言語カバー、韓国語を含む。Qwen3のthinkingフレーバー。密モデルの梯子+30B-A3B MoE
Llama 1 → 2 → 3.x → 4 コミュニティライセンス 最大のファインチューニングとツールのエコシステム。ライセンスに7億MAU上限と利用制限
Gemma 1B – 27B Gemma terms GBあたり品質で最高。Gemma 3は画像入力と128kコンテキストを追加。堅実な多言語
Mistral / Mixtral 7B v0.x。8x7B、8x22B MoE Apache-2.0(大半) 実用7Bの古典的血統。MixtralがオープンMoEの実用性を実証
Phi 3.8B mini、14B MIT 良く効く小型モデル。サイズの割に数学と推論が強い
DeepSeek V3/R1 671B-A37B MoE。蒸留1.5B–70B MIT(R1) オープン推論の先頭走者。R1-distillが思考連鎖をコンシューマサイズに持ち込んだ

名誉ある言及:GLM(Zhipu)とYi(01.AI)——長コンテキスト派生を持つ強力なベース。OLMo(AllenAI)——完全にオープン。学習データ、コード、チェックポイントがすべて公開され、「オープン」が重み以上を意味しなければならないときの基準点。

サイズとライセンス条件はリリースごとに漂う——商用に出す前にモデルカードを読むこと。

ファミリーの注記

  • Qwen——多言語ローカル用途のデフォルト回答。サイズの梯子が異常に細かく(密モデル0.6/1.7/4/8/14/32B、加えて30B-A3Bと235B-A22B MoE)、すべてのVRAMティアにQwenがいる。Qwen3世代は大半のサイズにプロンプトごとの「thinking」トグルを追加。
  • Llama——品質のフロンティアより互換性のフロンティア。すべてのツール、チュートリアル、ファインチューニングが最初に対応する。Llama 4はMoEへ移行したので、密モデルの3.x系統は多くのローカル環境で今も現役。
  • Gemma——ファイルサイズの割に一貫して強く、ノートPCでQ4に縛られているときに重要。Gemma 3の画像入力により、ローカルでは簡単なマルチモーダルの定番。
  • Mistral——実用オープン7BとオープンMoE(Mixtral 8x7B)の先駆者。最近の旗艦はクローズドへ傾き、オープンの7BとSmall(22〜24B)派生が今も実働馬。
  • Phi——精選された「教科書品質」の合成データで重点的に学習。数学と論理は体重級以上に打つが、世界知識は薄い。良い小型エージェントの頭脳。
  • DeepSeek——V3とR1がオープンの推論能力を前進させた。フルモデルには本気のハードウェアが必要だが、R1-distillファミリー(R1の推論トレースで学習したQwen/Llamaベース)は1.5B以上で思考連鎖をローカルで走らせる。

世代の一覧

家系図の動きは速く、世代は牛乳のように古くなる。ここで扱う最古から最新までの概略の系統。

ファミリー 系統
Qwen 1 → 1.5 → 2 → 2.5 → 3(2023–2025)
Llama 1 → 2 → 3 → 3.1/3.2/3.3 → 4(2023–2025)
Gemma 1 → 2 → 3(2024–2025)
Phi 2 → 3(mini/medium/small)→ 4(2023–2024)
DeepSeek Coder → V2 → V3 → R1 + 蒸留(2023–2025)

有用なルール:ファミリー内では、新しい世代の小さいサイズは、古い世代の大きいサイズに大抵匹敵する。現在の8Bは2世代前の30Bに大半のタスクで日常的に勝つ——正しい直感が「収まる中で最新」であり「収まる中で最大」ではない理由。

モデル名の読み方:base対instruct対reasoning

すべてのファミリーが複数のポストトレーニングフレーバーを出荷し、名前が解読リングになる。

マーカー 意味 用途
なし、または-base 事前学習済み重みのみ 補完型タスク、自前ファインチューニングのベース——チャットには不適
-instruct、-it、-chat アシスタント調整済み チャット、抽出、ツールのデフォルト
thinking(Qwen3) プロンプトごとに切り替わる推論モード 数学、計画。トークンを燃やす——サンプリングで管理
R1-Distill-* R1の推論トレースをQwen/Llamaベースへ蒸留 コンシューマサイズでの思考連鎖
-Coder、-Vision、-VL タスク・モダリティ特化 コーディング、画像入力
ファイル名内の量子化タグ(Q4_K_M) 中身のフレーバーの量子化 量子化を参照

ベースモデルはあなたのテキストを継続することで答える。挨拶すればフォーラムのスレッド、FAQ、挨拶についてのWikipedia風段落が返ってくるかもしれない。instructモデルはアシスタントのように振る舞う。このガイドの他のすべてはinstructかreasoningのチェックポイントを仮定する——ベースモデルを動かして「ローカルモデルは馬鹿だ」と結論するのは、初週の古典的過ち。

MoE:総数対アクティブパラメータ

専門家混合(MoE)モデルは、どの1トークンの使用量よりもはるかに多くの重みを格納する。各レイヤーのフィードフォワードブロックは専門家サブネットワークに分割され、小さなルータがレイヤーごと、トークンごとに上位数個の専門家を選ぶ。「235B-A22B」は格納235Bパラメータ、トークンあたり約22Bアクティブを意味する。2つのコストが分離する。

重み用メモリ     ∝ 総パラメータ     (全専門家がRAM/VRAMに載る必要)
トークンあたり計算 ∝ アクティブパラメータ(ルーティングされた専門家だけが走る)

つまりMoEは、重みを保持できるなら、小さいモデルの速度で大きいモデルの品質を買う。それがQwen3-30B-A3Bのローカルでの物語のすべて。24〜32 GBのマシンに約30Bの格納能力を、約3Bのデコードコストで与え、同サイズの密モデルを生成速度で上回りながらスコアでも上回る。仕組みは速度。

同じメモリ予算、違う形。

形 Q4_K_Mサイズ デコード計算量 トレード
密14B 約8.5 GB 14B/トークン バランスの取れたデフォルト
MoE 30B-A3B 約18 GB 約3B/トークン RAMが必要、その後両軸で勝つ

MoEの注意点:アクティブパラメータあたりの品質は密モデルより低い。ルーティングはバッチサイズ1でオーバーヘッドを加える。ルータは雑な量子化に敏感——MoEチェックポイントには自作ではなくコミュニティ検証済みの量子化レシピを。

韓国語と多言語

執筆時点での韓国語に関するざっくりしたコミュニティのコンセンサス。まずQwen(サイズ全域で強い韓国語)、次にGemma(きれいな韓国語の文章、時々硬い敬語)、英語優先ファミリーが見えて3位(助詞の誤り、英語からの逐語訳)。直接テストすること——敬語(존댓말/반말)、助詞の選択、文体の一貫性——プロトコルはモデル選択。

ファインチューニングの密林

Hugging Faceのリポジトリの大半は元の研究所のものではない。その上に文化の層が蓄積する。

  • マージ——複数ファインチューニングの重み平均(TIES、DARE、SLERP)。ときにどの親より本当に優れ、しばしば評価の下がるコインフリップ。
  • Abliterated——拒否方向を外科的に除去。フィクションと研究には有用。通常、汎用能力の一部を代償にする。ライセンスとお住まいの法域に注意。
  • 「slop」ファインチューニング——アリーナの雰囲気を追う合成データでの即席LoRA、エスカレートする名前で公開。品質は双方向に激しくばらける。
  • コミュニティ量子化——bartowski、mradermacherと同輩が、重みに触れずに上流を再量子化。これらは安全。検証が必要なのは挙動を変えるファインチューニング。

ファインチューニングのカードを開いたら、名前の明記されたベースモデル、知っているハーネスからの評価(スクリーンショットではなく)、記述されたデータセットを探すこと——「プライベートデータセット」は黄色フラグ。

デフォルト方針:独立して再現された優位の証拠がない限り、上流の研究所リリースを優先。ベンチマークとコミュニティシグナルとの天秤の掛け方はモデル選択。

関連: モデル選択 · オープン対クローズド · 量子化 · モデルフォーマット