パラメータ数で買えるもの
パラメータ数はモデルを1つの数で要約する最良の指標。知識容量とスキルを買い、代金はメモリと速度で払う。約30Bまでは梯子の各段を体感でき、それを超えるとリターンは横ばいになる。このページは梯子の地図を示し、あなたのタスクが実際に必要とする段を教える。
能力の梯子
| パラメータ | クラス | 適する用途 | Q4フットプリント |
|---|---|---|---|
| 0.5–1B | ユーティリティ | 分類、抽出、自動補完、ルーティング | 1 GB未満。CPUで十分 |
| 3–4B | 軽量アシスタント | 高速チャット、下書き、要約 | 約2〜3 GB |
| 7–9B | 実働馬 | 堅牢な汎用チャットとコード | 約4〜6 GB |
| 12–14B | 強力な万能型 | 明らかに優れた推論、速度は維持 | 約8〜10 GB |
| 30–40B | フロンティア級の手前 | 大半のタスクをフロンティア近傍の品質で | 約18〜24 GB。VRAM 24 GBクラスが必要 |
| 70B以上 | フロンティア級オープン | 最難関の推論、最良のニュアンス | 約40 GB。2×24 GBまたは48 GB以上 |
| MoE(総数大、アクティブ小) | 例:総100B超、アクティブ10〜30B | 中規模モデルのコストでフロンティア級の品質 | 大型——全エキスパートがメモリに載る必要 |
執筆時点で、ローカルのスイートスポットは4ビットの30〜40B。24 GBカードに収まり、大半の作業でフロンティア品質に十分迫る。MoEモデルはサイズの目安を壊す——速度はアクティブパラメータで、メモリは総パラメータで判断すること。
パラメータが買うもの:知識容量
事実は重みに宿る——圧倒的にFFNレイヤーに(transformerの内部を参照)。容量はパラメータ数にスケールする。
- 有名な事実(首都、一般的なAPI):約3B以上で信頼できる。
- 実務知識(中人気ライブラリ、周辺トピック):14B以上が欲しい。
- ロングテール(マイナーな仕様、ニッチな歴史):30B以上。それでも隙間は覚悟。
小さいモデルは単に知識が少ないだけでなく、隙間を流暢な創作で埋める。サイズが下がるほどハルシネーション率は上がる。小さいモデルへのロングテールの質問には、パラメータより検索が勝る(RAG)。
サフィックスを読む:base対instruct
同じパラメータ数でも、挙動の段階が異なる形でリリースされる。
- ベース:ファミリー名のみ(Qwen2.5-7B)。次トークン補完。質問すると、質問を重ね、フォーラムスレッドを模倣し、延々と続けることがある。
- instruct/chat:-instruct、-it、-chat付き(Qwen2.5-7B-Instruct)。質問に答え、指示に従い、止まる。後段の学習でそのよう調整されている(学習を参照)。
プロンプト: "卵の茹で方は?"
base:
"卵の茹で方は? ベストアンサーに10ポイント!?"
(文書を継続——テキストを渡したので、テキストが返ってきた)
instruct:
"卵を鍋に入れ、冷水をかぶせる。沸騰したら蓋をして火から下ろす:
半熟6分、固ゆで10〜12分。"
(答え、整形し、止まる)
ローカル用途の95%はinstruct版で足りる。ベースモデルが価値を発揮するのは補完型ワークロード。自動補完、テキスト埋め、創作の続き、自前ファインチューニングの基盤。
リポジトリ名で出会うその他のサフィックス。
- -base:明示的な事前学習段階(ファインチューニングの基盤)。
- -coder / -math / -vl:コード、数学、視覚言語入力向けに調整。
- 235B-A22BのようなMoE命名:総パラメータ、続いてトークンあたりのアクティブ数——「常駐235B、稼働22B」と読む。
- -ggufや量子化タグ:再パッケージであって新モデルではない(モデルフォーマットを参照)。
倍増ごとの収穫逓減
パラメータの倍増ごとにベンチマークの伸びは前回より小さくなり、メモリコストは線形に増え、デコード速度はギガバイトごとに落ちる——デコード中、すべてがトークンごとにVRAMを流れるから(プリフィルとデコード)。7B → 14Bは劇的で、70B → 140Bは大半のタスクでわずか。ルール:テストに合格する最小のモデルを動かす。
| タスク | 最初の候補 |
|---|---|
| 要約、抽出、分類 | 3–4B |
| 汎用チャット、文章 | 7–9B |
| コーディングアシスタント | 最低8–9B。14B以上で明らかに向上 |
| ツール利用、エージェントループ | 14B以上。信頼性なら30B以上 |
| 高難度数学、多段推論 | 30B以上または推論特化モデル |
| 韓国語・多言語チャット | 多言語に強いファミリーの7B以上 |
サイズが速度に課す代償
デコードはトークンごとにモデル全体をストリームするので、同じカードでは大きいほど遅く、概ね重みバイト数に反比例する。1枚の24 GBカード(帯域幅約1 TB/s、4ビット重み)での単一ユーザーデコードの桁。
| モデル | Q4サイズ | デコードの目安 |
|---|---|---|
| 8B | 約4.5 GB | 約100+ tok/s |
| 14B | 約9 GB | 約50〜60 tok/s |
| 32B | 約19 GB | 約25〜35 tok/s |
| 70B | 約40 GB | 収まらない——2×24 GBが必要、約20〜30 tok/s |
数値は帯域幅、ドライバ、バッチサイズで動くが、形は動かない。重み2倍でトークン毎秒は半分(速度、GPUティア)。
小さいモデルは量子化への感度が高い
30Bの4ビットはほぼ無傷、1Bの4ビットは大きく損なう。冗長性はサイズとともに増え、大きな重みは小さな重みが耐えられない粗い丸めを吸収する。
- 30B以上:Q4はほぼ無料。Q3も大抵問題ない。
- 7–14B:Q4/Q5は安全。Q3は注意して見て、ベンチマークを。
- 4B未満:Q6/Q8/FP16を推奨——節約額もたかが知れている。