GPUティア:実際に何が収まるか

VRAMティアがすべて。帯域幅はティア内でどれだけ速く走るかを決めるが、容量はそもそもどのモデルがメニューに載るかを決める。以下は執筆時点の実用マップ。各ティアで本当に収まるものと代表的なカード。ここで安定した知識はティア——個別SKUは製品サイクルごとに名前が変わり、VRAMの枠は10年でほとんど動いていない。

ティア表

ティアの注記。

• 6〜8 GBは入門ティア。7〜8B Q4アシスタントは実用になる。8k超のコンテキストが他の何より先に苦しくなり始める。
• 12 GBは価格のスイートスポット。14B Q4は8B級を超える最初の本気の品質ジャンプで、実際のコンテキスト付きで収まる。
• 16 GBならQ6の14B(ほぼ無劣化)か低ビット量子化の24B。IQ3の32Bも動くが、32Bでの3ビットは量子化ダメージが顔を出すところ。
• 24 GBはローカルLLMの定番。16kコンテキストの32B Q4/Q5は単一ユーザーにとってギガバイトあたり品質の最良点。IQ2_XSの70Bはパンフレットには収まり、耳をがっかりさせる——あれだけのパラメータにしてはビットが少なすぎる。
• 32〜48 GB以上はQ4以上の70Bと、複数ユーザーの同時サービングのために存在する(同時実行を参照)。

中古市場

RTX 3090(24 GB、約936 GB/s)は執筆時点でも定番のバリューピック。新型フラッグシップの一部の価格で24 GBを手に入れられ、32B Q4が余裕付きで収まる。注意点:負荷時350 W、ブロースルークーラーはケース内に熱を撒く、マイニング世代のカードはグリス塗り直しが必要なことも。予算枠の栄誉ある言及:新品のRTX 3060 12 GB、あるいはリスクを楽しむなら22 GBメモリ改造の中古2080 Ti。中古データセンターカード(P40、Tesla T4世代)は安いVRAMだが帯域は遅く、うるさく、現代の機能サポートを欠く——いじるには良し、毎日使うには疲れる。

マルチGPU:容量は増える、速度はほぼ増えない

2枚に分割して買えるのは容量で、帯域ではない。

• レイヤー分割(パイプライン)——各GPUが連続したレイヤーブロックを保持し、バスを渡るのは小さな活性化だけ。容量はほぼ線形に増え、デコードのペナルティは控えめ。デバイス間にレイヤーを分散するとllama.cppはこれを自動で行う。
• テンソル並列——すべての行列積をカード間で分割。見合うには高速なGPU間リンクが必要で、趣味のスタックでは実装が不完全。
• どちらの方式も2枚の帯域幅の合計には届かない。24 GB×2は70Bを2倍ではなく約1枚分のデコード速度で走らせる。単一ユーザーなら、大きい1枚はほぼ常に小さい2枚より良い買い物。ペアを買うのは、他に得られない容量のためか、同時サービングのためだけに。

ノートPC GPU

ノートPCのRTX 4070はデスクトップの4070とまったく同じものが収まる——容量は筐体ではなくVRAM構成に従う。異なるのは電力。共有サーマルバジェットの下で持続クロックは低く抑えられるので、デコードはデスクトップ兄弟より約20〜40%遅く、プリフィルも比例して遅いと予想すること。旅行やデモには良し。毎日の仕事ならデスクトップを飛ばす理由にはならない。

プロカードとNVLink

ワークステーションカードで買うのはECC、認証ドライバ、ブロアークーラー、大容量VRAM構成——容量のプレミアムには価値があり得るが、残りは推論には無関係。NVLinkはテンソル並列の学習トラフィックのために存在し、趣味のサービングはカード間をほぼ横断しない帯域律速のデコード。特定の容量(48/96 GB)が必要としない限り、両方スキップ。

買う前に確認

nvidia-smi --query-gpu=name,memory.total,memory.used --format=csv

それから、ティア表を信用する前に、実際に欲しいモデルでVRAM計算を実行すること——アーキテクチャは変わるが、式は変わらない。

関連: VRAM計算 · 同時実行 · Apple Silicon