Hạng GPU: cái gì thực sự vừa

Hạng VRAM là toàn bộ ván cờ. Băng thông quyết định mọi thứ chạy nhanh
thế nào trong một hạng, nhưng dung lượng quyết định mô hình nào có mặt
trên thực đơn. Dưới đây là bản đồ thực dụng tính đến thời điểm viết: cái
gì thực sự vừa ở từng hạng, kèm card đại diện. Hạng là tri thức ổn định
ở đây — các SKU cụ thể bị đổi tên mỗi chu kỳ sản phẩm, còn các ngạch
VRAM gần như không nhúc nhích suốt một thập kỷ.

Bảng hạng

Ghi chú từng hạng:

• 6–8 GB là hạng nhập môn. Các trợ lý 7–8B Q4 thực sự hữu ích; ngữ
  cảnh quá 8k bắt đầu thắt trước mọi thứ khác.
• 12 GB là điểm ngọt về giá. 14B Q4 là bước nhảy chất lượng nghiêm
  túc đầu tiên so với hạng 8B, và nó vừa với ngữ cảnh thật.
• 16 GB cho bạn 14B ở Q6 (gần như vô tổn thất) hoặc 24B ở các mức
  lượng hóa bit-thấp. 32B ở IQ3 chạy được, nhưng 3-bit trên 32B là nơi
  vết thương lượng hóa lộ ra.
• 24 GB là kinh điển của LLM cục bộ. 32B Q4/Q5 với 16k ngữ cảnh là
  điểm chất-lượng-mỗi-gigabyte tốt nhất cho một người dùng. 70B ở IQ2_XS
  vừa trên tờ quảng cáo và làm thất vọng đôi tai — quá ít bit cho bấy
  nhiêu tham số.
• 32–48 GB+ tồn tại cho 70B ở Q4 trở lên, và để phục vụ vài người
  dùng cùng lúc (xem Đồng thời).

Chợ đồ cũ

RTX 3090 (24 GB, ~936 GB/s) vẫn là lựa chọn giá trị kinh điển tại thời
điểm viết: 24 GB với giá bằng một phần chiếc flagship mới, và 32B Q4
vừa còn dư địa. Lưu ý: 350 W khi có tải, tản nhiệt kiểu blow-through đổ
nhiệt vào thùng máy, và card thời đào coin có thể cần tra lại keo tản.
Đề cập đáng giá ngân sách: RTX 3060 12 GB mới, hoặc 2080 Ti cũ với mod
bộ nhớ 22 GB nếu bạn thích mạo hiểm. Card trung tâm dữ liệu cũ (P40,
thời Tesla T4) là VRAM rẻ nhưng băng thông chậm, ồn, và thiếu hỗ trợ
tính năng hiện đại — nghịch thì ổn, dùng hằng ngày thì mệt.

Đa GPU: dung lượng thì có, tốc độ thì phần lớn không

Chia mô hình across hai card mua được dung lượng, không mua được băng
thông:

• Chia tầng (pipeline) — mỗi GPU giữ các khối tầng liền kề; chỉ
  những kích hoạt nhỏ băng qua bus. Lợi dung lượng gần tuyến tính, phạt
  decode khiêm tốn. llama.cpp tự làm điều này khi bạn rải tầng across
  thiết bị.
• Song song tensor — mọi phép nhân ma trận bị tách across các card;
  cần liên kết liên-GPU nhanh mới đáng, và các chồng tầng nghiệp dư
  triển khai nó thiếu hoàn chỉnh.
• Không cách nào chạm tới tổng băng thông của cả hai card. Hai card
  24 GB chạy 70B với tốc độ decode xấp xỉ một card, không phải gấp đôi.
  Với một người dùng, một card to hơn gần như luôn là món mua tốt hơn
  hai card nhỏ — chỉ mua cặp khi cần dung lượng không cách nào có được,
  hoặc để phục vụ đồng thời.

GPU laptop

RTX 4070 trên laptop vừa chính xác những gì 4070 desktop vừa — dung
lượng bám theo cấu hình VRAM, không phải vỏ máy. Khác biệt nằm ở công
suất: xung duy trì thấp hơn dưới ngân sách nhiệt dùng chung, nên chờ
decode chậm hơn khoảng 20–40% so với người anh em desktop, và prefill
chậm tương ứng. Đi lại và demo thì ổn; không phải lý do bỏ desktop nếu
đây là công việc hằng ngày.

Card chuyên nghiệp và NVLink

Card workstation mua ECC, driver được chứng nhận, tản kiểu blower, và
cấu hình VRAM lớn — khoản trả thêm cho dung lượng có thể đáng, phần còn
lại vô dụng cho suy luận. NVLink tồn tại cho lưu lượng huấn luyện
song-song-tensor; phục vụ nghiệp dư là decode giới hạn-băng-thông gần
như không băng qua giữa các card. Bỏ qua cả hai trừ khi một dung lượng
cụ thể (48/96 GB) đòi hỏi.

Kiểm tra trước khi mua

nvidia-smi --query-gpu=name,memory.total,memory.used --format=csv

Rồi chạy toán VRAM cho những mô hình bạn thực sự
muốn trước khi tin bất kỳ bảng hạng nào — kiến trúc đổi, công thức thì
không.

Liên quan: toán VRAM · Đồng thời ·
Apple Silicon