Phần cứng nào quan trọng (và phần nào không)

Hiệu năng LLM cục bộ quy về ba tài nguyên, và chúng không ngang
nhau. Dung lượng VRAM quyết định bạn chạy được gì. Băng thông bộ nhớ
quyết định việc sinh văn bản cảm giác nhanh thế nào. Sức tính thô quyết
định chủ yếu bạn chờ bao lâu ngay sau khi nhấn Enter. Xếp hạng chúng
đúng thì mọi quyết định phần cứng trở nên hiển nhiên; xếp sai thì bạn
trả tiền cho những teraflop không bao giờ dùng.

Thứ bậc: dung lượng, băng thông, sức tính

1. Dung lượng VRAM (GB) — ràng buộc quyết định. Mô hình không vừa
   thì không chạy, hoặc tràn sang RAM hệ thống và bò. Dung lượng quyết
   định đồng thời kích thước mô hình, mức lượng hóa và độ dài ngữ cảnh,
   và không thứ gì khác trên card bù đắp được việc thiếu nó.
2. Băng thông bộ nhớ (GB/s) — token nhả ra nhanh cỡ nào. Mỗi token
   sinh ra đọc gần như toàn bộ mô hình từ VRAM, nên tốc độ decode bằng
   băng thông chia kích thước mô hình tính bằng byte. Sức tính ngồi
   không phần lớn thời gian trong lúc sinh văn bản.
3. Sức tính (TFLOPS) — quan trọng cho prefill: tiêu hóa prompt của
   bạn trước khi token đầu tiên xuất hiện. Nhiều FLOP hơn nghĩa là thời
   gian đến token đầu ngắn hơn và thông lượng theo lô cao hơn khi nhiều
   request dùng chung GPU. Nó gần như không nhúc nhích token mỗi giây
   của một luồng đơn.

Tài nguyên nào mua trải nghiệm nào

Hai công thức gánh gần như toàn bộ trực giác:

decode tok/s   ≈ băng thông hiệu dụng (GB/s) ÷ kích thước mô hình (GB)
prefill FLOPs  ≈ 2 × tham số × token prompt

Ví dụ minh họa. Một mô hình 8B ở Q4_K_M khoảng 5 GB trọng số. Trên GPU
có ~1,000 GB/s băng thông, trần decode là 1,000 ÷ 5 ≈ 200 tok/s;
engine thực tế đạt 100–150 sau khi trả xong các khoản phụ phí. Chính
prompt 2,000-token đó cần đại khái 2 × 8×10⁹ × 2×10³ ≈ 32 TFLOP
prefill — dưới một giây trên bất kỳ GPU rời hiện đại nào, đủ chậm để
cảm nhận trên CPU. Mô phỏng cho bạn nghịch các đánh đổi này
với số liệu thật.

Vì sao một thế hệ GPU mới gần như không làm decode nhanh hơn

Mỗi thế hệ GPU khoảng gấp đôi sức tính: nhiều lõi hơn, xung cao hơn,
đơn vị tensor tốt hơn. Prefill và TTFT cải thiện tương ứng — RAG
prompt-dài và agent cấp codebase cảm giác nhanh rõ rệt trên card mới
hơn. Nhưng hệ bộ nhớ nhích ít hơn hẳn: từ GDDR6 lên GDDR6X rồi GDDR7
mua được chừng 20–50% băng thông mỗi thế hệ, mà băng thông chính là thứ
decode chạy trên. Nên card mới tiêu hóa prompt nhanh hơn, rồi sinh văn
bản gần bằng tốc độ của bậc trước có băng thông tương đương. Khi so card
cho LLM cục bộ, đọc cột GB/s và VRAM trước, TFLOPS sau cùng.

Những thứ phần lớn không quan trọng

• Dư địa nguồn (PSU). Suy luận LLM rút điện thấp hơn nhiều đỉnh chơi
  game của card. Một nguồn chất lượng đạt yêu cầu chính thức của card là
  dư dả; đừng ngân sách cho con quái vật 1,600 W bạn sẽ chẳng bao giờ
  đầy tải.
• Tản nhiệt. Chỉ việc phục vụ liên tục nhiều tiếng mới đáng kể, nơi
  throttling nhiệt cạo xung. Bất kỳ card quạt kép hay quạt ba đàng hoàng
  nào cũng trụ được.
• Khe PCIe. x8 với x16, Gen 4 với Gen 5 — ảnh hưởng thời gian nạp mô
  hình và luồng offload CPU, không ảnh hưởng việc sinh văn bản. Bỏ qua
  trừ khi bạn offload tầng.
• NVLink và driver chuyên nghiệp. Phục vụ kiểu nghiệp dư hầu như
  chẳng chuyển gì qua lại giữa các card trong lúc decode. Có thì vui,
  không bao giờ đáng trả tiền ở đây.
• NPU. NPU trong laptop và SoC desktop hiện đại thực sự giỏi với các
  mô hình thị giác và âm thanh nhỏ, nhưng tính đến nay chưa có chồng tầng
  phục vụ LLM thực dụng nào nhắm vào nó. Hãy tính trên GPU, CPU, hoặc
  Apple Silicon — không phải NPU — cho mô hình chat.

Tư duy chọn cỡ: mô hình trước, card sau

Đừng hỏi "GPU của tôi chạy được gì". Hỏi bạn thực sự muốn mô hình hạng
nào, rồi mua card rẻ nhất nắm giữ nó với dư địa:

1. Chọn khối lượng công việc: chat 8B thường ngày, một trợ lý lập
   trình/suy luận 32B nghiêm túc, hay chất lượng hạng 70B nơi ngân sách
   cho phép.
2. Tính dấu chân của nó ở mức lượng hóa tốt với ngữ cảnh bạn thực dùng —
   toán VRAM có công thức và các bảng tính sẵn.
3. Ghép nó với một bậc card còn thừa 10–20% dư địa —
   hạng GPU ánh xạ bậc sang mô hình.
4. Chỉ đến lúc đó mới tối ưu băng thông trong phạm vi bậc ấy.

Đi tới từ ngân sách GPU là cách người ta kết thúc với một card nhanh chỉ
vừa những mô hình nhỏ xíu vô dụng, hay một card khổng lồ dùng 40% dung
lượng. Ngân sách cho mô hình trước, rồi bộ nhớ, còn sức tính tự lo. Và
trước khi nâng cấp bất cứ gì, kiểm tra xem bạn thực sự đang có gì:

nvidia-smi --query-gpu=name,memory.total,memory.used --format=csv

Liên quan: toán VRAM · hạng GPU ·
Tốc độ · Suy luận CPU