Số tham số mua được gì cho bạn

Số tham số là bản tóm tắt một-con-số tốt nhất về một mô hình: nó mua cho bạn dung tích kiến thức và kỹ năng, và thu tiền bằng bộ nhớ và tốc độ. Dưới ~30B bạn cảm nhận được từng bậc của thang; trên đó, lợi ích phẳng dần. Trang này vẽ bản đồ chiếc thang và nói cho bạn biết tác vụ của bạn thực sự cần bậc nào.

Thang khả năng

Tham số	Hạng	Phù hợp cho	Dấu chân Q4
0.5–1B	tiện ích	phân loại, trích xuất, tự hoàn thành, định tuyến	dưới 1 GB; CPU là ổn
3–4B	trợ lý nhẹ	chat nhanh, viết nháp, tóm tắt	~2–3 GB
7–9B	con ngựa thồ	chat và code tổng quát chắc tay	~4–6 GB
12–14B	toàn năng mạnh	suy luận tốt rõ rệt, vẫn nhanh	~8–10 GB
30–40B	cận đỉnh	đa số tác vụ ở chất lượng sát đỉnh	~18–24 GB; cần 24 GB VRAM
70B+	mở hạng đỉnh	suy luận khó nhất, tinh tế nhất	~40 GB; 2×24 GB hoặc 48 GB+
MoE (tổng lớn, kích hoạt nhỏ)	vd. tổng 100B+, kích hoạt 10–30B	chất lượng cận đỉnh với chi phí mô hình tầm trung	lớn — mọi expert phải nằm trong bộ nhớ

Một mô hình 30–40B ở 4-bit là điểm ngọt cục bộ tính đến thời điểm viết: nó vừa card 24 GB và giữ đủ gần chất lượng đỉnh cho đa số công việc. Các mô hình MoE phá vỡ phép phỏng đoán theo kích thước — hãy đánh giá chúng theo tham số kích hoạt cho tốc độ, theo tổng tham số cho bộ nhớ.

Tham số mua được gì: dung tích kiến thức

Sự kiện sống trong trọng số — áp đảo trong các tầng FFN (xem bên trong transformer). Dung tích tỉ lệ thuận với số tham số:

Sự kiện nổi tiếng (thủ đô, API phổ biến): đáng tin từ ~3B trở lên.
Kiến thức công việc (thư viện tầm trung, chủ đề thứ yếu): muốn 14B+.
Đuôi dài (thông số tối tăm, lịch sử ngách): 30B+, và ngay cả vậy cũng chờ đón lỗ hổng.

Mô hình nhỏ không chỉ biết ít hơn — chúng vá các lỗ hổng bằng phát minh trôi chảy, nên tỉ lệ ảo giác tăng khi kích thước giảm. Với câu hỏi đuôi dài trên mô hình nhỏ, truy xuất thắng tham số (RAG).

Đọc hậu tố: base vs instruct

Cùng một số tham số được xuất xưởng ở các giai đoạn hành vi khác nhau:

Base: chỉ tên họ trơn (Qwen2.5-7B). Hoàn thành token-kế-tiếp. Hỏi nó một câu và nó có thể trả lời bằng thêm câu hỏi, bắt chước một chuỗi thread diễn đàn, hoặc tiếp tục lan man.
Instruct/chat: hậu tố -instruct, -it hoặc -chat (Qwen2.5-7B-Instruct). Trả lời câu hỏi, làm theo chỉ dẫn, dừng lại. Được tinh chỉnh cho việc đó ở các giai đoạn huấn luyện sau (xem huấn luyện).

prompt: "How do I boil an egg?"

base:
  "How do I boil an egg? 10 points for best answer!?"
  (tiếp nối tài liệu — bạn đưa văn bản, nó đưa lại thêm văn bản)

instruct:
  "Place eggs in a pot and cover with cold water. Bring to a
   boil, cover, and remove from heat: 6 min soft, 10–12 hard."
  (trả lời, định dạng, dừng)

95% nhu cầu cục bản muốn bản instruct. Các mô hình base đáng tiền của mình ở những tác vụ kiểu hoàn thành: tự hoàn thành, chèn văn bản, tiếp nối sáng tạo, và làm nền cho việc tinh chỉnh của chính bạn.

Những hậu tố nữa bạn sẽ gặp trong tên repo:

-base: rõ ràng là giai đoạn tiền huấn luyện (nền để tinh chỉnh).
-coder / -math / -vl: tinh chỉnh cho code, toán, hoặc đầu vào vision-language.
Đặt tên MoE kiểu 235B-A22B: tổng tham số, rồi số kích hoạt mỗi token — đọc là "235B cư trú, 22B làm việc".
-gguf hoặc nhãn lượng hóa: một lần đóng gói lại, không phải mô hình mới (xem định dạng mô hình).

Lợi ích giảm dần theo mỗi lần nhân đôi

Mỗi lần nhân đôi tham số thêm ít điểm benchmark hơn lần trước, trong khi chi phí bộ nhớ tăng tuyến tính và tốc độ decode giảm theo mỗi gigabyte — tất cả stream qua VRAM mỗi token trong lúc decode (prefill vs decode). Bước 7B → 14B là bước ngoặt; 70B → 140B là biên tế với đa số tác vụ. Quy tắc: chạy mô hình nhỏ nhất vượt qua được bài kiểm tra của bạn.

Tác vụ	Bắt đầu ở
Tóm tắt, trích xuất, phân loại	3–4B
Chat tổng quát, viết lách	7–9B
Trợ lý lập trình	tối thiểu 8–9B; 14B+ tốt rõ rệt
Dùng công cụ, vòng lặp agent	14B+; 30B+ để đáng tin
Toán khó, suy luận nhiều bước	30B+ hoặc mô hình tinh chỉnh suy luận
Chat tiếng Hàn và đa ngôn ngữ	7B+ từ các họ mạnh đa ngôn ngữ

Kích thước trả giá bằng tốc độ thế nào

Decode stream toàn bộ mô hình mỗi token, nên trên cùng một card, to hơn nghĩa là chậm hơn, đại khái nghịch đảo với số byte trọng số. Số cấp-độ-lớn cho decode một người dùng trên một card 24 GB (~1 TB/s băng thông, trọng số 4-bit):

Mô hình	Kích thước Q4	Decode ước chừng
8B	~4.5 GB	~100+ tok/s
14B	~9 GB	~50–60 tok/s
32B	~19 GB	~25–35 tok/s
70B	~40 GB	không vừa — cần 2×24 GB, ~20–30 tok/s

Các con số dao động theo băng thông, driver và kích thước lô; khuôn dạng thì không: gấp đôi trọng số, giảm một nửa token mỗi giây (tốc độ, hạng GPU).

Mô hình nhỏ nhạy cảm hơn với lượng hóa

Mô hình 30B ở 4-bit mất gần như không gì; mô hình 1B ở 4-bit mất nhiều. Độ dư thừa tăng theo kích thước, nên trọng số lớn hấp thụ được độ làm tròn thô mà trọng số nhỏ không chịu nổi:

30B+: Q4 gần như miễn phí, Q3 thường vẫn ổn.
7–14B: Q4/Q5 an toàn; theo dõi sát Q3 và benchmark nó.
Dưới 4B: ưu tiên Q6/Q8/FP16 — tiết kiệm được cũng chẳng bao nhiêu.

Chi tiết và hành vi theo từng định dạng ở lượng hóa; cách chọn theo từng họ ở chọn mô hình.

Liên quan: lượng hóa · chọn mô hình · các họ mô hình · huấn luyện