Chọn đúng mô hình
Chọn mô hình là hàm của ba đầu vào: ngân sách bộ nhớ, tình huống sử dụng, và sàn chất lượng. Benchmark chỉ báo tin cho cái thứ ba; hai cái đầu là phép số học. Tối ưu một cái mà bỏ qua hai cái kia là cách người ta kết thúc với mô hình benchmark đẹp mà không làm nổi việc thật của hôm thứ Ba.
Ba đầu vào
- Ngân sách — VRAM trên GPU, bộ nhớ hợp nhất trên Apple Silicon. Quy tắc ngón tay: trọng số ở Q4_K_M ≈ 0.6 GB mỗi tỉ tham số, cộng thêm KV cache và phụ phí — phương pháp đầy đủ ở toán VRAM.
- Tình huống sử dụng — mô hình phải làm gì hằng ngày; phân tích bên dưới.
- Sàn chất lượng — mức dưới đó đầu ra vô dụng với bạn. Một bạn đồng hành viết lách chịu được nhiều slop hơn một bộ sinh mã mà đầu ra phải compile được.
Ngân sách cũng chặn ngữ cảnh: kế hoạch ngữ-cảnh-khổng-lồ trên card nhỏ chỉ nghĩa là trao đổi áp lực KV-cache lấy chất lượng trọng số. Mọi thứ đều trao đổi.
Ví dụ minh họa, GPU 16 GB → ~13.5 GB dùng được sau khi HĐH lấy phần của nó: một 14B ở Q4_K_M (~8.5 GB trọng số) với ngữ cảnh hào phóng, hoặc một 8B ở Q6_K (~6.6 GB) với ngữ cảnh khổng lồ. Cả hai vừa; tình huống sử dụng quyết định giữa chúng.
Bắt đầu từ tình huống sử dụng
- Chat và viết lách tổng quát — một instruct cỡ trung (hạng 8–14B) ở Q5–Q6 phủ hầu hết mọi người. Qua bậc đó, sở thích phong cách quan trọng hơn điểm benchmark.
- Trợ lý lập trình — nghiêng về các dòng coder mạnh (Qwen Coder, hậu duệ DeepSeek-Coder) và giữ ngữ cảnh dài: giá trị nằm ở việc điền giữa tệp với ngữ cảnh repo bao quanh. Code thật cũng phạt mức lượng hóa cẩu thả sớm hơn chat.
- Tài liệu dài — xác minh rằng ngữ cảnh quảng cáo là ngữ cảnh dùng được. Nhiều mô hình "128k" chú ý tốt đầu và cuối rồi nát giữa. Thử trước khi tin; xem quy trình bên dưới.
- Tiếng Hàn / đa ngôn ngữ — Qwen trước, Gemma sau. Cả hai xử lý tiếng Hàn tử tế; các họ tiếng-Anh-trước nứt ở ngữ pháp và kính ngữ. Chi tiết ở các họ mô hình.
- Công việc nặng suy luận — ưu tiên checkpoint tinh chỉnh suy luận (chế độ thinking Qwen3, R1-distill); chúng đổi độ trễ lấy tính đúng trong toán và lập kế hoạch, và lượng hóa làm đau chúng nhiều hơn — giữ mức lượng hóa cao.
- Trích xuất số lượng giá rẻ — một instruct nhỏ (1.5–3B) với đầu ra có cấu trúc thắng mô hình lớn với giá gấp vài lần mỗi tài liệu. Đừng tiêu một 8B cho việc hình-regex.
- Agent và dùng công cụ — yêu cầu thật là làm-theo-chỉ-dẫn và kỷ luật định dạng, không phải IQ thô. Thực tế nghĩa là hạng ≥7–9B, hơn nữa nếu đủ khả năng: một cuộc gọi công cụ sai khuôn có thể đập tan cả chuỗi. Xem agent.
Đọc benchmark mà không bị lừa
| Tín hiệu | Nó đo gì | Cái bẫy |
|---|---|---|
| LMArena Elo | phiếu ưu tiên người đối đầu trực tiếp | thiên lệch phong cách — câu trả lời dài, định dạng đẹp, tự tin thắng phiếu bất kể đúng sai |
| MMLU / GPQA | kiến thức trắc nghiệm / khoa học khó | gần bão hòa ở đỉnh; nhiễm bẩn tiền huấn luyện thổi phồng con số |
| HumanEval và bạn bè | sinh mã trên bài cố định | các bộ cũ rò vào dữ liệu huấn luyện nhiều năm trước; ưu tiên bộ mới (kiểu LiveCodeBench) |
| Điểm do nhà bán tự báo | các lần chạy đánh giá của chính nhà bán | lấy mẫu tốt-trong-nhiều, prompt chọn lọc, system prompt chỉnh tay |
| Biểu đồ của tác giả bản tinh chỉnh | điểm bán hàng của bản tinh chỉnh | overfit đánh-giá-nhỏ — chỉnh đến khi một con số nhúc nhích, báo cáo không phương sai |
Thói quen giữ bạn trung thực: ưu tiên chênh lệch tương đối trên cùng bộ khung hơn con số tuyệt đối; coi khoảng cách dưới 2 điểm là nhiễu; nghi ngờ tuyên bố không có thiết lập tái lập được; và đọc thảo luận nhiễm bẩn quanh một benchmark, thứ thường nhiều thông tin hơn chính bảng xếp hạng.
Phòng thủ rẻ nhất là phân tích tam giác: một mô hình thật sự tốt thể hiện điều đó across các tín hiệu độc lập — đánh giá phòng thí nghiệm, arena, thread cộng đồng, và bộ prompt của riêng bạn. Khi tín hiệu bất đồng, tin cái gần khối lượng công việc của bạn nhất. 20 prompt của bạn đứng trên mọi bảng xếp hạng cho mục đích của bạn, vì chúng lấy mẫu phân phối thật của bạn.
Tín hiệu cộng đồng cục bộ
Benchmark chạy trên prompt của phòng thí nghiệm. Tín hiệu tốt hơn của bạn là những người đang chạy đúng tệp bạn sắp tải:
- Xu hướng và số lượt tải Hugging Face — độ phổ biến di chuyển chậm, tốn kém để thao túng lâu dài.
- Những bản phát hành nào được các bên lượng hóa cộng đồng (bartowski, mradermacher) lượng hóa across toàn thang — một bộ lọc tầm quan trọng khá ổn.
- Các thread r/LocalLLaMA — tìm tên mô hình, sắp theo mới nhất; lời khen chê lặp đi lặp lại là thật. Áp "tại thời điểm viết" kép ở đây: đồng thuận cục bộ có chu kỳ bán rã vài tuần.
- Báo cáo theo từng mức lượng hóa — chất lượng mô hình X ở Q4 là câu hỏi khác mô hình X ở FP16, và cả hai khác gì phòng thí nghiệm báo cáo.
Ma trận khuyến nghị
Điểm khởi đầu tại-thời-điểm-viết theo hạng VRAM, giả định lượng hóa xấp xỉ Q4_K_M và ngữ cảnh vừa phải — đối chiếu phần cứng ở hạng GPU:
| VRAM | Chat tổng quát | Lập trình | Tiếng Hàn / đa ngôn ngữ | Agent / công cụ |
|---|---|---|---|---|
| 8 GB | Qwen3 4B / Llama 3.1 8B | Qwen Coder 7B, ngữ cảnh ngắn | Qwen3 4B / Gemma 3 4B | biên tế ở hạng này |
| 12 GB | Qwen3 8B / Gemma 3 12B | Qwen Coder 7B, ngữ cảnh 16k | Qwen3 8B | Qwen3 8B |
| 16–24 GB | Gemma 3 27B / Qwen3 14B | Qwen Coder 14B | Qwen3 14B | Qwen3 14B / 32B |
| 24 GB+ / 48 GB | Qwen3 30B-A3B MoE / Mistral Small 24B | Qwen Coder 32B / DeepSeek-Coder-V2-Lite | Qwen3 32B | R1-Distill-Qwen-32B (thinking) |
Hãy coi ma trận là điểm khởi đầu tìm kiếm, không phải kinh thánh — trường đấu xếp lại hạng mỗi quý. Lời khuyên ổn định trong bất kỳ hạng nào: ưu tiên thế hệ mới hơn, và ưu tiên to-hơn-ở-Q4 hơn nhỏ-hơn-ở-Q8 xuống đến sàn Q4 (dưới đó, thiệt hại lượng hóa thắng — xem lượng hóa).
Thêm một quy tắc ổn định: khi hai mô hình hòa, chọn giấy phép thân thiện hơn. Apache-2.0 và MIT không bao giờ quay lại cắn; giấy phép cộng đồng thi thoảng có — xem mở vs đóng.
Thử trước khi cam kết
30 phút kỷ luật thắng một tuần cảm tính:
- Dựng bộ prompt cố định 10–20 — những ca khó nhất thật của bạn: một email tiếng Hàn cần viết lại, một diff lỗi cần sửa, một bản tóm tắt tài liệu chôn một sự kiện kiểm-chứng-được.
- Chạy mọi ứng viên trên cùng prompt, cùng cài đặt lấy mẫu, cùng mức lượng hóa. Đổi một thứ mỗi lần.
- A/B mù: xáo trộn đầu ra và phán đoán mà không biết mô hình nào làm cái nào. Một bảng tính và một người bạn là được; mô hình mạnh nhất hiện tại của bạn làm trọng tài cũng được.
- Kiểm tra riêng tiếng Hàn: nhất quán kính ngữ (존댓말/반말), trợ từ tự nhiên, không dịch kiểu tiếng Anh. Mô hình "biết tiếng Hàn" thường viết tiếng Anh dịch khoác áo tiếng Hàn.
- Kiểm tra ngữ cảnh dài: chôn một sự kiện ở độ sâu 70% trong một bản dán dài rồi hỏi về nó. Riêng phép kiểm đó loại nhiều mô hình "128k" hơn bất kỳ bảng xếp hạng nào.
- Chạy lại các ca hòa ở temperature 0 — nhiễu lấy mẫu đội lốt khác biệt mô hình thường xuyên hơn ai thừa nhận.
Bộ khung có thể là bốn dòng shell against một llama-server đang chạy:
while IFS= read -r prompt; do
curl -s http://localhost:8080/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{"messages":[{"role":"user","content":"'"$prompt"'"}],"temperature":0.7}' \
>> out-model-a.jsonl
done < prompts.txt
Cùng vòng lặp, một tệp đầu ra mỗi mô hình; rồi đọc chúng cạnh nhau với nhãn bị giấu.
Khi nào API đóng vẫn thắng
Cục bộ là về kiểm soát, riêng tư và chi phí biên theo sản lượng — không phải năng lực hạng đỉnh. Tại thời điểm viết, các API đóng mạnh nhất vẫn thắng trọng số mở mạnh nhất ở suy luận khó và chuỗi agent dài, với không cài đặt: không VRAM, không chỉnh engine, không toán lượng hóa.
Về chi phí, con số có rào đón: một 8B cục bộ ở Q4 thực tế miễn phí mỗi token một khi phần cứng đã có; một API hạng đỉnh tính cỡ vài đô-la mỗi triệu token. Ở sản lượng nghiệp dư cả hai làm tròn về không; ở hàng triệu token mỗi ngày, cục bộ thắng chỉ riêng về giá. Khoảng cách năng lực — không phải giá — là lý do trung thực để giữ sẵn một khóa API.
Một khuôn mẫu bền là lai: mô hình cục bộ làm mặc định, API cho vài prompt làm nó bí. Cân nhắc đánh đổi một cách có ý thức ở mở vs đóng.
Liên quan: hạng GPU · các họ mô hình · agent · mở vs đóng