Mô hình đầu tiên của bạn trong 10 phút

Đưa một mô hình năng lực chạy cục bộ giờ là việc mười phút, không phải dự án cuối tuần. Hai lối phủ gần hết mọi người: terminal (Ollama) cho người thích dòng lệnh, và GUI (LM Studio) cho người thích thanh tiến độ. Cả hai kết thúc ở cùng một chỗ — một GGUF lượng hóa trên đĩa của chính bạn, trả lời ở tốc độ tương tác, không gì gọi điện về nhà. Chọn một lối, làm, rồi chạy các phép kiểm tra sức khỏe cuối trang.

Trước khi bắt đầu

Nắm ba con số về máy của bạn:

VRAM (hoặc bộ nhớ hợp nhất): 8 GB chạy mô hình 7–9B ở Q4; 16 GB gánh 13–14B; 24 GB với tới hạng 30B. Phép tính cỡ đầy đủ ở toán VRAM.
Băng thông bộ nhớ: chính nó, không phải sức tính, quyết định tok/s của bạn — xem tốc độ.
Đĩa trống: ngân sách 50–100 GB nếu bạn định thử hơn một mô hình.

Lối A: đường terminal (Ollama)

Cài Ollama — script cài một dòng trên Linux/macOS, bộ cài trên Windows. Nó khởi động một dịch vụ cục bộ và cho bạn lệnh ollama. Không tài khoản, không khóa.

Chọn một mô hình mở cỡ trung. Tại thời điểm viết, hạng 7–9B — qwen3:8b hoặc một mô hình hạng Llama 3.1 8B — là mô hình đầu tiên đúng: thực sự hữu ích, vừa GPU 8 GB hoặc chịu được CPU. Nếu bạn viết tiếng Hàn, họ Qwen và Gemma từ trước đến nay xử lý văn bản tiếng Hàn tốt — nhưng hãy thử bằng một đoạn văn thật của chính bạn, vì tokenizer khác nhau (xem token).

# tải (~5 GB) và bắt đầu chat trong một bước
ollama run qwen3:8b

Bạn giờ đang trong vòng lặp chat. Gõ một tin nhắn, nhấn Enter, xem token stream ra. Các lệnh slash ngày-đầu-tiên:

/bye          # rời cuộc chat
/show info    # mức lượng hóa, độ dài ngữ cảnh, template đang dùng

Trở lại shell, thêm hai lệnh:

ollama list   # những gì trên đĩa, và mỗi cái to bao nhiêu
ollama ps     # những gì đang nạp trong bộ nhớ, và ở đâu

ollama ps là dụng cụ thật đầu tiên của bạn. Nó báo kích thước cư trú và tỉ lệ chia CPU/GPU như 100% GPU hay 48%/52% CPU/GPU. Bất kỳ phần CPU nào trong tỉ lệ nghĩa là mô hình chưa lên trọn GPU — một vấn đề cấu hình sửa được, không phải giới hạn phần cứng. Xem núm chỉnh engine.

Ví dụ một số đọc khỏe mạnh:

NAME         ID           SIZE     PROCESSOR    UNTIL
qwen3:8b     a1b2c3d4...  5.7 GB   100% GPU     4 minutes from now

SIZE lớn hơn tệp trên đĩa là bình thường: kích thước cư trú là trọng số cộng buffer tính toán, không phải bản sao thứ hai.

Lối B: đường GUI (LM Studio)

Cài LM Studio. Mở tab tìm kiếm, gõ tên một họ — Qwen3, Llama 3, Gemma 3 — và bạn nhận cả bức tường kích thước và mức lượng hóa. Hai quy tắc giữ mọi thứ đơn giản:

Ghép số tham số với bộ nhớ trước: một 8B ở Q4 khoảng 4–5 GB trước cả KV cache.
Tin gợi ý kích thước mỗi-lượt-tải — nó gồm dư địa, nên "vừa" là vừa thật. Ưu tiên mức lượng hóa hạng Q4_K_M; chi tiết ở lượng hóa.

Tải về là một thanh tiến độ. Nạp mô hình trong tab chat và nói chuyện với nó; số đọc ở dưới hiển thị token/giây trong lúc nó sinh — nhớ con số đó cho phép kiểm tra sức khỏe. LM Studio cũng có thể mở một server cục bộ tương thích OpenAI, thứ trở nên hữu dụng sau này ở phục vụ.

Nếu số đọc tok/s trông thấp, đừng vội gỡ cài gì — xong các phép kiểm tra sức khỏe bên dưới trước khi kết luận có gì đó hỏng.

"Pulling" thực sự làm gì

Chẳng có gì thần kỳ. Một mô hình trong hệ sinh thái này là một tệp GGUF (xem định dạng mô hình): một blob duy nhất chứa mọi tầng, tokenizer và metadata. ollama pull và bộ tải của LM Studio lấy blob đó theo từng mảnh — đó là tiến độ phân tầng bạn thấy — xác thực digest, và đăng ký tệp vào một chỉ mục cục bộ. Tải bị gián đoạn tiếp tục từ chỗ dừng. "Cài một mô hình" đúng nghĩa đen là tải một tệp lớn và nhớ nó sống ở đâu. Không tài khoản, không server giấy phép, không gọi-về-nhà.

Kiểm tra sức khỏe lần chạy đầu

Ba con số nói với bạn thiết lập đã ổn hay chưa:

Kiểm tra	Nhìn ở đâu	Khỏe mạnh trông như
Tốc độ decode	số đọc tok/s (LM Studio) hoặc định thời trong log Ollama	30+ tok/s trên GPU rời gần đây; vật lý ở tốc độ
Thời gian đến token đầu	Bao lâu thì câu trả lời bắt đầu	Dưới ~1 s khi ấm với prompt ngắn; bản dán dài lâu hơn (prefill — xem tốc độ)
Sự vừa bộ nhớ	`ollama ps`, đồng hồ GPU, trình theo dõi hệ thống	Mô hình + KV cache cư trú trọn; phép tính ở toán VRAM

Nếu cả ba đều qua, ngừng tinh chỉnh và đi dùng mô hình. Chất lượng prompt chi phối mọi thứ khác ở giai đoạn này — xem prompting.

Ba thất bại kinh điển đầu tiên

Triệu chứng	Nguyên nhân thật	Cách sửa
Nạp thất bại hoặc sập vì hết bộ nhớ	Mô hình không vừa	Hạ một nấc lượng hóa (Q4 → Q3) hoặc một nấc cỡ mô hình (8B → 4B); xem lượng hóa
Rác trôi chảy, sai ngôn ngữ, vòng lặp vọng lại	Chat template sai với mô hình	Trình chạy phải dùng chính template của mô hình; xem prompting và khắc phục sự cố
1–2 tok/s dù có GPU	Phần lớn tầng vẫn trên CPU	Ép offload GPU toàn bộ; xem núm chỉnh engine

Cả ba là cấu hình, không phải phần cứng. Không cái nào nghĩa là "máy này không làm được".

Tệp sống ở đâu, và vệ sinh đĩa

Ollama giữ mọi thứ dưới ~/.ollama — mô hình được lưu thành blob địa-chỉ-theo-nội-dung dưới ~/.ollama/models. LM Studio dùng ~/.lmstudio (bản cũ: ~/.cache/lm-studio). Cả hai phình nhanh đáng báo động: mỗi lần pull là 2–20 GB, và xóa từ UI thi thoảng để blob lại trên đĩa.

Thói quen đáng giá:

Chạy ollama list hằng tháng và ollama rm những gì bạn không đụng tới.
Biết thư mục mô hình của bạn trước khi đĩa đầy. Dời nó sau này là một biến môi trường (OLLAMA_MODELS) cộng một lần sao chép tệp, không phải tải lại.
Một mô hình mỗi tác vụ thật thắng năm lần tải "phòng khi" — kho lạnh vẫn tốn của bạn băng thông.
LM Studio cũng xóa khỏi chỉ mục, nhưng xác minh thư mục mô hình thực sự teo lại — tin, rồi kiểm tra.

Liên quan: Engine suy luận · Núm chỉnh engine · Tốc độ · Chọn mô hình