Hướng dẫn

AI cục bộ từ con số 0 đến triển khai — 31 trang, từ cơ bản đến tối ưu.

Kiến thức nền tảng

1 LLM thực sự là gì?Dự đoán token kế tiếp, hàng tỷ trọng số bị đóng băng, và vì sao mọi sản phẩm đều là sự phối hợp bọc quanh một vòng lặp văn-bản-vào / văn-bản-ra. 2 Token & tokenizerTừ vựng mức subword, vì sao tiếng Hàn ngốn ngữ cảnh nhanh gấp 3–4 lần tiếng Anh, và vì sao các câu hỏi đếm chữ cái luôn thất bại. 3 Bên trong transformerEmbedding, self-attention, FFN và GQA — toàn bộ kiến trúc với chẳng có gì nặng hơn tích vô hướng và một softmax. 4 Prefill vs decode: quá trình sinh văn bản diễn ra thế nàoHai giai đoạn với vật lý khác nhau: một lượt song song trên toàn bộ prompt, rồi sinh từng token một trong đó mỗi bước đọc lại toàn bộ trọng số. 5 Số tham số mua được gì cho bạnThang khả năng từ những món đồ chơi 1B đến hạng đỉnh 70B+ — dung tích kiến thức, quy ước đặt tên, và ghép cỡ mô hình với tác vụ. 6 Mô hình được huấn luyện thế nào (và vì sao bạn sẽ không làm vậy)Tiền huấn luyện, SFT và tinh chỉnh theo sở thích — mỗi giai đoạn tốn bao nhiêu, thay đổi gì, và cái gì thực sự khả thi trên một GPU. 7 Trọng số mở vs API đóngDải giấy phép từ Apache-2.0 đến chỉ-có-API, những cạm bẫy cắn việc dùng thương mại, và cách đọc tên repo Hugging Face.

Phần cứng

8 Phần cứng nào quan trọng (và phần nào không)Dung lượng, băng thông, sức tính — xếp hạng theo thứ chúng thực sự mua được gì cho bạn, cộng thêm những mục trên bảng thông số chẳng quan trọng. 9 Toán VRAMTrọng số + KV cache + phụ phí: công thức, các bảng tính cho 8B–70B, và hướng dẫn chọn cỡ 16 GB. 10 Hạng GPU: cái gì thực sự vừaCái gì vừa ở từng hạng VRAM, các lựa chọn chợ đồ cũ, và vì sao hai card nhỏ thua một card to. 11 Apple Silicon & bộ nhớ hợp nhấtBộ nhớ hợp nhất biến RAM thành VRAM: băng thông theo hạng chip, MLX vs llama.cpp, và bẫy swap. 12 Chạy chỉ trên CPUPhép tính băng thông cho DDR4/DDR5, các bậc thoải mái, nỗi đau prefill, và khi nào chỉ-CPU thực sự là lựa chọn đúng. 13 Cửa sổ ngữ cảnh & KV cacheVì sao ngữ cảnh tốn VRAM: công thức mỗi-token, GQA, KV lượng hóa, và cửa sổ quảng cáo vs hiệu dụng.

Mô hình & định dạng

14 Định dạng tệp mô hìnhGGUF, safetensors, AWQ/GPTQ, EXL2, ONNX — mỗi hộp chứa để làm gì, engine nào ăn loại nào, và cách chuyển đổi. 15 Lượng hóa, chuyên sâuVượt qua bảng tra nhanh: thang đo khối, hỗn hợp K-quant, I-quant imatrix, chỗ chất lượng gãy trước, và bậc thang quyết định biết-VRAM. 16 Cây phả hệ trọng số mởQwen, Llama, Gemma, Mistral, Phi, DeepSeek — kích thước, giấy phép, cách đặt tên base vs instruct, MoE tổng-vs-kích-hoạt, và rừng bản tinh chỉnh. 17 Chọn đúng mô hìnhTình huống sử dụng trước, benchmark sau: đọc bảng xếp hạng mà không bị lừa, ma trận khuyến nghị theo hạng VRAM, và quy trình thử-trước-khi-cam-kết.

Chạy & phục vụ

18 Mô hình đầu tiên của bạn trong 10 phútTừ máy trống trơn đến chat với mô hình cục bộ, qua terminal hoặc GUI — cộng thêm các phép kiểm tra sức khỏe và ba thất bại kinh điển đầu tiên. 19 So sánh các engine suy luậnllama.cpp, Ollama, LM Studio, vLLM, SGLang, exllamav2, MLX, transformers — mỗi cái để làm gì, và vì sao khác biệt ít quan trọng hơn khuôn mẫu I/O của bạn. 20 Những núm chỉnh engine quan trọngĐộ dài ngữ cảnh, offload GPU, luồng, flash attention, dtype KV cache, YaRN — một nhúm flag thay đổi kết cục, và những dòng log xác minh chúng. 21 Vật lý của token/giâyTốc độ decode là băng thông bộ nhớ chia cho số byte đọc mỗi token — từ một công thức đó ra đời lượng-hóa-như-tăng-tốc, lợi MoE, vách đá offload CPU, và tok/s thực sự cảm giác thế nào. 22 Phục vụ một endpoint tương thích OpenAIHình dáng chat-completions là lingua franca mọi client nói — phục vụ nó bằng llama-server, Ollama, hoặc vLLM, trỏ SDK vào localhost, và khóa cửa. 23 UI & tích hợpOpen WebUI, LibreChat, text-generation-webui, Continue.dev, công cụ terminal — chọn theo vai trò; tất cả đều nói OpenAI-compat nên engine nào cắm cũng được. 24 Xử lý theo lô & nhiều người dùngPhục vụ tuần tự lãng phí GPU; xử lý theo lô chia sẻ mỗi lượt đọc trọng số across các request. Batching liên tục, paged attention, toán dung lượng, và khi nào rời Ollama sang vLLM.

Làm việc với mô hình

25 Prompt & chat templateChat template là phong bức prompt của bạn đi trong — markup ChatML vs Llama vs Gemma, hợp đồng few-shot, và những khuôn mẫu mô hình nhỏ thực sự theo được. 26 Cài đặt lấy mẫuTemperature, top_k, top_p, min_p và repeat_penalty — mỗi núm làm gì với logits, theo thứ tự nào, và các bộ thiết lập chạy được theo tác vụ. 27 Đầu ra có cấu trúc & gọi hàmTừ JSON chỉ-bằng-prompt đến decode đeo mặt nạ ngữ pháp khiến token không hợp lệ bất khả thi — cộng các quy ước gọi công cụ mà agent chạy trên. 28 RAG: trao dữ liệu của bạn cho mô hìnhChia đoạn, nhúng, truy xuất, trích dẫn — một pipeline RAG cục bộ trọn vẹn với số liệu tính sẵn, tìm kiếm lai, xếp lại hạng, và cách phân biệt hụt truy xuất với hụt sinh. 29 Tinh chỉnh với LoRA & QLoRAAdapter trên một GPU tiêu dùng: việc tinh chỉnh đổi gì (hành vi) vs không đổi gì (sự kiện), ngân sách QLoRA, các quy tắc dữ liệu chi phối, và xuất sang GGUF. 30 Agent & dùng công cụVòng lặp hoạch-định–hành-động–quan-sát, công cụ dạng JSON schema, MCP, kỷ luật ngữ cảnh cho các lần chạy dài, và prompt injection — mô hình đe dọa thực sự. 31 Khắc phục sự cố: triệu chứng → nguyên nhân → cách sửaBảng chẩn đoán triệu-chứng-trước cho các ca kinh điển — lệch template, OOM lúc nạp và giữa chừng, 1 tok/s, vòng lặp lặp lại, văn vô nghĩa, cắt cụt — cộng thêm số bình thường trông thế nào.