Cây phả hệ trọng số mở

Một nắm họ phủ gần hết nhu cầu cục bộ, và mỗi họ phát hành thành thang kích thước cùng các phiên vị hậu-huấn-luyện. Biết cây phả hệ cho bạn biết một bản tinh chỉnh ngẫu nhiên trên Hugging Face thực sự đứng trên gì — và nên với tay về base nào trước. Tất cả đều là trọng số mở; điều đó mang lại và không mang lại gì được nói ở mở vs đóng.

Các họ chính

Đề cập danh dự: GLM (Zhipu) và Yi (01.AI) — các base mạnh với biến thể ngữ-cảnh-dài; OLMo (AllenAI) — mở trọn vẹn: dữ liệu huấn luyện, mã và checkpoint đều công bố, điểm tham chiếu khi "mở" phải nghĩa nhiều hơn trọng số.

Kích thước và điều khoản giấy phép trôi theo từng bản phát hành — đọc model card trước khi phát hành bất cứ gì thương mại.

Ghi chú từng họ

• Qwen — câu trả lời mặc định cho dùng đa ngôn ngữ cục bộ. Thang kích thước mịn bất thường (dense 0.6/1.7/4/8/14/32B, cộng MoE 30B-A3B và 235B-A22B), nên mọi hạng VRAM đều có một Qwen. Thế hệ Qwen3 thêm công tắc "thinking" theo-từng-prompt trên đa số cỡ.
• Llama — ít khi là mặt trận chất lượng hơn là mặt trận tương thích: mọi công cụ, hướng dẫn và bản tinh chỉnh hỗ trợ nó đầu tiên. Llama 4 chuyển sang MoE, nên dòng dense 3.x vẫn là xe chạy hằng ngày trong nhiều thiết lập cục bộ.
• Gemma — ổn định mạnh so với kích thước tệp, điều quan trọng khi bạn bị trói ở Q4 trên laptop. Đầu vào thị giác của Gemma 3 khiến nó thành mặc định đa phương thức dễ dàng ở cục bộ.
• Mistral — tiên phong của 7B mở dùng được và MoE mở (Mixtral 8x7B). Các flagship gần đây nghiêng về đóng; những bản 7B mở và biến thể Small (22–24B) vẫn là ngựa thồ.
• Phi — huấn luyện nặng trên dữ liệu tổng hợp "chất-lượng-sách-giáo-khoa" được tuyển chọn; đấm trên cân nặng ở toán và logic, mỏng hơn về kiến thức thế giới. Một bộ não agent nhỏ tốt.
• DeepSeek — V3 và R1 đẩy khả năng suy luận mở tiến lên; các mô hình đầy đủ cần phần cứng nghiêm túc, nhưng họ R1-distill (base Qwen/Llama huấn luyện trên vết suy luận R1) chạy chain-of-thought cục bộ từ 1.5B trở lên.

Các thế hệ trong một chớp mắt

Cây phả hệ di chuyển nhanh; các thế hệ già như sữa. Dòng dõi đại khái, từ cũ đến mới được phủ ở đây:

Quy tắc hữu ích: trong một họ, thế hệ mới hơn ở cỡ nhỏ thường sánh thế hệ cũ hơn ở cỡ lớn. Một 8B hiện tại thường xuyên thắng 30B cũ hai thế hệ ở đa số tác vụ — đó là lý do phản xạ đúng là "mô hình mới nhất vừa được", không phải "mô hình to nhất vừa được".

Đọc tên mô hình: base vs instruct vs reasoning

Mỗi họ phát hành vài phiên vị hậu-huấn-luyện; cái tên là chiếc nhẫn giải mã:

Mô hình base trả lời bằng cách tiếp nối văn bản của bạn: chào hỏi và bạn có thể nhận một chuỗi thread diễn đàn, một FAQ, hay một đoạn kiểu Wikipedia về lời chào. Mô hình instruct cư xử như trợ lý. Mọi thứ còn lại trong cẩm nang này giả định checkpoint instruct hoặc reasoning — chạy một mô hình base rồi kết luận "mô hình cục bộ ngu" là lỗi kinh điển tuần đầu tiên.

MoE: tham số tổng vs kích hoạt

Mô hình mixture-of-experts lưu nhiều trọng số hơn hẳn những gì một token dùng. Khối feed-forward của mỗi tầng tách thành các mạng con expert; một router nhỏ chọn vài expert đầu bảng mỗi token, mỗi tầng. "235B-A22B" nghĩa là 235B tham số lưu trữ, ~22B kích hoạt mỗi token. Hai chi phí tách rời:

bộ nhớ cho trọng số ∝ tham số tổng   (mọi expert phải ngồi trong RAM/VRAM)
tính toán mỗi token  ∝ tham số kích hoạt (chỉ các expert được định tuyến chạy)

Nên MoE mua chất lượng mô-hình-to với tốc độ mô-hình-nhỏ — nếu bạn nắm được trọng số. Đó là toàn bộ câu chuyện cục bộ của Qwen3-30B-A3B: ~30B năng lực lưu trữ cho máy có 24–32 GB, với chi phí decode ~3B, vượt điểm các mô hình dense cùng cỡ trong khi sinh nhanh hơn. Cơ học ở tốc độ.

Cùng ngân sách bộ nhớ, hình dáng khác:

Lưu ý MoE: chất lượng trên mỗi tham số kích hoạt thấp hơn của mô hình dense, định tuyến thêm phụ phí ở kích thước lô 1, và router nhạy với lượng hóa cẩu thả — ưu tiên công thức lượng hóa được cộng đồng kiểm chứng cho checkpoint MoE hơn tự chế.

Tiếng Hàn và đa ngôn ngữ

Đồng thuận cộng đồng đại khái cho tiếng Hàn, tại thời điểm viết: Qwen đầu tiên (tiếng Hàn mạnh across thang kích thước), Gemma thứ hai (văn tiếng Hàn sạch, thỉnh thoảng kính ngữ cứng), các họ tiếng-Anh-trước thứ ba rõ rệt (lỗi trợ từ, dịch kiểu tiếng Anh). Kiểm tra trực tiếp — kính ngữ (존댓말/반말), lựa chọn trợ từ, nhất quán ngữ vực — với quy trình ở chọn mô hình.

Rừng bản tinh chỉnh

Phần lớn repo trên Hugging Face không đến từ phòng thí nghiệm gốc. Tầng tầng văn hóa tích lũy lên trên:

• Merge — trung bình trọng số (TIES, DARE, SLERP) của vài bản tinh chỉnh. Đôi khi thật sự tốt hơn mọi bậc cha mẹ; thường là tung đồng xu mà đánh giá tệ hơn.
• Abliterated — các hướng từ chối bị mổ gỡ. Hữu ích cho hư cấu và nghiên cứu; thường tốn chút khả năng tổng quát. Để ý giấy phép và vùng tài phán của bạn.
• Bản tinh chỉnh "slop" — một LoRA nhanh trên dữ liệu tổng hợp chạy theo phong vị arena, công bố dưới cái tên leo thang. Chất lượng dao động dữ dội, theo cả hai hướng.
• Bản lượng hóa cộng đồng — bartowski, mradermacher và đồng nghiệp lượng hóa lại upstream không động vào trọng số. Những cái này an toàn; cần soi là các bản tinh chỉnh thay đổi hành vi.

Khi mở card của một bản tinh chỉnh, tìm tên mô hình base, các đánh giá từ bộ khung bạn nhận ra (không phải ảnh chụp màn hình), và tập dữ liệu được mô tả — "tập dữ liệu riêng tư" là cờ vàng.

Chính sách mặc định: ưu tiên bản phát hành từ phòng thí nghiệm upstream trừ khi một bản tinh chỉnh có bằng chứng độc lập, tái lập được, là tốt hơn. Cách cân điều đó với benchmark và tín hiệu cộng đồng: chọn mô hình.

Liên quan: Chọn mô hình · Mở vs đóng · Lượng hóa · Định dạng mô hình