오픈 가중치 패밀리 트리

소수의 패밀리가 로컬 사용의 거의 전부를 커버하고, 각자는 크기와 사후학습 변형의 사다리로 출시됩니다. 트리를 알면 Hugging Face의 무작위 파인튜닝이 실제로 무엇 위에 지어졌는지, 그리고 어떤 베이스에 먼저 손을 뻗어야 하는지가 보입니다. 이들 전부는 오픈 가중치입니다. 그것이 주고 안 주는 것은 오픈 대 클로즈드에 있습니다.

주요 패밀리

명예 언급: GLM(Zhipu)과 Yi(01.AI) — 롱 컨텍스트 변형을 가진 강한 베이스. OLMo(AllenAI) — 완전한 오픈: 학습 데이터, 코드, 체크포인트가 전부 공개. "오픈"이 가중치 이상을 의미해야 할 때의 기준점.

크기와 라이선스 조건은 릴리스마다 흔들립니다 — 상업적 출하 전에 모델 카드를 읽으세요.

패밀리별 비고

• Qwen — 다국어 로컬 사용의 기본 답. 크기 사다리가 유례없이 잘게 나뉩니다(덴스 0.6/1.7/4/8/14/32B, 여기에 30B-A3B와 235B-A22B MoE). 그래서 모든 VRAM 티어에 Qwen이 있습니다. Qwen3 세대는 대부분 크기에 프롬프트별 "thinking" 토글을 추가했습니다.
• Llama — 품질 프론티어라기보다 호환성 프론티어. 모든 도구, 튜토리얼, 파인튜닝이 이것을 먼저 지원합니다. Llama 4는 MoE로 옮겨가서, 덴스 3.x 라인이 많은 로컬 설정의 일상용으로 남습니다.
• Gemma — 파일 크기 대비 꾸준히 강합니다. 노트북에서 Q4에 묶여 있을 때 중요합니다. Gemma 3의 비전 입력은 로컬에서 쉬운 멀티모달 기본값으로 만듭니다.
• Mistral — 쓸 만한 오픈 7B와 오픈 MoE(Mixtral 8x7B)의 개척자. 최근 플래그십은 클로즈드로 기웁니다. 오픈 7B와 Small(22–24B) 변형은 여전히 일꾼입니다.
• Phi — 정제된 "교과서 품질" 합성 데이터로 무겁게 학습. 수학과 논리에서 몸집 대비 강하고 세계 지식은 얇습니다. 좋은 작은 에이전트 두뇌.
• DeepSeek — V3와 R1이 오픈 추론 능력을 앞으로 밀었습니다. 풀 모델은 제대로 된 하드웨어가 필요하지만, R1 증류 패밀리(Qwen/Llama 베이스를 R1 추론 트레이스로 학습)는 1.5B부터 사고 연쇄를 로컬로 돌립니다.

한눈에 보는 세대

패밀리 트리는 빠르게 움직입니다. 세대는 우유처럼 시듭니다. 여기서 다루는 대략적 계보, 오래된 것부터:

유용한 규칙: 패밀리 안에서는 새 세대의 더 작은 크기가 구세대의 더 큰 크기와 대체로 맞먹습니다. 현행 8B는 두 세대 전 30B를 대부분의 과제에서 능가합니다 — 그래서 올바른 직관은 "들어가는 가장 큰 모델"이 아니라 "들어가는 가장 새로운 모델"입니다.

모델 이름 읽기: 베이스 대 인스트럭트 대 추론

모든 패밀리는 여러 사후학습 변형으로 출시됩니다. 이름이 해독 반지입니다:

베이스 모델은 당신의 텍스트를 이어 써서 답합니다. 인사하면 포럼 스레드, FAQ, 인사에 관한 위키식 문단이 나올 수 있습니다. 인스트럭트 모델은 어시스턴트처럼 행동합니다. 이 가이드의 나머지는 전부 인스트럭트 또는 추론 체크포인트를 가정합니다 — 베이스 모델을 돌려놓고 "로컬 모델은 멍청하네"라고 결론 내리는 것은 클래식 첫 주 실수입니다.

MoE: 총 파라미터 대 활성 파라미터

MoE(전문가 혼합) 모델은 어느 한 토큰도 쓰지 않는 것보다 훨씬 많은 가중치를 저장합니다. 각 층의 피드포워드 블록이 전문가 서브네트워크로 쪼개지고, 작은 라우터가 층마다 토큰마다 상위 몇 개의 전문가를 고릅니다. "235B-A22B"는 235B 파라미터가 저장되고 토큰당 ~22B가 활성된다는 뜻입니다. 두 비용이 갈라집니다:

memory for weights  ∝ total params    (all experts must sit in RAM/VRAM)
compute per token   ∝ active params   (only the routed experts run)

그러니 MoE는 가중치를 담을 수 있다면 작은 모델의 속도로 큰 모델의 품질을 삽니다. 그것이 Qwen3-30B-A3B의 로컬 스토리 전부입니다. 24–32 GB 기계를 위한 ~30B의 저장된 능력, ~3B의 디코드 비용, 같은 크기 덴스를 점수로 제치면서도 더 빨리 생성합니다. 메커니즘은 속도에 있습니다.

같은 메모리 예산, 다른 모양:

MoE 주의점: 활성 파라미터당 품질은 덴스 모델보다 낮고, 라우팅은 배치 크기 1에서 오버헤드를 더하며, 라우터는 엉성한 양자화에 민감합니다 — MoE 체크포인트에는 손으로 만든 것보다 커뮤니티 검증 quant 레시피를 선호하세요.

한국어와 다국어

집필 시점의 대략적 커뮤니티 합의: 1순위 Qwen(크기 사다리 전반의 강한 한국어), 2순위 Gemma(깨끗한 한국어 문장, 가끔 딱딱한 존댓말), 영어 우선 패밀리는 눈에 띄는 3순위(조사 오류, 영어식 직역투). 모델 선택의 프로토콜로 직접 테스트하세요 — 존댓말/반말, 조사 선택, 어조 일관성.

파인튜닝 정글

Hugging Face의 대부분의 저장소는 원래 연구소 것이 아닙니다. 그 위에 문화의 층이 쌓입니다:

• 머지 — 여러 파인튜닝의 가중치 평균(TIES, DARE, SLERP). 어느 부모보다 진짜로 나을 때도 있고, 평가가 더 나쁜 동전 던지기일 때도 있습니다.
• 어블리터레이트(abliterated) — 거절 방향을 수술로 제거. 픽션과 연구에는 유용. 보통 범용 능력 일부를 지불합니다. 라이선스와 관할을 유의하세요.
• "슬롭" 파인튜닝 — 아레나 인기에 걸맞은 합성 데이터에 얹은 빠른 LoRA, 점점 과열되는 이름으로 공개. 품질은 양방향으로 요동칩니다.
• 커뮤니티 quant — bartowski, mradermacher와 동료들이 가중치를 건드리지 않고 업스트림을 재양자화. 이것들은 안전합니다. 검증이 필요한 것은 행동을 바꾸는 파인튜닝들입니다.

파인튜닝의 카드를 열면, 명시된 베이스 모델, 알아볼 수 있는 하니스의 평가(스크린샷이 아니라), 설명된 데이터셋을 찾으세요 — "프라이빗 데이터셋"은 노란 깃발입니다.

기본 정책: 독립적이고 재현된 더 낫다는 증거가 없는 한 업스트림 연구소 릴리스를 선호하세요. 그것을 벤치마크와 커뮤니티 신호와 저울질하는 법은 모델 선택에 있습니다.

관련: 모델 선택 · 오픈 대 클로즈드 · 양자화 · 모델 포맷