파라미터 수가 무엇을 좌우하는가
파라미터 수는 모델을 요약하는 가장 좋은 한 줄 숫자입니다. 지식 용량과 기술을 사주고, 메모리와 속도로 청구합니다. ~30B 미만에서는 사다리의 모든 단을 체감할 수 있고, 그 위로는 수익이 평평해집니다. 이 페이지는 사다리를 그리고 당신 과제에 실제로 필요한 단이 어디인지 알려줍니다.
능력 사다리
| 파라미터 | 급 | 알맞은 용도 | Q4 크기 |
|---|---|---|---|
| 0.5–1B | 유틸리티 | 분류, 추출, 자동완성, 라우팅 | 1 GB 미만; CPU로 충분 |
| 3–4B | 가벼운 어시스턴트 | 빠른 챗, 초안, 요약 | ~2–3 GB |
| 7–9B | 실속형 주력 | 견고한 범용 챗과 코드 | ~4–6 GB |
| 12–14B | 강한 만능형 | 체감되는 추론 향상, 여전히 빠름 | ~8–10 GB |
| 30–40B | 프론티어 근접 | 대부분 과제를 프론티어 인접 품질로 | ~18–24 GB; 24 GB VRAM 필요 |
| 70B+ | 프론티어급 오픈 | 가장 어려운 추론, 최고의 뉘앙스 | ~40 GB; 2×24 GB 또는 48 GB+ |
| MoE (총량 크고 활성 작음) | 예: 총 100B+, 활성 10–30B | 중형 모델 비용의 프론티어급 품질 | 대형 — 모든 전문가가 메모리에 있어야 함 |
집필 시점 기준으로 4비트 30–40B가 로컬의 스윗 스팟입니다. 24 GB 카드에 들어가고 대부분 작업에 프론티어 품질과 충분히 가깝습니다. MoE 모델은 크기 추정을 깨뜨립니다. 속도는 활성 파라미터로, 메모리는 총 파라미터로 판단하세요.
파라미터가 사는 것: 지식 용량
사실은 가중치에 삽니다. 압도적으로 FFN 층에 있습니다(transformer 내부 참고). 용량은 파라미터 수에 비례합니다:
- 유명한 사실(수도, 흔한 API): ~3B부터 신뢰 가능.
- 실무 지식(중간 인기 라이브러리, 부차 주제): 14B+ 원함.
- 롱테일(잘 알려지지 않은 스펙, 틈새 역사): 30B+, 그리고 그래도 빈틈을 예상하세요.
작은 모델은 단지 덜 아는 게 아닙니다. 빈틈을 유창한 창작으로 메웁니다. 그래서 크기가 작아질수록 환각률이 올라갑니다. 작은 모델의 롱테일 질문에는 파라미터보다 검색이 낫습니다(RAG).
접미사 읽기: 베이스 대 인스트럭트
같은 파라미터 수가 서로 다른 행동 단계로 출시됩니다:
- 베이스: 패밀리 이름만 (Qwen2.5-7B). 다음 토큰 완성. 질문하면 더 많은 질문으로 답하거나, 포럼 스레드를 흉내 내거나, 장황하게 이어갈 수 있습니다.
- 인스트럭트/챗: -instruct, -it, -chat 접미사 (Qwen2.5-7B-Instruct). 질문에 답하고, 지시를 따르고, 멈춥니다. 이후 학습 단계에서 그렇게 튜닝되었다(학습 참고).
프롬프트: "How do I boil an egg?"
베이스:
"How do I boil an egg? 10 points for best answer!?"
(문서를 이어 씀 — 텍스트를 주니 더 많은 텍스트를 돌려줌)
인스트럭트:
"Place eggs in a pot and cover with cold water. Bring to a
boil, cover, and remove from heat: 6 min soft, 10–12 hard."
(답하고, 형식을 갖추고, 멈춤)
로컬 사용의 95%는 인스트럭트 변형을 원합니다. 베이스 모델은 완성형 워크로드에서 몫을 합니다. 자동완성, 텍스트 중간 채우기, 창작 이어쓰기, 그리고 직접 파인튜닝의 기판.
저장소 이름에서 만날 추가 접미사들:
- -base: 명시적으로 사전학습 단계 (파인튜닝 기판).
- -coder / -math / -vl: 코드, 수학, 비전-언어 입력용 튜닝.
- 235B-A22B 같은 MoE 명명: 총 파라미터, 그다음 토큰당 활성 — "상주 235B, 가동 22B"로 읽으세요.
- -gguf 또는 quant 태그: 새 모델이 아니라 재포장 (모델 포맷 참고).
두 배마다 체감되는 수익 감소
파라미터가 두 배가 될 때마다 벤치마크 점수 증가는 직전보다 작아지는 반면, 메모리 비용은 선형으로 자라고 디코드 속도는 기가바이트마다 떨어집니다 — 디코드 중 그 전부가 토큰마다 VRAM을 흐릅니다(프리필 대 디코드). 7B → 14B는 격변적이고, 70B → 140B는 대부분 과제에서 미미합니다. 규칙: 당신 테스트를 통과하는 가장 작은 모델을 돌려 보세요.
| 과제 | 시작점 |
|---|---|
| 요약, 추출, 분류 | 3–4B |
| 범용 챗, 글쓰기 | 7–9B |
| 코딩 어시스턴트 | 최소 8–9B; 14B+는 체감되게 나음 |
| 도구 사용, 에이전트 루프 | 14B+; 신뢰성엔 30B+ |
| 어려운 수학, 다단계 추론 | 30B+ 또는 추론 특화 모델 |
| 한국어·다국어 챗 | 다국어 강자 패밀리의 7B+ |
크기가 속도에 치르는 값
디코드는 토큰마다 모델 전체를 스트리밍하므로, 같은 카드에서는 클수록 느립니다. 대략 가중치 바이트에 반비례합니다. 24 GB 카드 한 장(~1 TB/s 대역폭, 4비트 가중치)에서 1인용 디코드의 자릿수:
| 모델 | Q4 크기 | 대략적 디코드 |
|---|---|---|
| 8B | ~4.5 GB | ~100+ tok/s |
| 14B | ~9 GB | ~50–60 tok/s |
| 32B | ~19 GB | ~25–35 tok/s |
| 70B | ~40 GB | 안 들어감 — 2×24 GB 필요, ~20–30 tok/s |
숫자는 대역폭, 드라이버, 배치 크기에 따라 움직이지만 모양은 그렇지 않습니다. 가중치 두 배면 초당 토큰 절반입니다(속도, GPU 티어).
작은 모델은 양자화에 더 민감합니다
30B 모델은 4비트에서 거의 잃지 않습니다. 1B 모델은 4비트에서 많이 잃습니다. 여유분은 크기와 함께 자랍니다. 그래서 큰 가중치는 작은 가중치가 견디지 못하는 거친 반올림을 흡수합니다:
- 30B+: Q4는 거의 공짜, Q3도 대체로 괜찮습니다.
- 7–14B: Q4/Q5는 안전. Q3는 주의 깊게 지켜보고 벤치마크하세요.
- 4B 미만: Q6/Q8/FP16 권장 — 어차피 절감폭이 작습니다.