올바른 모델 선택

모델 선택은 세 입력의 함수입니다. 메모리 예산, 사용 사례, 품질 바닥. 벤치마크는 세 번째에만 정보를 줍니다. 앞의 두 개는 산수입니다. 나머지를 무시하고 하나만 최적화하는 것이, 벤치마크는 아름답지만 화요일의 실제 과제를 못 하는 모델을 갖게 되는 경로입니다.

세 가지 입력

1. 예산 — GPU의 VRAM, Apple Silicon의 통합 메모리. 법칙: Q4_K_M 가중치 ≈ 십억 파라미터당 0.6 GB, 거기에 KV 캐시와 오버헤드를 더합니다 — 전체 방법은 VRAM 계산에 있습니다.
2. 사용 사례 — 모델이 매일 해야 할 것. 아래에서 전개.
3. 품질 바닥 — 이 밑이면 출력이 당신에게 무용한 수준. 글쓰기 동반자는 출력이 컴파일되어야 하는 코드 생성기보다 슬롭을 더 견딥니다.

예산은 컨텍스트도 제한합니다. 작은 카드에서 초대형 컨텍스트 계획은 KV 캐시 압력과 가중치 품질을 맞바꾸는 것일 뿐입니다. 모든 것은 트레이드오프입니다.

계산 예제, 16 GB GPU → OS가 몫을 챙기고 사용 가능 ~13.5 GB: 넉넉한 컨텍스트의 14B Q4_K_M(가중치 ~8.5 GB), 또는 초대형 컨텍스트의 8B Q6_K(~6.6 GB). 둘 다 들어갑니다. 둘 사이는 사용 사례가 정합니다.

사용 사례에서 시작하세요

• 범용 챗과 글쓰기 — 중형 인스트럭트(8–14B급)의 Q5–Q6이 대부분의 사람을 커버합니다. 그 티어를 넘어서면 벤치마크 점수보다 스타일 취향이 더 중요합니다.
• 코딩 어시스턴트 — 강한 코더 혈통(Qwen Coder, DeepSeek-Coder 후손)을 선호하고 컨텍스트를 길게 유지하세요. 가치는 리포지토리 컨텍스트에 둘러싸인 파일 중간을 채우는 것입니다. 실제 코드는 챗보다 느슨한 quant에 더 일찍 벌을 줍니다.
• 긴 문서 — 주장된 컨텍스트가 사용 가능한 컨텍스트인지 검증하세요. 많은 "128k" 모델이 앞뒤는 잘 보고 중간을 죽입니다. 믿기 전에 테스트하세요. 프로토콜은 아래에.
• 한국어 / 다국어 — Qwen 1순위, Gemma 2순위. 둘 다 한국어를 무난하게 다룹니다. 영어 우선 패밀리는 문법과 존댓말에서 금이 갑니다. 세부는 모델 패밀리에.
• 추론 집약 작업 — 추론 특화 체크포인트(Qwen3 thinking 모드, R1 증류)를 선호하세요. 수학과 계획에서 레이턴시를 정확도와 맞바꾸고, 양자화 손상도 더 큽니다 — quant를 높게 유지하세요.
• 값싼 대량 추출 — 구조화 출력을 붙인 소형 인스트럭트(1.5–3B)가 문서당 몇 배 비용의 큰 모델을 이깁니다. 정규식 모양 작업에 8B를 쓰지 마세요.
• 에이전트와 도구 사용 — 진짜 요구 사항은 순수 IQ가 아니라 지시 이행과 형식 규율입니다. 실전에서는 ≥7–9B급을 의미하고, 여유가 되면 그 이상. 잘못된 도구 호출 하나가 사슬 전체를 망칠 수 있습니다. 에이전트 참고.

속지 않고 벤치마크 읽기

정직을 유지하는 습관들: 절대 숫자보다 같은 하니스 안의 상대적 델타를 선호하세요. 2점 미만 차이는 잡음으로 취급하세요. 재현 가능한 설정 없는 주장을 의심하세요. 그리고 벤치마크를 둘러싼 오염 논의를 읽으세요 — 리더보드 자체보다 유익한 경우가 많습니다.

가장 싼 방어는 삼각측량입니다. 진짜 좋은 모델은 독립적인 신호들에서 그것을 보입니다 — 연구소 평가, 아레나, 커뮤니티 스레드, 당신 자신의 프롬프트 세트. 신호가 어긋나면 당신 워크로드에 가장 가까운 것을 믿으세요. 당신의 프롬프트 20개는 당신 용도로는 모든 리더보드보다 위입니다. 실제 분포를 샘플링하니까.

로컬 커뮤니티 신호

벤치마크는 연구소의 프롬프트로 돌립니다. 더 나은 신호는 당신이 다운로드하려는 바로 그 파일을 돌리는 사람들입니다:

• Hugging Face 트렌딩과 다운로드 수 — 느리게 움직이는 인기, 장기간 속이기 비쌉니다.
• 커뮤니티 양자화자들(bartowski, mradermacher)이 전체 사다리에 걸쳐 양자화하는 릴리스 — 쓸 만한 중요도 필터.
• r/LocalLLaMA 스레드 — 모델 이름으로 검색하고 최신순 정렬. 반복되는 칭찬과 불만은 진짜입니다. 여기서는 "집필 시점 기준"을 이중으로 적용하세요. 로컬 합의의 반감기는 몇 주입니다.
• quant별 보고 — Q4의 모델 X 품질은 FP16의 모델 X와 다른 질문이고, 둘 다 연구소가 보고한 것과 다릅니다.

추천 매트릭스

집필 시점 기준 VRAM 티어별 시작점. 대략 Q4_K_M quant와 적당한 컨텍스트 가정 — 하드웨어는 GPU 티어에서 교차 확인하세요:

매트릭스를 복음이 아니라 검색 출발점으로 취급하세요 — 판도는 분기마다 뒤집힙니다. 어떤 티어에서든 안정적인 조언: 새 세대를 선호하고, Q4 바닥까지는 작은 모델의 Q8보다 큰 모델의 Q4를 선호하세요(그 아래에서는 양자화 손상이 이깁니다 — 양자화 참고).

안정적인 규칙 하나 더: 두 모델이 비기면 라이선스에 우호적인 쪽을 고르세요. Apache-2.0과 MIT는 뒤에서 물지 않습니다. 커뮤니티 라이선스는 가끔 물어뜯습니다 — 오픈 대 클로즈드 참고.

확정 전에 체험하세요

30분의 절제가 일주일의 감으로 이깁니다:

1. 10–20개의 고정 프롬프트 세트를 만듭니다 — 실제로 가장 어려운 사례들. 다시 쓸 한국어 이메일, 고칠 버그 diff, 확인 가능한 사실 하나가 묻힌 문서 요약.
2. 모든 후보를 같은 프롬프트, 같은 샘플링 설정, 같은 quant 수준에서 돌립니다. 한 번에 하나만 바꿉니다.
3. 블라인드 A/B: 출력을 섞고 어느 모델이 만들었는지 모른 채 판정합니다. 스프레드시트와 친구면 충분합니다. 현재 가장 강한 모델을 심판으로 써도 됩니다.
4. 한국어를 구체적으로 확인합니다: 존댓말 일관성(존댓말/반말), 자연스러운 조사, 영어 직역투 없음. "한국어 아는" 모델은 한국어 옷을 입은 번역된 영어를 쓰는 경우가 많습니다.
5. 롱 컨텍스트를 확인합니다: 긴 붙여넣기 70% 깊이에 사실을 묻고 물어봅니다. 이 단일 테스트가 어떤 리더보드보다 많은 "128k" 모델을 탈락시킵니다.
6. 동점은 temperature 0으로 재실행하세요 — 샘플링 잡음이 모델 차이로 위장하는 일은 누구나 인정하는 것보다 잦습니다.

하니스는 돌아가는 llama-server에 대한 셸 네 줄이면 됩니다:

while IFS= read -r prompt; do
  curl -s http://localhost:8080/v1/chat/completions \
    -H 'Content-Type: application/json' \
    -d '{"messages":[{"role":"user","content":"'"$prompt"'"}],"temperature":0.7}' \
    >> out-model-a.jsonl
done < prompts.txt

같은 루프를 모델마다 출력 파일 하나씩; 그런 다음 라벨을 숨긴 채 나란히 읽으세요.

클로즈드 API가 여전히 이기는 순간

로컬은 통제, 프라이버시, 물량에서의 한계 비용에 관한 것이지 프론티어 능력에 관한 것이 아닙니다. 집필 시점 기준으로, 가장 강한 클로즈드 API는 어려운 추론과 긴 에이전트 사슬에서 여전히 가장 강한 오픈 가중치를 이깁니다. 설정도 제로입니다. VRAM 없음, 엔진 튜닝 없음, quant 수학 없음.

비용에 대해, 헤지 붙인 숫자: 하드웨어가 이미 있다면 로컬 8B Q4는 토큰당 사실상 공짜입니다. 프론티어 API는 백만 토큰당 몇 달러 수준을 청구합니다. 취미 물량에서는 둘 다 0으로 반올림됩니다. 하루 수백만 토큰이면 가격만으로 로컬이 이깁니다. 능력 격차 — 가격이 아니라 — 가 API 키를 곁에 두는 정직한 이유입니다.

내구성 있는 패턴은 하이브리드입니다. 로컬 모델을 기본으로, 막히는 소수의 프롬프트에 API. 트레이드오프는 오픈 대 클로즈드에서 의식적으로 저울질하세요.

관련: GPU 티어 · 모델 패밀리 · 에이전트 · 오픈 대 클로즈드