10분 만에 첫 모델

쓸 만한 모델을 로컬에서 돌리는 것은 이제 주말 프로젝트가 아니라 10분짜리 일입니다. 거의 모두를 커버하는 두 경로가 있습니다. 명령어를 좋아하는 사람을 위한 터미널(Ollama), 진행 바를 좋아하는 사람을 위한 GUI(LM Studio). 둘 다 같은 곳에 도착합니다 — 당신 디스크 위의 양자화된 GGUF 하나, 인터랙티브 속도로 답하고, 외부로 아무것도 전송하지 않습니다. 하나를 골라 실행하고, 마지막의 건강 검사를 돌려 보세요.

시작하기 전에

장비에 관한 세 숫자를 알아두세요:

VRAM (또는 통합 메모리): 8 GB면 Q4의 7–9B가 돌아갑니다. 16 GB는 13–14B를 다룹니다. 24 GB는 30B급에 닿습니다. 전체 사이징 수학은 VRAM 계산에.
메모리 대역폭: 연산량이 아니라 이것이 당신의 tok/s를 결정합니다 — 속도 참고.
남은 디스크: 모델을 두 개 이상 시도할 계획이라면 50–100 GB를 잡으세요.

경로 A: 터미널 경로 (Ollama)

Ollama를 설치하세요 — Linux/macOS는 한 줄 설치 스크립트, Windows는 인스톨러. 로컬 서비스를 시작하고 ollama 명령을 줍니다. 계정도 없고 키도 없습니다.

중형 오픈 모델 하나를 고르세요. 집필 시점 기준으로 7–9B급 — qwen3:8b 또는 Llama 3.1 8B급 모델 — 이 올바른 첫 모델입니다. 실제로 유용하고, 8 GB GPU에 들어가거나 CPU를 견딥니다. 한국어를 쓴다면 Qwen과 Gemma 패밀리가 전통적으로 한국어 텍스트를 잘 다뤘습니다 — 하지만 토크나이저가 다르니 당신 글의 실제 문단으로 테스트하세요(토큰 참고).

# 한 번에 받아오기(~5 GB)하고 바로 대화 시작
ollama run qwen3:8b

이제 당신은 챗 루프 안에 있습니다. 메시지를 치고 Enter를 누르고 토큰이 흘러나오는 것을 지켜보세요. 첫날의 슬래시 명령:

/bye          # 챗 나가기
/show info    # 양자화, 컨텍스트 길이, 사용 중인 템플릿

셸로 돌아와서 두 개 더:

ollama list   # 디스크에 뭐가 있고 각각 얼마나 큰가
ollama ps     # 지금 메모리에 뭐가 올라와 있고 어디에

ollama ps가 당신의 첫 진짜 계기입니다. 상주 크기와 100% GPU 또는 48%/52% CPU/GPU 같은 CPU/GPU 분할을 보고합니다. 분할에 CPU가 보이면 모델이 GPU에 완전히 올라가지 않았다는 뜻입니다 — 하드웨어 한계가 아니라 고칠 수 있는 설정 문제입니다. 엔진 노브 참고.

건강한 판독 예시:

NAME         ID           SIZE     PROCESSOR    UNTIL
qwen3:8b     a1b2c3d4...  5.7 GB   100% GPU     4 minutes from now

SIZE가 디스크 파일보다 큰 것은 정상입니다. 상주 크기는 가중치에 컴퓨트 버퍼를 더한 것이지 두 번째 복사본이 아닙니다.

경로 B: GUI 경로 (LM Studio)

LM Studio를 설치하세요. 검색 탭을 열고 패밀리 이름 — Qwen3, Llama 3, Gemma 3 — 을 치면 크기와 양자화의 벽이 나옵니다. 두 규칙이면 단순하게 유지됩니다:

메모리에 파라미터 수부터 맞추세요: KV 캐시 전에 8B Q4는 대략 4–5 GB입니다.
다운로드별 크기 힌트를 믿으세요 — 여유를 포함하므로 "맞음"이 실제로 맞습니다. Q4_K_M급 quant를 선호하세요. 세부는 양자화에.

다운로드는 진행 바입니다. 챗 탭에서 모델을 로드하고 대화하세요. 하단 판독값이 생성 중 초당 토큰을 보여줍니다 — 그 숫자를 건강 검사를 위해 기억하세요. LM Studio는 OpenAI 호환 로컬 서버도 열 수 있고, 그것은 나중에 서빙에서 유용해집니다.

tok/s 판독값이 낮아 보여도 아직 아무것도 지우지 마세요 — 뭔가 망가졌다고 결론 내리기 전에 아래 건강 검사부터 끝내세요.

"풀링"이 실제로 하는 일

마법은 없습니다. 이 생태계의 모델은 GGUF 파일 하나입니다(모델 포맷 참고). 모든 레이어와 토크나이저와 메타데이터를 담은 단일 블롭. ollama pull과 LM Studio의 다운로더가 그 블롭을 청크로 받습니다 — 그것이 당신이 보는 단계적 진행입니다 — 다이제스트를 검증하고, 로컬 인덱스에 파일을 등록합니다. 중단된 다운로드는 멈춘 지점에서 이어집니다. "모델 설치"는 문자 그대로 큰 파일을 내려받고 그것이 사는 곳을 기억하는 일입니다. 계정도, 라이선스 서버도, 외부 전송도 없습니다.

첫 실행 건강 검사

세 숫자가 설정이 정상인지 말해줍니다:

검사	확인 위치	건강의 모습
디코드 속도	tok/s 판독(LM Studio) 또는 Ollama 로그의 타이밍	최신 디스크리트 GPU에서 30+ tok/s; 물리는 속도에
첫 토큰까지의 시간	응답이 시작되기까지 얼마나 걸리나	짧은 프롬프트에 웜 상태 ~1 s 미만; 긴 붙여넣기는 더 걸림 (프리필 — 속도 참고)
메모리 적합	`ollama ps`, GPU 미터, 시스템 모니터	모델 + KV 캐시가 완전 상주; 수학은 VRAM 계산에

셋 다 통과하면 튜닝을 멈추고 모델을 사러 가세요. 이 단계에서는 프롬프트 품질이 다른 무엇보다 지배적입니다 — 프롬프팅 참고.

클래식한 첫 실패 세 가지

증상	실제 원인	해결
로드 실패 또는 out-of-memory 크래시	모델이 안 들어감	quant 한 단계 하향 (Q4 → Q3) 또는 모델 한 단계 축소 (8B → 4B); 양자화 참고
유창한 쓰레기, 엉뚱한 언어, 반복 루프	모델에 맞지 않는 챗 템플릿	러너가 모델 자체 템플릿을 써야 함; 프롬프팅과 문제 해결 참고
GPU가 있는데 1–2 tok/s	대부분 레이어가 여전히 CPU에	풀 GPU 오프로드 강제; 엔진 노브 참고

셋 다 하드웨어가 아니라 설정입니다. 어느 것도 "이 기계로는 못 한다"는 뜻이 아닙니다.

파일이 사는 곳, 그리고 디스크 위생

Ollama는 모든 것을 ~/.ollama 아래에 둡니다 — 모델은 ~/.ollama/models 아래 콘텐츠 주소 블롭으로 저장됩니다. LM Studio는 ~/.lmstudio를 씁니다(구형 빌드: ~/.cache/lm-studio). 둘 다 놀랍도록 빨리 자랍니다. pull마다 2–20 GB이고, UI에서 삭제하면 블롭이 디스크에 남는 경우가 있습니다.

보상받는 습관들:

매월 ollama list를 돌리고 손대지 않은 것은 ollama rm하세요.
디스크가 차기 전에 모델 디렉터리를 알아두세요. 나중에 옮기는 것은 환경 변수 하나(OLLAMA_MODELS)와 파일 복사입니다. 재다운로드가 아닙니다.
"만약을 위해" 다운로드 다섯 개보다 실제 과제당 모델 하나가 낫습니다 — 콜드 스토리지도 대역폭 비용은 이미 지불했습니다.
LM Studio도 인덱스에서 지우지만, 모델 폴더가 실제로 줄었는지 확인하세요 — 믿되, 검사하세요.

관련: 추론 엔진 · 엔진 노브 · 속도 · 모델 선택