가이드
기초
1
LLM이란 실제로 무엇인가?다음 토큰 예측, 학습이 끝나 고정된 수십억 개의 가중치, 그리고 모든 제품이 텍스트 입력/출력 루프를 감싼 오케스트레이션일 뿐인 이유.
2
토큰과 토크나이저서브워드 어휘, 한국어가 영어보다 컨텍스트를 3–4배 빨리 먹는 이유, 글자 세기 질문이 실패하는 이유.
3
transformer 내부임베딩, 셀프 어텐션, FFN, GQA — 내적과 softmax보다 무거운 것이 하나도 없는 아키텍처 전체.
4
프리필 대 디코드: 생성은 어떻게 돌아가는가물리가 다른 두 단계. 프롬프트 전체를 한 번에 병렬 처리하는 패스 한 번, 그리고 모든 가중치를 다시 읽으며 한 번에 토큰 하나씩 내놓는 생성.
5
파라미터 수가 무엇을 좌우하는가1B 장난감부터 70B+ 프론티어급까지 능력 사다리 — 지식 용량, 이름 규칙, 과제에 맞는 크기.
6
모델은 어떻게 학습되는가 (그리고 왜 직접 하지 않는가)사전학습, SFT, 선호 튜닝 — 각 단계의 비용과 변화, GPU 한 장으로 실제로 가능한 것.
7
오픈 가중치 대 클로즈드 APIApache-2.0부터 API 전용까지의 라이선스 스펙트럼, 상업적 사용이 물리는 함정들, Hugging Face 저장소 이름 읽는 법.
하드웨어
8
어떤 하드웨어가 중요한가 (그리고 아닌 것)용량, 대역폭, 연산량 — 실제로 무엇을 좌우하는지 순으로 정렬했고, 중요하지 않은 스펙시트 항목도 함께.
9
VRAM 계산가중치 + KV 캐시 + 오버헤드: 공식, 8B–70B 계산 표, 그리고 복사해서 쓸 수 있는 16 GB 사이징 워크스루.
10
GPU 티어: 실제로 무엇이 들어가는가각 VRAM 티어에서 실제로 맞는 것, 중고장터 픽, 작은 카드 두 장이 큰 카드 한 장에게 지는 이유.
11
Apple Silicon과 통합 메모리통합 메모리는 RAM을 VRAM로 만듭니다. 칩 등급별 대역폭, MLX 대 llama.cpp, 그리고 스왑 함정.
12
CPU만으로 실행하기DDR4/DDR5의 대역폭 산수, 편안함 티어, 프리필 고통, CPU 온리가 실제로 정답인 순간.
13
컨텍스트 창과 KV 캐시컨텍스트가 VRAM을 먹는 이유: 토큰당 공식, GQA, 양자화된 KV, 광고된 창 대 실효 창.
모델과 포맷
14
모델 파일 포맷GGUF, safetensors, AWQ/GPTQ, EXL2, ONNX — 각 컨테이너의 용도, 어떤 엔진이 무엇을 먹는지, 변환 방법.
15
양자화 깊게 보기치트표 너머: 블록 스케일, K-quant 믹스, imatrix I-quant, 품질이 먼저 무너지는 지점, VRAM 인식 의사결정 사다리.
16
오픈 가중치 패밀리 트리Qwen, Llama, Gemma, Mistral, Phi, DeepSeek — 크기, 라이선스, 베이스 대 인스트럭트 명명, MoE 총량 대 활성, 파인튜닝 정글.
17
올바른 모델 선택사례 우선, 벤치마크 2순위: 속지 않고 리더보드 읽기, VRAM 티어별 추천 매트릭스, 확정 전 체험 프로토콜.
실행과 서빙
18
10분 만에 첫 모델빈 장비에서 로컬 모델과 대화까지 — 터미널 또는 GUI 경로, 건강 검사, 그리고 클래식한 첫 실패 세 가지.
19
추론 엔진 비교llama.cpp, Ollama, LM Studio, vLLM, SGLang, exllamav2, MLX, transformers — 각자의 용도, 그리고 차이가 I/O 패턴보다 덜 중요한 이유.
20
결과를 바꾸는 엔진 노브컨텍스트 길이, GPU 오프로드, 스레드, 플래시 어텐션, KV 캐시 dtype, YaRN — 결과를 바꾸는 몇 안 되는 플래그와 그것을 검증하는 로그 라인.
21
tokens/sec의 물리학디코드 속도는 메모리 대역폭을 토큰당 읽는 바이트로 나눈 것입니다 — 이 공식 하나에서 속도향상으로서의 양자화, MoE 이득, CPU 오프로드 절벽, tok/s의 실제 체감이 나옵니다.
22
OpenAI 호환 엔드포인트 서빙chat-completions 형태는 모든 클라이언트가 말하는 공용어입니다 — llama-server, Ollama, vLLM로 서빙하고 SDK를 localhost로 향하게 하고, 문을 잠가세요.
23
UI와 통합Open WebUI, LibreChat, text-generation-webui, Continue.dev, 터미널 도구 — 역할별로 고르세요. 모두 OpenAI 호환을 말하므로 어느 엔진이든 꽂힙니다.
24
배칭과 다중 사용자직렬 서빙은 GPU를 낭비합니다. 배칭은 가중치 읽기 하나를 여러 요청이 공유합니다. 연속 배칭, 페이징드 어텐션, 용량 수학, Ollama에서 vLLM으로 갈 때.
모델 활용
25
프롬프트와 챗 템플릿챗 템플릿은 프롬프트가 여행하는 봉투입니다 — ChatML 대 Llama 대 Gemma 마크업, 퓨샷 계약, 작은 모델이 실제로 따를 수 있는 패턴.
26
샘플링 설정Temperature, top_k, top_p, min_p, repeat_penalty — 각 노브가 logits에 무엇을 하는지, 어떤 순서로 적용되는지, 과제별로 동작하는 프리셋.
27
구조화 출력과 함수 호출프롬프트뿐인 JSON에서 잘못된 토큰을 불가능하게 만드는 문법-마스크 디코딩까지 — 에이전트가 기동하는 도구 호출 규약도 함께.
28
RAG: 모델에게 당신의 데이터 주기청크, 임베딩, 검색, 인용 — 계산 수치가 붙은 완전한 로컬 RAG 파이프라인, 하이브리드 검색, 리랭킹, 그리고 검색 실패와 생성 실패 구별법.
29
LoRA와 QLoRA 파인튜닝소비자 GPU 한 장 위의 어댑터: 튜닝이 바꾸는 것(행동)과 못 바꾸는 것(사실), QLoRA 예산, 지배하는 데이터 규칙, GGUF 내보내기.
30
에이전트와 도구 사용계획–행동–관찰 루프, JSON 스키마로서의 도구, MCP, 긴 실행의 컨텍스트 규율, 그리고 프롬프트 인젝션 — 실제 위협 모델.
31
문제 해결: 증상 → 원인 → 해결고전들을 위한 증상 우선 진단표 — 템플릿 불일치, 로드 시와 실행 중 OOM, 1 tok/s, 반복 루프, 이상한 출력, 잘림 — 그리고 정상 숫자의 생김새.