어떤 하드웨어가 중요한가 (그리고 아닌 것)

로컬 LLM 성능은 세 가지 자원으로 귀결되며, 셋은 대등하지 않습니다. VRAM 용량은 무엇을 실행할 수 있는지 결정합니다. 메모리 대역폭은 생성이 얼마나 빠르게 느껴지는지 결정합니다. 순수 연산량은 주로 Enter를 누른 직후 얼마나 기다리는지를 결정합니다. 이들을 올바로 순위 매기면 모든 하드웨어 결정이 자명해집니다. 잘못 매기면 결코 쓰지 않을 테라플롭스에 돈을 냅니다.

순위: 용량, 대역폭, 연산량

1. VRAM 용량 (GB) — 결정적 제약. 들어가지 않는 모델은 실행되지 않거나, 시스템 RAM으로 넘쳐서 기어갑니다. 용량은 모델 크기, 양자화 수준, 컨텍스트 길이를 동시에 결정하며, 부족하면 카드의 그 무엇도 만회해주지 못합니다.
2. 메모리 대역폭 (GB/s) — 토큰이 얼마나 빨리 나오는가. 생성되는 모든 토큰은 사실상 모델 전체를 VRAM에서 읽으므로, 디코드 속도는 대역폭을 바이트 단위 모델 크기로 나눈 것입니다. 생성 중에는 연산 유닛이 대부분 놀고 있습니다.
3. 연산량 (TFLOPS) — 프리필, 즉 첫 토큰이 나오기 전에 프롬프트를 소화하는 데 중요합니다. FLOP이 많을수록 첫 토큰까지의 시간이 짧아지고 여러 요청이 GPU를 공유할 때 배칭 처리량이 늘어납니다. 단일 스트림 초당 토큰은 거의 움직이지 않습니다.

어느 자원이 어느 경험을 사는가

두 개의 공식이 직관의 거의 전부를 담습니다:

decode tok/s   ≈ effective bandwidth (GB/s) ÷ model size (GB)
prefill FLOPs  ≈ 2 × parameters × prompt tokens

계산 예제. Q4_K_M의 8B 모델은 가중치 약 5 GB입니다. 대역폭 ~1,000 GB/s GPU에서 디코드 천장은 1,000 ÷ 5 ≈ 200 tok/s이고, 오버헤드를 치르고 나면 실제 엔진은 100–150에 착륙합니다. 같은 조건에서 2,000 토큰 프롬프트는 대략 2 × 8×10⁹ × 2×10³ ≈ 32 TFLOP의 프리필을 필요로 합니다 — 현대 디스크리트 GPU라면 1초 미만, CPU에서는 체감될 만큼 느립니다. 시뮬레이터에서 실제 숫자로 이 트레이드오프를 만져볼 수 있습니다.

새 GPU 세대가 디코드를 거의 빠르게 하지 않는 이유

GPU는 세대마다 연산량을 대략 두 배로 늘립니다. 코어가 많아지고, 클럭이 높아지고, 텐서 유닛이 좋아집니다. 프리필과 TTFT는 그에 걸맞게 좋아집니다 — 긴 프롬프트의 RAG와 코드베이스 규모 에이전트가 새 카드에서 눈에 띄게 빨라집니다. 그러나 메모리 시스템은 훨씬 덜 움직입니다. GDDR6에서 GDDR6X, GDDR7로 가도 세대당 대역폭은 기껏해야 20–50% 늘고, 디코드가 기어가는 것은 대역폭입니다. 그러니 새 카드는 프롬프트를 더 빨리 소화한 뒤, 비슷한 대역폭의 이전 티어와 거의 같은 속도로 생성합니다. 로컬 LLM용 카드를 비교할 때는 GB/s와 VRAM 열부터 읽고 TFLOPS는 마지막에 읽으세요.

대체로 중요하지 않은 것들

• PSU 여유. LLM 추론은 카드의 게이밍 피크보다 훨씬 적게 끌어옵니다. 카드 공식 요구량에 맞춘 제대로 된 PSU면 충분합니다. 결코 풀로드되지 않을 1,600 W 괴물을 예산에 넣지 마세요.
• 쿨링. 지속적인 수시간 서빙만이 의미 있습니다. 거기서 열 스로틀링이 클럭을 깎습니다. 제대로 된 듀얼/트리플 팬 카드라면 버팁니다.
• PCIe 레인. x8 대 x16, Gen 4 대 Gen 5 — 모델 로드 시간과 CPU 오프로드 트래픽에 영향을 주지 생성에는 영향이 없습니다. 레이어를 오프로드하지 않는다면 무시하세요.
• NVLink와 프로 드라이버. 취미 서빙은 디코드 중 카드 간에 거의 아무것도 오가지 않습니다. 있으면 좋지만 여기서 돈을 낼 가치는 없습니다.
• NPU. 현대 노트북·데스크톱 SoC의 NPU는 작은 비전·오디오 모델에는 진짜 좋지만, 집필 시점 기준으로 이것을 겨냥한 실용적인 LLM 서빙 스택은 없습니다. 챗 모델은 GPU, CPU, 또는 Apple Silicon으로 계획하세요 — NPU가 아니라.

크기 산정 마인드셋: 모델 먼저, 카드는 나중

"내 GPU로 뭐가 돌까"가 아니라, 실제로 원하는 모델 티어를 먼저 정하고, 그것을 여유를 두고 담을 가장 싼 카드를 사세요:

1. 워크로드를 고릅니다. 캐주얼 8B 챗, 진지한 32B 코딩/추론 어시스턴트, 또는 예산이 허락하는 70B급 품질.
2. 실제로 쓰는 컨텍스트를 넣고 좋은 quant에서의 크기를 계산합니다 — VRAM 계산에 공식과 계산 표가 있습니다.
3. 10–20% 여유를 두고 카드 티어에 맞춥니다 — GPU 티어가 티어별 모델을 매핑합니다.
4. 그다음에야 그 티어 안에서 대역폭을 최적화합니다.

GPU 예산에서 출발하는 것이 사람들이 쓸모없을 만큼 작은 모델만 담기는 빠른 카드나, 40% 활용률로 쓰이는 거대한 카드를 갖게 되는 경로입니다. 모델에 예산을 잡고, 그다음 메모리에 잡으세요. 연산량은 알아서 정리됩니다. 그리고 무엇이든 업그레이드하기 전에 실제 보유 사양을 확인하세요:

nvidia-smi --query-gpu=name,memory.total,memory.used --format=csv

관련: VRAM 계산 · GPU 티어 · 속도 · CPU 추론