GPU 티어: 실제로 무엇이 들어가는가

VRAM 티어가 게임의 전부입니다. 대역폭은 한 티어 안에서 얼마나 빨리 도는지를 정하지만, 용량은 어떤 모델이 메뉴에 있는지 자체를 정합니다. 아래는 집필 시점 기준의 실용적 지도입니다. 각 티어에서 진짜로 맞는 것과 대표 카드들. 티어가 여기서 안정적인 지식입니다 — 개별 SKU는 제품 주기마다 이름이 바뀌지만, VRAM 구간은 십 년간 거의 움직이지 않았습니다.

티어 표

티어별 비고:

• 6–8 GB는 입문 티어입니다. 7–8B Q4 어시스턴트는 실제로 유용합니다. 8k를 넘는 컨텍스트가 다른 무엇보다 먼저 조여옵니다.
• 12 GB는 가격의 스위트 스팟입니다. 14B Q4는 8B급을 넘어서는 첫 번째 진짜 품질 도약이고, 제대로 된 컨텍스트와 함께 들어갑니다.
• 16 GB면 Q6의 14B(거의 무손실) 또는 저비트 quant의 24B를 얻습니다. IQ3의 32B는 돌아가지만, 32B에서 3비트는 양자화 손상이 드러나는 지점입니다.
• 24 GB는 로컬 LLM의 클래식입니다. 16k 컨텍스트의 32B Q4/Q5가 1인용 기가바이트당 품질의 최고점입니다. IQ2_XS의 70B는 브로슈어에는 맞고 귀에는 실망입니다 — 파라미터 대비 비트가 너무 적습니다.
• **32–48 GB+**는 Q4 이상의 70B, 그리고 여러 사용자의 동시 서빙을 위해 존재합니다(동시성 참고).

중고 시장

RTX 3090(24 GB, ~936 GB/s)은 집필 시점에도 여전히 클래식 가성비 픽입니다. 새 플래그십의 일부 가격으로 24 GB를 얻고, 32B Q4가 여유 있게 들어갑니다. 주의점: 부하 시 350 W, 블로스루 쿨러가 케이스 안에 열을 쏟고, 채굴 시절 카드는 서멀 재도포가 필요할 수 있습니다. 명예 예산 언급: 새 RTX 3060 12 GB, 또는 리스크가 취향이라면 22 GB 메모리 개조된 중고 2080 Ti. 중고 데이터센터 카드(P40, Tesla T4 시대)는 싼 VRAM이지만 대역폭이 느리고, 시끄럽고, 최신 기능 지원이 없습니다 — 만지작거리기엔 좋고 일상 사용으론 지치는 선택입니다.

멀티 GPU: 용량은 되지만 속도는 대체로 안 됩니다

두 카드로 쪼개면 용량을 사는 것이지 대역폭을 사는 것이 아닙니다:

• 레이어 분할 (파이프라인) — 각 GPU가 연속된 레이어 블록을 갖습니다. 버스를 건너는 것은 작은 활성화뿐. 용량은 거의 선형으로 늘고 디코드 페널티는 적습니다. llama.cpp는 장치들에 레이어를 분산하면 이것을 자동으로 합니다.
• 텐서 병렬 — 모든 matmul을 카드들로 쪼갭니다. 성립하려면 빠른 카드 간 링크가 필요하고, 취미 스택들의 구현은 불완전합니다.
• 어느 쪽도 두 카드 대역폭의 합에 도달하지 못합니다. 24 GB 카드 두 장은 70B를 두 배가 아니라 대략 카드 한 장의 디코드 속도로 돌립니다. 1인용이라면 큰 카드 한 장이 작은 카드 두 장보다 거의 언제나 나은 구매입니다 — 쌍으로 사는 것은 다른 방법으로는 얻을 수 없는 용량이나 동시 서빙을 위해서만.

노트북 GPU

노트북 RTX 4070은 데스크톱 4070과 정확히 같은 것을 담습니다 — 용량은 섀시가 아니라 VRAM 구성을 따릅니다. 다른 점은 전력입니다. 공유 열예산 아래서 지속 클럭이 낮게 잡히므로, 데스크톱 형제보다 디코드가 대략 20–40% 느리고 프리필도 비례해 느리다고 예상하세요. 출장과 데모에는 좋습니다. 이것이 일상 작업이라면 데스크톱을 건너뛸 이유가 못 됩니다.

프로 카드와 NVLink

워크스테이션 카드는 ECC, 인증 드라이버, 블로워 쿨러, 대용량 VRAM 구성을 삽니다 — 용량 프리미엄은 가치가 있을 수 있지만 나머지는 추론과 무관합니다. NVLink는 텐서 병렬 학습 트래픽을 위해 존재합니다. 취미 서빙은 카드 사이를 거의 건너지 않는 대역폭 병목 디코드입니다. 특정 용량(48/96 GB)이 요구하지 않는 한 둘 다 건너뛰세요.

구매 전 확인

nvidia-smi --query-gpu=name,memory.total,memory.used --format=csv

그런 다음 어떤 티어 표보다 먼저, 실제로 원하는 모델에 대해 VRAM 계산을 돌려 보세요 — 아키텍처는 바뀌어도 공식은 바뀌지 않습니다.

관련: VRAM 계산 · 동시성 · Apple Silicon