Apple Silicon과 통합 메모리
Apple Silicon은 다른 게임을 합니다. CPU와 GPU가 하나의 통합 메모리 풀을 공유하고, GPU는 그 거의 전체를 어드레싱할 수 있습니다. 그러니 맥에서는 RAM을 사는 것이 VRAM을 사는 것입니다. 64 GB 맥은 소비자 디스크리트 카드가 담을 수 없는 모든 32B와 대부분의 70B quant를 담습니다. 함정은 대역폭입니다. 테라바이트급 GDDR이 아니라 노트북급 메모리 파이프를 받습니다.
통합 메모리, 구체적으로
PC에서는 시스템 RAM과 VRAM이 분리된 풀이고, 넘치면 VRAM 속도의 극히 일부로 PCIe 왕복이 일어납니다. Apple Silicon에는 물리적 풀이 하나뿐이라 GPU가 복사나 PCIe 세금 없이 "시스템" RAM에서 직접 가중치를 읽습니다. 최근 macOS 버전은 GPU 사용 가능 RAM을 기본적으로 물리량의 대략 3분의 2에서 4분의 3으로 제한합니다. 상한은 올릴 수 있습니다:
sysctl iogpu.wired_limit_mb # 현재 GPU 메모리 상한
sudo sysctl iogpu.wired_limit_mb=49152 # 예: 64 GB 맥에서 48 GB
무엇보다 OS에 몇 GB는 남기세요 — 전부 GPU에 고정하면 기계 전체가 비참해집니다.
칩 등급별 대역폭
디코드 속도는 대역폭 ÷ 토큰당 바이트입니다. 다른 어디와 같은 산수입니다. 8B Q4 모델은 ~5 GB이므로 천장은 대역폭 ÷ 5입니다:
| 칩 등급 | 대략적 대역폭 | 8B Q4 디코드 천장 |
|---|---|---|
| 베이스 M | ~100–120 GB/s | ~20–24 tok/s |
| Pro | ~150–270 GB/s | ~30–55 tok/s |
| Max | ~400–550 GB/s | ~80–110 tok/s |
| Ultra | ~800 GB/s | ~160 tok/s |
계산 예제: ~550 GB/s Max 칩은 8B Q4에서 천장 ~110 tok/s이고 실제로는 70–95를 냅니다. 베이스 칩은 작은 모델엔 괜찮고 30B+에서는 고통스럽습니다. Max와 Ultra가 디스크리트 GPU처럼 느껴지는 등급입니다. 범위는 근사치입니다 — 구매 전 정확한 칩 스펙을 확인하세요.
두 번째 예제, 맥이 존재하는 이유: 32B Q4_K_M 모델은 가중치 ~19.2 GB에 8k에서 KV ~2.1 GB, 여기에 OS가 더해집니다. 36 GB 기계는 얇은 마진으로 돌리고, 48–64 GB는 진짜 컨텍스트 여유를 갖고 돌립니다. 같은 모델은 나머지는 셈하기도 전에 디스크리트 VRAM 24 GB가 필요합니다 — 그리고 단일 카드로 그걸 가진 곳은 거의 없습니다. 현금당 용량이 맥의 논리 전부입니다. 36–128 GB 구간은 소비자 디스크리트 카드가 애초에 커버하지 않는 영역입니다.
생태계: MLX와 llama.cpp
두 경로 모두 건강하고, 아마 둘 다 쓰게 될 것입니다:
- llama.cpp (Metal 백엔드) — 어디서든 돌고, 특이한 quant 포맷을 가장 먼저 받고, NVIDIA/AMD 박스와 같은 GGUF 파일과 플래그를 씁니다.
- MLX — Apple의 배열 프레임워크.
mlx-lm이 생성, 서빙, 변환을 하고, Apple 특화 커널을 가장 먼저 탑재하는 경우가 많습니다. Hugging Face가 주요 패밀리 대부분의 MLX 컨버전을 호스팅합니다.
둘 다 CUDA를 요구하지 않습니다 — 그리고 그것이 구조적 한계이기도 합니다. 집필 시점 기준으로 vLLM, SGLang, TensorRT-LLM은 macOS에서 돌지 않습니다. OpenAI 호환 서빙에는 llama.cpp 내장 서버나 mlx-lm server를 쓰세요.
한계
- 열. MacBook의 Max급 칩은 지속 생성에서 스로틀링되고, Mac Studio는 무기한 클럭을 유지합니다. 노트북은 버스트용, Studio는 서빙용입니다.
- CUDA 없음. 튜토리얼이 vLLM 또는 SGLang을 말하면 그 길은 막혀 있습니다. llama.cpp와 MLX가 챗, 임베딩, 서빙을 충분히 잘 커버해서 문제되는 경우는 드뭅니다 — 문제될 때를 제외하면.
- Quant 시차. 최신 quant와 커널은 llama.cpp에 먼저 착륙합니다. MLX 컨버전은 며칠에서 몇 주 뒤 따라옵니다.
- 스왑은 VRAM이 아닙니다. 메모리 압박이 가중치를 스왑으로 밀면 성능은 저하하는 게 아니라 붕괴합니다. 물리 RAM에서 OS 오버헤드를 뺀 아래로 모델을 사이징하세요. 끝. 예외를 만들 가치가 없습니다.
구매 가이드
- 16 GB: 7–8B Q4까지만. 캐주얼 용도.
- 24–36 GB: 14B는 편안; 36 GB에서는 32B Q4를 컨텍스트 관리와 함께.
- 48–64 GB: 진짜 컨텍스트와 함께 32B Q4/Q5; 64 GB에서는 70B IQ3/Q4를, 가중치 대비 느림에 대한 인내심과 함께.
- 대역폭은 Max 또는 Ultra — 디코드 속도가 사는 것이 그것입니다. 작은 모델, Whisper, 비전에는 베이스 M.
비-LLM 보너스: 이 기계들은 Whisper 전사와 비전 인코더에 탁월합니다. 통합 메모리와 강한 SIMD 유닛이 오디오·이미지 파이프라인을 와트당 비정상적으로 빠르게 만듭니다 — 조용한 Mac Studio는 정당한 멀티모달 일꾼입니다.