Apple Silicon & bộ nhớ hợp nhất

Apple Silicon chơi một trận khác. CPU và GPU dùng chung một bể bộ nhớ
hợp nhất, và GPU đánh địa chỉ được gần như toàn bộ — nên trên Mac, mua
RAM là mua VRAM. Một chiếc Mac 64 GB nắm mọi bản lượng hóa 32B và phần
lớn 70B mà không card rời tiêu dùng nào chứa nổi. Cái bẫy là băng
thông: bạn nhận ống bộ nhớ hạng laptop, không phải GDDR terabyte-mỗi-giây.

Bộ nhớ hợp nhất, cụ thể

Trên PC, RAM hệ thống và VRAM là hai bể riêng; tràn nghĩa là những
chuyến PCIe khứ hồi với một phần tốc độ VRAM. Trên Apple Silicon có một
bể vật lý duy nhất, nên GPU đọc trọng số trực tiếp từ RAM "hệ thống"
không cần sao chép, không thuế PCIe. Các phiên bản macOS gần đây giới
hạn RAM dùng được cho GPU ở khoảng hai phần ba đến ba phần tư bộ nhớ
vật lý theo mặc định; bạn có thể nâng giới hạn:

sysctl iogpu.wired_limit_mb                 # giới hạn bộ nhớ GPU hiện tại
sudo sysctl iogpu.wired_limit_mb=49152      # vd. 48 GB trên Mac 64 GB

Dù sao cũng để lại cho HĐH vài GB — ghim hết mọi thứ vào GPU khiến cả
cỗ máy khổ sở.

Băng thông theo hạng chip

Tốc độ decode là băng thông ÷ byte mỗi token, cùng phép tính như mọi nơi
khác. Mô hình 8B Q4 nặng ~5 GB, nên trần là băng thông ÷ 5:

Ví dụ minh họa: chip Max ~550 GB/s có trần ~110 tok/s trên 8B Q4 và
thực tế đạt 70–95. Chip Base ổn với mô hình nhỏ và đau đớn ở 30B+; Max
và Ultra là những hạng cho cảm giác như GPU rời. Các dải chỉ xấp xỉ —
kiểm tra thông số đúng chip trước khi mua.

Ví dụ thứ hai, thứ mà Mac sinh ra để làm: mô hình 32B Q4_K_M nặng ~19.2
GB trọng số cộng ~2.1 GB KV ở 8k, cộng HĐH. Máy 36 GB chạy nó với biên
độ mỏng; 48–64 GB chạy với dư địa ngữ cảnh thật. Cùng mô hình đó cần
24 GB VRAM rời trước khi tính bất cứ thứ gì khác — và rất ít card đơn
có chừng đó. Dung lượng trên mỗi đơn vị tiền là toàn bộ lập luận của
Mac: ngạch 36–128 GB là lãnh thổ card rời tiêu dùng đơn giản không phủ.

Hệ sinh thái: MLX và llama.cpp

Cả hai lối đều khỏe, và bạn nhiều khả năng kết thúc bằng dùng cả hai:

• llama.cpp (backend Metal) — chạy mọi nơi, nhận các định dạng lượng
  hóa lạ nhất trước, và dùng cùng tệp GGUF và flag như những máy
  NVIDIA/AMD của bạn.
• MLX — khung mảng của Apple. mlx-lm sinh văn bản, phục vụ và
  chuyển đổi mô hình, và thường về đích đầu với kernel riêng cho Apple.
  Hugging Face lưu các bản chuyển đổi MLX-community của phần lớn các họ
  nổi tiếng.

Không cái nào cần CUDA — cũng là giới hạn cấu trúc: vLLM, SGLang và
TensorRT-LLM không chạy trên macOS tại thời điểm viết. Để phục vụ tương
thích OpenAI, dùng server tích hợp của llama.cpp hoặc mlx-lm server.

Những giới hạn

• Nhiệt. Chip hạng Max trong MacBook throttle khi sinh văn bản liên
  tục; Mac Studio giữ xung vô thời hạn. Laptop dành cho các cú bùng nổ,
  Studio dành cho phục vụ.
• Không CUDA. Nếu một bài hướng dẫn nói vLLM hay SGLang, lối đó
  đóng. llama.cpp và MLX phủ chat, embedding và phục vụ đủ tốt đến mức
  hiếm khi quan trọng — cho đến khi quan trọng.
• Độ trễ lượng hóa. Các bản lượng hóa và kernel mới-toanh nhất hạ
  cánh ở llama.cpp trước; bản chuyển đổi MLX theo sau trong vài ngày đến
  vài tuần.
• Swap không phải VRAM. Khi áp lực bộ nhớ đẩy trọng số vào swap, hiệu
  năng không suy giảm — nó sụp đổ. Chọn mô hình dưới RAM vật lý trừ phụ
  phí HĐH. Chấm hết, không ngoại lệ nào đáng mở lời.

Hướng dẫn mua

• 16 GB: chỉ 7–8B Q4. Thường ngày.
• 24–36 GB: 14B thoải mái; 32B Q4 trên 36 GB với ngữ cảnh cẩn trọng.
• 48–64 GB: 32B Q4/Q5 với ngữ cảnh thật; 70B IQ3/Q4 ở 64 GB với sự kiên
  nhẫn cho cái chậm của nó tương ứng lượng trọng số phải di chuyển.
• Max hoặc Ultra vì băng thông — đó là thứ tốc độ decode mua được. Base
  M cho mô hình nhỏ, Whisper, và thị giác.

Phần thưởng ngoài LLM: những cỗ máy này xuất sắc cho phiên âm Whisper và
encoder thị giác. Bộ nhớ hợp nhất cộng các đơn vị SIMD mạnh khiến pipeline
âm thanh và hình ảnh nhanh lệch chuẩn trên mỗi watt — một Mac Studio êm
là con ngựa thồ đa phương thức chính hiệu.

Liên quan: Suy luận CPU · Tốc độ ·
Lượng hóa