GPU 档位：实际装得下什么

显存档位就是全部游戏。带宽决定一个档位内跑多快，但容量决定哪些模型根本在菜单上。下面是截至本文写作时的实用地图：每个档位真正装得下什么，配代表显卡。档位是这里稳定的知识——具体 SKU 每个产品周期都改名，显存区隔十年几乎没动过。

档位表

档位笔记：

• 6–8 GB 是入门档。7–8B Q4 助手真正有用；8k 以上的上下文比任何东西都先开始吃紧。
• 12 GB 是价格甜点。14B Q4 是相对 8B 级第一个认真的质量跃升，而且带真实上下文装得下。
• 16 GB 让你跑 Q6 的 14B（近乎无损）或低位量化的 24B。IQ3 的 32B 能跑，但 32B 上的 3-bit 正是量化损伤显现的地方。
• 24 GB 是本地 LLM 的经典。带 16k 上下文的 32B Q4/Q5 是单用户的最佳每 GB 质量点。IQ2_XS 的 70B 装进宣传册、让耳朵失望——那个参数量配那么少的比特。
• 32–48 GB+ 的存在是为了 Q4 或更好的 70B，以及同时服务多个用户（见 并发）。

二手市场

RTX 3090（24 GB、~936 GB/s）仍是经典性价比之选：以新旗舰零头的价格拿到 24 GB，32B Q4 带余量装下。注意事项：负载 350 W、直排散热把热倒进机箱、矿卡可能需要重涂硅脂。荣誉提名：全新 RTX 3060 12 GB，或者喜欢冒险的话做了 22 GB 内存改装的二手 2080 Ti。二手数据中心卡（P40、Tesla T4 时代）显存便宜但带宽慢、吵、缺现代特性支持——折腾可以，日用累人。

多 GPU：容量可以，速度基本不行

跨两张卡分摊买到的是容量，不是带宽：

• 层切分（流水线）——每张 GPU 持有连续的层块；只有小型激活跨总线。容量近线性增长，解码惩罚温和。llama.cpp 在你把层分摊到多设备时自动这么做。
• 张量并行——每个矩阵乘法被切到多卡；需要快速卡间链路才划算，而爱好者栈实现得不完美。
• 两种方法都达不到两卡带宽之和。两张 24 GB 卡跑 70B 的解码速度大约是单卡水平，不是两倍。对单用户来说，一张更大的卡几乎总是比两张小卡更划算——只有当你无法以其他方式获得容量、或需要并发服务时才买一对。

笔记本 GPU

笔记本 RTX 4070 装得下的东西与桌面 4070 完全一样——容量跟随显存配置，不跟随机箱。不同的是功率：共享热预算下持续频率更低，所以预期解码比桌面同门慢 20–40%，预填充按比例更慢。旅行和演示很好；如果这是日常工作，不是跳过桌面机的理由。

专业卡与 NVLink

工作站卡买到的是 ECC、认证驱动、涡轮散热和大显存配置——容量溢价可能值得，其余对推理无关。NVLink 为张量并行训练流量而生；爱好级服务是几乎不跨卡的带宽瓶颈解码。除非特定容量（48/96 GB）需要，两者都跳过。

购买前检查

nvidia-smi --query-gpu=name,memory.total,memory.used --format=csv

然后对你真正想要的模型跑一遍 显存计算，再相信任何档位表——架构会变，公式不会。

相关： 显存计算 · 并发 · Apple Silicon