参数量能换来什么
参数量是模型最好的单数字概括：它买来知识容量和技能，收走的价钱是内存和速度。~30B 以下你能感觉到每一级台阶；之上回报变平。本页绘制这张阶梯，并告诉你你的任务实际需要哪一级。
能力阶梯
| 参数量 | 等级 | 适合 | Q4 占用 |
|---|---|---|---|
| 0.5–1B | 工具型 | 分类、抽取、自动补全、路由 | 1 GB 以下；CPU 即可 |
| 3–4B | 轻量助手 | 快速聊天、草稿、摘要 | ~2–3 GB |
| 7–9B | 主力干将 | 扎实的通用对话和代码 | ~4–6 GB |
| 12–14B | 强力全能 | 明显更好的推理，仍然够快 | ~8–10 GB |
| 30–40B | 准前沿 | 大多数任务达到近前沿质量 | ~18–24 GB；需要 24 GB 显存 |
| 70B+ | 前沿级开源 | 最难的推理、最佳细微差别 | ~40 GB；2×24 GB 或 48 GB+ |
| MoE（总量大、激活小） | 如 100B+ 总量、10–30B 激活 | 以中等模型的成本获得近似前沿的质量 | 大——所有专家都必须驻留内存 |
截至本文写作时，4-bit 的 30–40B 是本地的甜点位：它装进 24 GB 显卡，并且对大多数工作足够接近前沿质量。MoE 模型打破大小直觉——速度看激活参数，内存看总参数。
参数买来什么：知识容量
事实住在权重里——绝大多数在 FFN 层（参见 深入 Transformer 内部）。容量随参数量扩展：
- 著名事实（首都、常见 API）：~3B 起就可靠。
- 工作知识（中等流行度的库、次级话题）：需要 14B+。
- 长尾（冷门规格、小众历史）：30B+，即便如此也预期有缺口。
小模型不只是知道得少——它用流畅的编造填补缺口，所以幻觉率随尺寸下降而上升。小模型上的长尾问题，检索胜过参数（RAG）。
读后缀：base 与 instruct
同样的参数量以不同的行为阶段发布：
- Base（基座）：光秃秃的家族名（Qwen2.5-7B）。下一词元补全。问它一个问题，它可能用更多问题回答、模仿论坛帖子、或者继续东拉西扯。
- Instruct/Chat（指令）：带 -instruct、-it 或 -chat 后缀（Qwen2.5-7B-Instruct）。回答问题、遵循指令、会停。在后续训练阶段为此调优过（参见 训练）。
prompt: "How do I boil an egg?"
base:
"How do I boil an egg? 10 points for best answer!?"
（继续这份文档——你给它文本，它还你更多文本）
instruct:
"Place eggs in a pot and cover with cold water. Bring to a
boil, cover, and remove from heat: 6 min soft, 10–12 hard."
（回答、排版、停止）
95% 的本地用途要 instruct 变体。Base 模型在补全式工作负载里有其价值：自动补全、文本填补、创意续写，以及作为你自己微调的底座。
仓库命名里还会遇到更多后缀：
- -base：明确是预训练阶段（微调底座）。
- -coder / -math / -vl：针对代码、数学或视觉-语言输入调优。
- MoE 命名如 235B-A22B：先总参数、后每词元激活——读作“235B 常驻、22B 干活”。
- -gguf 或量化标签：一次重新打包，不是新模型（参见 模型格式）。
每次翻倍的边际递减
参数每翻一倍增加的基准分比上一次少，而内存成本线性增长、解码速度随每 GB 下降——解码时这些全部要经显存逐词元流过（预填充与解码）。7B → 14B 是质变；70B → 140B 对多数任务只是边际。规则：运行能通过你测试的最小模型。
| 任务 | 起步规格 |
|---|---|
| 摘要、抽取、分类 | 3–4B |
| 通用聊天、写作 | 7–9B |
| 编程助手 | 至少 8–9B；14B+ 明显更好 |
| 工具使用、智能体循环 | 14B+；要可靠性 30B+ |
| 高难数学、多步推理 | 30B+ 或推理调优模型 |
| 韩语与多语种聊天 | 多语种强项家族的 7B+ |
尺寸在速度上的代价
解码每个词元都要流过整个模型，所以在同一张卡上更大意味着更慢，大致与权重字节成反比。单用户解码在一张 24 GB 卡上的数量级（~1 TB/s 带宽、4-bit 权重）：
| 模型 | Q4 大小 | 解码速度量级 |
|---|---|---|
| 8B | ~4.5 GB | ~100+ tok/s |
| 14B | ~9 GB | ~50–60 tok/s |
| 32B | ~19 GB | ~25–35 tok/s |
| 70B | ~40 GB | 装不下——需要 2×24 GB，~20–30 tok/s |
数字随带宽、驱动和批大小变动；形状不变：权重翻倍，每秒词元减半（速度、GPU 档位）。
小模型对量化更敏感
30B 模型 4-bit 几乎不损失；1B 模型 4-bit 损失很大。冗余随尺寸增长，所以大权重能吸收小权重受不了的粗取整：
- 30B+：Q4 几乎免费，Q3 常常也行。
- 7–14B：Q4/Q5 安全；Q3 要盯紧并做基准测试。
- 4B 以下：优先 Q6/Q8/FP16——反正省不了多少。