指南
基础知识
1
LLM 到底是什么？下一词元预测、数十亿被冻结的权重，以及为什么所有产品都是围绕“文本进/文本出”循环所做的编排。
2
词元与分词器子词词表、为什么韩语消耗上下文比英语快 3–4 倍、以及为什么数字母的问题会失败。
3
深入 Transformer 内部嵌入、自注意力、FFN 和 GQA——整个架构里最重的东西不过是点积和 softmax。
4
预填充与解码：生成是如何运行的物理特性截然不同的两个阶段：对提示词的一次并行传播，然后是每步重读全部权重、一次一个词元的生成。
5
参数量能换来什么从 1B 玩具到 70B+ 前沿级的能力阶梯——知识容量、命名规则、以及按任务匹配模型大小。
6
模型是如何训练的（以及你为什么不会去做）预训练、SFT 和偏好调优——每个阶段的成本、它改变了什么、以及单张 GPU 上真正可行的是什么。
7
开放权重与闭源 API从 Apache-2.0 到纯 API 的许可证光谱、咬到商用的那些坑、以及如何读 Hugging Face 仓库名。
硬件
8
什么硬件重要（什么不重要）容量、带宽、算力——按它们实际买到的排序，外加规格表上不重要的条目。
9
显存计算权重 + KV 缓存 + 开销：公式、8B–70B 现成表格、以及可照抄的 16 GB 配机演练。
10
GPU 档位：实际装得下什么各显存档位装得下什么、二手市场之选、以及为什么两张小卡输给一张大卡。
11
Apple Silicon 与统一内存统一内存把内存变成显存：按芯片档位的带宽、MLX 与 llama.cpp、以及交换分区陷阱。
12
仅用 CPU 运行DDR4/DDR5 的带宽算术、舒适档位、预填充之痛、以及 CPU-only 何时真是正确答案。
13
上下文窗口与 KV 缓存为什么上下文花费显存：每词元公式、GQA、量化 KV、宣传窗口与有效窗口。
模型与格式
14
模型文件格式GGUF、safetensors、AWQ/GPTQ、EXL2、ONNX——每种容器为什么存在、哪个引擎吃哪种、如何转换。
15
量化，深入越过速查表：块缩放、K-quant 混合、imatrix I-quant、质量最先在哪里破、以及显存感知的决策阶梯。
16
开放权重家族树Qwen、Llama、Gemma、Mistral、Phi、DeepSeek——尺寸、许可证、base 与 instruct 命名、MoE 总量对激活、以及微调丛林。
17
选择合适的模型用例第一、基准第二：不上当地读排行榜、显存档位推荐矩阵、以及先试后买的协议。
运行与服务
18
十分钟跑起你的第一个模型从空机器到与本地模型聊天，经终端或 GUI——外加健康检查和三个经典首次失败。
19
推理引擎对比llama.cpp、Ollama、LM Studio、vLLM、SGLang、exllamav2、MLX、transformers——各为什么存在、以及为什么差异不如你的 I/O 模式重要。
20
真正重要的引擎旋钮上下文长度、GPU 卸载、线程、flash attention、KV 缓存 dtype、YaRN——改变结果的少数标志、以及验证它们的日志行。
21
tokens/sec 的物理解码速度是内存带宽除以每词元读取的字节——从这个公式长出量化即加速、MoE 收益、CPU 卸载悬崖、以及 tok/s 实际感觉如何。
22
服务一个 OpenAI 兼容端点chat-completions 形状是每个客户端都说的通用语——用 llama-server、Ollama 或 vLLM 服务它、把 SDK 指向 localhost、然后锁门。
23
UI 与集成Open WebUI、LibreChat、text-generation-webui、Continue.dev、终端工具——按角色挑；它们都说 OpenAI 兼容、任何引擎都插得上。
24
批处理与多用户串行服务浪费 GPU；批处理让每次权重读取跨请求共享。连续批处理、页注意力、容量数学、以及何时弃 Ollama 转 vLLM。
使用模型
25
提示词与对话模板对话模板是你的提示词旅行的信封——ChatML 对 Llama 对 Gemma 标记、少样本契约、以及小模型真能跟上的模式。
26
采样设置Temperature、top_k、top_p、min_p 和 repeat_penalty——每个旋钮对 logits 做什么、按什么顺序、以及按任务有效的预设。
27
结构化输出与函数调用从仅靠提示词的 JSON 到让非法词元不可能的语法掩码解码——外加智能体赖以运行的工具调用约定。
28
RAG：把你的数据交给模型分块、嵌入、检索、引用——一条带真实数字的完整本地 RAG 流水线、混合搜索、重排序、以及如何区分检索失手与生成失手。
29
用 LoRA 与 QLoRA 微调单张消费级 GPU 上的适配器：调优改变什么（行为）vs 改变不了什么（事实）、QLoRA 预算、主导一切的数据规则、以及导出到 GGUF。
30
智能体与工具使用计划–行动–观察循环、作为 JSON schema 的工具、MCP、长跑的上下文纪律、以及提示词注入——真实的威胁模型。
31
故障排查：症状 → 原因 → 修法面向症状的经典诊断表——模板错配、加载与运行中 OOM、1 tok/s、重复循环、乱码、截断——外加正常数字长什么样。