十分钟跑起你的第一个模型
在本地跑起一个能干的模型现在是十分钟的事，不是周末工程。两条路线覆盖几乎所有人：终端（Ollama）给喜欢命令的人，GUI（LM Studio）给喜欢进度条的人。两者殊途同归——你自己的磁盘上一个量化 GGUF、以交互速度作答、没有东西打电话回家。选一条路、做完、然后跑结尾的健康检查。
开始之前
了解你机器的三个数字：
- 显存（或统一内存）：8 GB 跑 Q4 的 7–9B；16 GB 应付 13–14B；24 GB 触达 30B 级。完整配机数学在 显存计算。
- 内存带宽：决定你 tok/s 的是它、不是算力——见 速度。
- 空闲磁盘：如果你打算试不止一个模型，预算 50–100 GB。
路线 A：终端路线（Ollama）
安装 Ollama——Linux/macOS 上一行安装脚本、Windows 上安装器。它启动一个本地服务并给你一个 ollama 命令。没有账号、没有密钥。
挑一个中等尺寸开源模型。截至本文写作，7–9B 级——qwen3:8b 或 Llama 3.1 8B 级模型——是合适的第一模型：真正有用、装进 8 GB GPU 或忍受 CPU。如果你写韩语，Qwen 和 Gemma 家族历来处理韩语文本不错——但用你自己的一段真实文字测，因为分词器各异（见 词元）。
# 一步完成拉取（~5 GB）并开始聊天
ollama run qwen3:8b
你现在在聊天循环里。输入消息、按回车、看词元流出来。第一天的斜杠命令：
/bye # 离开聊天
/show info # 量化、上下文长度、使用中的模板
回到 shell，再来两条：
ollama list # 磁盘上有什么、各多大
ollama ps # 此刻内存里装着什么、在哪里
ollama ps 是你的第一件真实仪器。它报告驻留大小和 CPU/GPU 分配，比如 100% GPU 或 48%/52% CPU/GPU。分配里出现任何 CPU 都意味着模型没有完全在 GPU 上——一个可修复的配置问题，不是硬件极限。见 引擎旋钮。
健康读数的例子：
NAME ID SIZE PROCESSOR UNTIL
qwen3:8b a1b2c3d4... 5.7 GB 100% GPU 4 minutes from now
SIZE 大于磁盘文件是正常的：驻留大小是权重加计算缓冲，不是第二份拷贝。
路线 B：GUI 路线（LM Studio）
安装 LM Studio。打开搜索标签、输入家族名——Qwen3、Llama 3、Gemma 3——你会得到一面尺寸和量化的墙。两条规则让它简单：
- 先把参数量匹配到内存：8B Q4 在 KV 缓存之前大约 4–5 GB。
- 相信每次下载的大小提示——它含余量，所以“装得下”真的装得下。优先 Q4_K_M 级量化；细节在 量化。
下载是进度条。在聊天标签加载模型和它聊；底部的读数在生成时显示 tokens/sec——为健康检查记住那个数字。LM Studio 还能暴露一个 OpenAI 兼容本地服务器，这在后面的 服务 有用。
如果 tok/s 读数看起来低，先别卸载任何东西——在下结论说坏掉了之前先做完下面的健康检查。
“拉取”实际做了什么
毫无魔法。这个生态里的模型是一个 GGUF 文件（见 模型格式）：一个包含每层、分词器和元数据的单一 blob。ollama pull 和 LM Studio 的下载器分块抓取那个 blob——那就是你看到的分层进度——校验摘要、并把文件登记进本地索引。中断的下载从停止处续。“安装模型”字面上就是下载一个大文件并记住它住哪。没有账号、没有许可服务器、没有电话回家。
首次运行健康检查
三个数字告诉你设置是否正常：
| 检查 | 去哪看 | 健康的样子 |
|---|---|---|
| 解码速度 | tok/s 读数（LM Studio）或 Ollama 日志里的计时 | 近期独立 GPU 上 30+ tok/s；物理在 速度 |
| 首词元时间 | 回复开始前要等多久 | 短提示词热态 ~1 秒以下；长粘贴更久（预填充——见 速度） |
| 内存契合 | ollama ps、GPU 仪表、系统监视器 |
模型 + KV 缓存完全驻留；数学在 显存计算 |
三项全过就停止调优、去用模型。提示词质量在这个阶段主导一切——见 提示词。
三个经典首次失败
| 症状 | 真实原因 | 修法 |
|---|---|---|
| 加载失败或内存不足崩溃 | 模型装不下 | 降一档量化（Q4 → Q3）或一档模型（8B → 4B）；见 量化 |
| 流畅的垃圾、错误语言、回声循环 | 模型的对话模板错了 | 运行器必须用模型自己的模板；见 提示词 和 故障排查 |
| 明明有 GPU 却只有 1–2 tok/s | 多数层还在 CPU 上 | 强制全 GPU 卸载；见 引擎旋钮 |
三者都是配置、不是硬件。没有一个意味着“这台机器做不到”。
文件住在哪、以及磁盘卫生
Ollama 把一切放在 ~/.ollama 下——模型作为内容寻址 blob 存在 ~/.ollama/models。LM Studio 用 ~/.lmstudio（老构建：~/.cache/lm-studio）。两者都以惊人速度增长：每次拉取 2–20 GB，而且从 UI 删除有时会把 blob 留在磁盘上。
有回报的习惯：
- 每月跑
ollama list、ollama rm任何你没碰过的。 - 在磁盘填满之前了解你的模型目录。之后移动它是一个环境变量（
OLLAMA_MODELS）加一次文件拷贝，不是重新下载。 - 每个实际任务一个模型胜过五个“以防万一”的下载——冷存储照样花掉你的带宽。
- LM Studio 也会从索引删除，但核实模型文件夹真的缩小了——信任，然后检查。