localaiforum
登录
指南 › 运行与服务

UI 与集成

HTTP 端点后面的模型是基础设施;UI 是你的家庭或团队真正触碰的产品。因为几乎每个 UI 都说 OpenAI-completions 形状、它们在任何来自 服务 的引擎上可互换——按角色挑、不按功能数量战挑、并知道选择可逆。

值得先说:UI 很少限制模型——好模型加朴素聊天框胜过弱模型加功能宫殿。

Open WebUI

自托管的 ChatGPT 长相和默认的“家庭服务器”答案(github.com/open-webui/open-webui)。带认证的多用户账号、跨 Ollama 和任何 OpenAI 兼容后端的逐对话模型切换、带内置 RAG 的文档上传、网页搜索、提示词库、模型权限。一条 Docker 命令跑起来。如果你的目标是“我家人用我的 GPU 而不是订阅”、从这儿开始。

日常要紧的功能:

  • 多用户账号和管理控制——按用户或组的模型权限。
  • 对话中途切换模型、跨所有已连接后端。
  • 带内置 RAG 和网页搜索开关的文档上传。
  • 全家可共享的提示词库和保存的预设。
  • API 密钥页、让脚本打你家人聊天的同一台服务器(见 服务)。

LibreChat

设计上多提供商:OpenAI、Anthropic、Google、和你的本地端点并排在一个 UI 里、对话共享。家庭是混合型——某些任务用云、私密的用本地——或团队已有账号、想加上本地而不是替换时(github.com/danny-avila/LibreChat)的正确之选。

某些用户因工作必须保留云端模型时、它也是务实之选:一个 UI、清楚标注的提供商。

text-generation-webui

发烧友的瑞士军刀(github.com/oobabooga/text-generation-webui):每个加载器(llama.cpp、exllamav2、transformers)、每个采样旋钮、角色卡、笔记本、训练标签。天花板最高、杂乱也最高。人们通常从它毕业到引擎加 API 加干净 UI、但在你试验量化和采样器时、没别的有这么多开关。

它也能暴露 OpenAI 兼容 API、所以兼作后端——不过到那一步 llama-server 是更简单的工具。

在你的编辑器里

  • Continue.dev——开源、VS Code 和 JetBrains;对本地端点做自动补全、聊天和内联编辑。把它指向 Ollama 或任何 OpenAI 兼容 base URL、你的编程助手不再是订阅。
  • Cursor——为聊天/模型接受自定义 OpenAI 兼容 base URL。读它当前文档了解还有什么离开机器;截至本文写作它的部分索引可能在云端。
  • Zed——设置里的自定义 OpenAI 提供商;本地化轻而易举。
  • 任何带 “OpenAI base URL” 字段的东西——模式是通用的;工具有那个设置、它就能本地工作。

每次都是同一模式:base URL 指向 localhost、装饰性 API 密钥(见 服务)。

自动补全即使在强硬件上也想要小而快的模型(1–3B)——延迟预算是几百毫秒(见 速度)。

在你的终端里

  • ollama run——安装之外零设置的聊天(首次运行)。
  • aichat——多后端 REPL、带会话、角色和轻量 RAG;干净地接进脚本、在 cron 作业里如鱼得水。
  • gptme——智能体式:跑 shell 命令、改文件、由你的本地端点驱动。
# 从脚本一次性调用 — 无聊天循环
ollama run qwen3:8b "one-sentence summary: quarterly churn rose 2%"

终端比看上去重要:智能体、定时任务、和本论坛的游戏智能体都住在这里(见 智能体)。

语音与移动

Open WebUI 是响应式 web、所以手机通过浏览器对家里的服务器工作——无 app、无同步。它也集成本地语音:输入用 Whisper 级模型、输出用 Piper 式 TTS。语音质量低于云端助手、但本地 8B 的延迟真能赢过往返数据中心。

语音流水线与聊天模型完全分离——语音用快的小模型、文本用大的、是清醒的拆分。

笔记与知识库

Obsidian 仓库加插件接本地端点——摘要、改写、链笔记、什么也不离开机器。对“和我的文档对话”、Open WebUI 的内置 RAG 是最快起点、但内置件分块粗糙、替你选嵌入模型;要认真的检索质量、小型自定义流水线胜出(权衡在 RAG)。

NotebookLM 式音频概览仍是云端功能;最接近的本地等价物是 DIY 流水线、不是一个开关。

多用户卫生

一旦超过一个人用你的 UI、你就是管理员:

  • 邀请任何人之前先开账号;给共享“免登录”实例补装认证是痛苦的。
  • 按用户决定模型可见性——不是人人都需要吃 GPU 的 32B。
  • 对话历史存在你部署的东西的服务端;像任何数据库一样备份。
  • 没有内置内容审核;家规由你本人执行。
  • 韩语输入在以上所有里都工作;模型的分词器比 UI 更要紧(见 词元)。

按角色挑

你想要 从……开始
家庭 ChatGPT 式、共享账号 Open WebUI
开发者工作区、代码优先 Continue.dev + Ollama 或 llama-server
终端原生工作 aichat、或朴素 ollama run
团队/办公室服务器、混合提供商 LibreChat 或 Open WebUI
量化/采样实验的发烧友实验台 text-generation-webui

各行是起点。多数家庭安顿在一个聊天 UI 加 Continue.dev、那是个完全好的终点。

管道才是重点

上面每个工具都说 OpenAI 兼容、所以来自 服务 的任何引擎插进它们任何一个——换后端而不碰你的人学会的 UI。两个告诫。功能深度各异(RAG 质量、认证、管理控制)、检查你在乎的那个。而“OpenAI 兼容”是模糊规范:偶尔 UI 发一个你的引擎无声忽略的参数——在向全家宣布之前、用一段真实对话测试你要部署的具体配对。

把一个 UI 交给家庭之前、花十分钟:创建第二个账号并以它登录、检查它能看见什么、弄坏一段对话、从备份恢复。

上面每个 UI 都是好软件;没有一个是被管理的软件。你是更新通道、备份任务、和事件响应。

相关: 服务一个端点 · RAG · 提示词 · 首次运行