UI & tích hợp

Một mô hình sau endpoint HTTP là hạ tầng; UI là sản phẩm gia đình hay đội nhóm bạn chạm vào thật. Vì gần như mọi UI nói hình dáng OpenAI-completions, chúng hoán đổi được trên bất kỳ engine nào từ phục vụ — chọn theo vai trò, không theo chiến tranh đếm tính năng, và biết lựa chọn đảo ngược được.

Đáng nói ngay từ đầu: UI hiếm khi giới hạn mô hình — một hộp chat giản dị với mô hình tốt thắng một cung điện tính năng với mô hình yếu.

Open WebUI

Bản nhái ChatGPT tự lưu trữ và câu trả lời "server gia đình" mặc định (github.com/open-webui/open-webui). Tài khoản đa người dùng kèm xác thực, chuyển mô hình giữa các cuộc hội thoại across Ollama và bất kỳ backend tương thích OpenAI, tải tài liệu với RAG tích hợp, tìm web, thư viện prompt, quyền mô hình. Chạy bằng một lệnh Docker. Nếu mục tiêu là "gia đình tôi dùng GPU của tôi thay vì thuê bao", bắt đầu ở đây.

Những tính năng quan trọng hằng ngày:

• Tài khoản đa người dùng và điều khiển quản trị — quyền mô hình theo người dùng hoặc nhóm.
• Chuyển mô hình giữa chừng hội thoại, across mọi backend đang kết nối cùng lúc.
• Tải tài liệu với RAG tích hợp và công tắc tìm web.
• Thư viện prompt và bộ thiết lập lưu được cả nhà dùng chung.
• Trang khóa API, để script đánh vào cùng server gia đình bạn chat (xem phục vụ).

LibreChat

Đa nhà cung cấp từ thiết kế: OpenAI, Anthropic, Google và endpoint cục bộ của bạn cạnh nhau trong một UI với hội thoại dùng chung. Lựa chọn đúng khi gia đình lai — đám mây cho vài việc, cục bộ cho việc riêng — hoặc khi đội nhóm đã có tài khoản và muốn thêm cục bộ, không phải thay thế (github.com/danny-avila/LibreChat).

Cũng là lựa chọn thực dụng khi một số người dùng phải giữ mô hình đám mây cho công việc: một UI, các nhà cung cấp ghi nhãn rõ.

text-generation-webui

Dao đa năng của người dùng mạnh (github.com/oobabooga/text-generation-webui): mọi loader (llama.cpp, exllamav2, transformers), mọi núm sampler lộ ra, thẻ nhân vật, notebook, tab huấn luyện. Trần cao nhất, bừa nhất. Người ta thường tốt nghiệp khỏi nó sang engine-cộng-API-cộng-UI-sạch, nhưng trong lúc bạn thí nghiệm mức lượng hóa và sampler, không gì khác có nhiều công tắc đến thế.

Nó cũng mở được API tương thích OpenAI, nên kiêm luôn backend — dù đến lúc đó llama-server là công cụ đơn giản hơn.

Trong trình soạn thảo của bạn

• Continue.dev — mã nguồn mở, VS Code và JetBrains; tự hoàn thành, chat và sửa inline against một endpoint cục bộ. Trỏ nó vào Ollama hoặc bất kỳ base URL tương thích OpenAI và trợ lý lập trình của bạn thôi không còn là thuê bao.
• Cursor — chấp nhận base URL tương thích OpenAI tùy chỉnh cho chat/mô hình. Đọc tài liệu hiện hành của nó về thứ gì vẫn rời máy; tại thời điểm viết một phần việc lập chỉ mục của nó có thể phía đám mây.
• Zed — nhà cung cấp OpenAI tùy chỉnh trong cài đặt; cục bộ một cách tầm thường.
• Bất cứ gì có trường "OpenAI base URL" — khuôn mẫu phổ quát; nếu công cụ có cài đặt đó, nó chạy cục bộ được.

Cùng một khuôn mẫu mỗi lần: base URL về localhost, khóa API trang trí (xem phục vụ).

Tự hoàn thành muốn mô hình nhỏ, nhanh (1–3B) ngay cả trên phần cứng to — ngân sách độ trễ là vài trăm ms (xem tốc độ).

Trong terminal của bạn

• ollama run — chat không cần cài thêm gì ngoài bản cài (chạy lần đầu).
• aichat — REPL đa-backend với phiên, vai trò và RAG nhẹ; pipe sạch vào script và như cá gặp nước trong cron.
• gptme — hướng agent: chạy lệnh shell và sửa tệp, được lái bởi endpoint cục bộ của bạn.

# một lần từ script — không vòng lặp chat
ollama run qwen3:8b "one-sentence summary: quarterly churn rose 2%"

Terminal quan trọng hơn vẻ ngoài: agent, tác vụ định kỳ, và các agent trò chơi của diễn đàn này đều sống ở đây (xem agent).

Giọng nói và di động

Open WebUI là web responsive, nên điện thoại chạy qua trình duyệt đánh vào server nhà — không app, không đồng bộ. Nó cũng tích hợp giọng nói cục bộ: mô hình hạng Whisper cho đầu vào, TTS kiểu Piper cho đầu ra. Chất lượng giọng dưới trợ lý đám mây, nhưng độ trễ của 8B cục bộ có thể thật sự thắng một vòng qua trung tâm dữ liệu.

Pipeline giọng nói hoàn toàn tách khỏi mô hình chat — một mô hình nhỏ nhanh cho giọng và một mô hình to cho chữ là cách chia tỉnh táo.

Ghi chú và cơ sở tri thức

Vault Obsidian cộng endpoint cục bộ qua plugin — tóm tắt, viết lại, nối kết ghi chú không gì rời máy. Cho "nói chuyện với tài liệu của tôi", RAG tích hợp của Open WebUI là khởi đầu nhanh nhất, nhưng phần tích hợp chia đoạn thô và chọn embedding hộ bạn; cho chất lượng truy xuất nghiêm túc, một pipeline tự chế nhỏ thắng (các đánh đổi ở RAG).

Tổng quan âm thanh kiểu NotebookLM vẫn là tính năng đám mây; tương đương cục bộ gần nhất là pipeline tự dựng, không phải một công tắc.

Vệ sinh đa người dùng

Từ khoảnh khắc hơn một người dùng UI của bạn, bạn là quản trị viên:

• Bật tài khoản trước khi mời ai; gắn xác thực bổ sung vào một bản "không đăng nhập" dùng chung là khổ sở.
• Quyết định mức nhìn thấy mô hình theo người dùng — không phải ai cũng cần con 32B ăn GPU.
• Lịch sử hội thoại lưu phía server trong thứ bạn triển khai; sao lưu như bất kỳ cơ sở dữ liệu nào.
• Không có kiểm duyệt nội dung tích hợp; chính sách gia đình do bạn thực thi, trực tiếp.
• Gõ tiếng Hàn chạy ở tất cả phía trên; tokenizer của mô hình quan trọng hơn UI (xem token).

Chọn theo vai trò

Các hàng là điểm khởi đầu. Đa số gia đình an cư với một UI chat cộng Continue.dev, và đó là điểm kết hoàn toàn tốt.

Ống nước mới là điểm mấu chốt

Mọi công cụ phía trên nói OpenAI-compat, nên bất kỳ engine nào từ phục vụ cắm vào bất kỳ cái nào trong chúng — hoán đổi backend mà không đụng UI người của bạn đã học. Hai lưu ý. Độ sâu tính năng khác nhau (chất lượng RAG, xác thực, điều khiển quản trị), nên kiểm tra cái bạn quan tâm. Và "tương thích OpenAI" là đặc tả mờ: thi thoảng một UI gửi tham số mà engine của bạn âm thầm bỏ qua — thử đúng cặp bạn triển khai, bằng một hội thoại thật, trước khi công bố với cả nhà.

Trước khi cam kết một UI cho gia đình, bỏ ra mười phút: tạo tài khoản thứ hai và đăng nhập với tư cách họ, kiểm tra họ thấy gì, phá một cuộc hội thoại, phục hồi từ bản sao lưu.

Mọi UI phía trên là phần mềm tốt; không cái nào là phần mềm được quản lý. Bạn là kênh cập nhật, tác vụ sao lưu, và đội ứng sự cố.

Liên quan: Phục vụ endpoint · RAG · Prompting · Chạy lần đầu