無論是希望將AI大模型集成到業(yè)務(wù)流程中，還是尋求企業(yè)客戶服務(wù)自動(dòng)化，亦或者是希望創(chuàng)建一個(gè)強(qiáng)大的個(gè)人學(xué)習(xí)工具?？赡芏夹枰紤]數(shù)據(jù)安全、靈活度以及更具有可控性的使用和開發(fā)基礎(chǔ)。值得考慮的一個(gè)方案是：將大模型（LLM）私有化并且創(chuàng)建一個(gè)好用的LLM WebUI系統(tǒng)。

下面，我們推薦七個(gè)出色的開源LLM WebUI 系統(tǒng)。

1.Open WebUI（Ollama WebUI）

https://github.com/open-webui/open-webui

Star：45.7K

開發(fā)語言：Python、TypeScript\Svelte

Open WebUI是一個(gè)可擴(kuò)展、功能豐富且用戶友好的WebUI，旨在完全離線操作。它支持包括Ollama和OpenAI在內(nèi)的各種LLM運(yùn)行容器或者API。

產(chǎn)品特點(diǎn)：

• 直觀的界面：受ChatGPT啟發(fā)的用戶友好型聊天
• 響應(yīng)式設(shè)計(jì)：在桌面和移動(dòng)的上實(shí)現(xiàn)流暢的性能
• 輕松安裝：使用Docker/Kubernetes輕松安裝
• 主題定制：個(gè)性化與多個(gè)主題
• 高亮：增強(qiáng)代碼的可讀性
• Markdown LaTeX支持：全面的格式選項(xiàng)
• 本地RAG集成：使用#命令訪問聊天文檔
• RAG嵌入模型支持：選擇嵌入模型（Ollama/OpenAI）
• Web瀏覽：使用#命令集成網(wǎng)站
• 提示預(yù)設(shè)：使用/命令快速訪問
• RLHF注釋：人工反饋的速率消息
• 會(huì)話標(biāo)記：對(duì)聊天進(jìn)行分類，以便于參考
• 模型管理：下載、刪除和更新模型
• GGUF文件上傳：從GGUF文件創(chuàng)建Ollama模型
• 多模型支持：切換模型以獲得不同的響應(yīng)
• 多模式支持：包括圖像交互
• 模型文件生成器：自定義角色和代理
• 多模型對(duì)話：同時(shí)利用多個(gè)模型
• 協(xié)作聊天：使用@ command分組模型對(duì)話
• 本地聊天共享：在用戶之間共享聊天鏈接
• Regeneration聊天歷史：訪問所有過去的互動(dòng)
• 存檔導(dǎo)入/導(dǎo)出聊天：組織和傳輸聊天數(shù)據(jù)
• 語音輸入：自動(dòng)發(fā)送語音輸入
• 可配置的TTS端點(diǎn)：自定義文本到語音
• 高級(jí)參數(shù)控制：調(diào)節(jié)溫度，系統(tǒng)提示
• 映像生成集成：本地API和DALL-E選項(xiàng)
• OpenAI API支持多種API：靈活集成
• API密鑰生成：簡化OpenAI庫使用
• 外部Ollama服務(wù)器連接：連接遠(yuǎn)程實(shí)例
• Ollama負(fù)載平衡：分發(fā)請(qǐng)求以提高可靠性
• 多用戶管理：用于用戶監(jiān)督的管理面板
• Webhook集成：新注冊(cè)的實(shí)時(shí)通知
• 模型白名單：用戶的受控訪問
• 可信電子郵件身份驗(yàn)證：增強(qiáng)的安全層
• RBAC：基于角色的受限權(quán)限訪問
• 后端反向代理：安全的后端通信
• 多語言支持：i18n國際化
• 持續(xù)更新：定期的新功能和改進(jìn)

2.Text Generation Webui

https://github.com/oobabooga/text-generation-webui

Star：40.5K

開發(fā)語言：Python

這是一個(gè)基于Gradio的Web UI，用于大語言模型的Web層。

產(chǎn)品特性：

• 在一個(gè)UI以及API中支持多個(gè)文本生成的后端，包括：Transformers、llama.cpp、ExLlamaV2、TensorRT-LLM、AutoGPTQ、AutoAWQ、HQQ、 AQLMare等
• 兼容OpenAI的API。
• 使用Jinja2模板自動(dòng)提示格式化。
• 三種聊天模式：instruct、chat-instruct、chat，其中chat-instruct有自動(dòng)提示模板。
• 可在“聊天記錄”菜單之間的對(duì)話快速切換。
• 在默認(rèn)、筆記本選項(xiàng)卡中生成自由格式的文本，而不限于聊天回合。
• 擁有多個(gè)采樣參數(shù)和生成選項(xiàng)，用于支持復(fù)雜的文本生成控制。
• 在UI中輕松切換不同型號(hào)，無需重新啟動(dòng)。
• 簡單的LoRA微調(diào)工具。
• 安裝在一個(gè)獨(dú)立的installer_files目錄中，不會(huì)影響系統(tǒng)環(huán)境。
• 擴(kuò)展支持，提供許多內(nèi)置的或者用戶貢獻(xiàn)的擴(kuò)展。

3.Anything LLM

https://github.com/Mintplex-Labs/anything-llm

Star：26.5K

開發(fā)語言：JavaScript

AnythingLLM是一個(gè)多功能的全棧AI應(yīng)用程序，可以在與大型語言模型（LLM）聊天期間引用自己的文檔或內(nèi)容作為上下文數(shù)據(jù)。它專為易用性而設(shè)計(jì)，提供了一個(gè)高度可配置的多用戶環(huán)境。用戶可以選擇集成商業(yè)的或者開源的LLM，選擇向量數(shù)據(jù)庫，并管理訪問權(quán)限。

該應(yīng)用程序?qū)⑽臋n組織到“工作區(qū)”中，這些工作區(qū)是容器化的單元，可以在不同的線程之間保持上下文的隔離。

工作區(qū)可以共享文檔，但也能夠?yàn)橐恍┲攸c(diǎn)對(duì)話維護(hù)隔離的上下文。AnythingLLM可運(yùn)行在Mac、Windows或者Linux桌面系統(tǒng)上，支持本地或遠(yuǎn)程執(zhí)行，使其成為構(gòu)建自定義、私人ChatGPT的強(qiáng)大工具。

產(chǎn)品特征：

• 支持AI Agent定義
• 支持多種模型（包括封閉和開源LLM?。?/li>
• 支持多用戶實(shí)例和Docker版本
• 可在工作空間內(nèi)安裝代理（瀏覽網(wǎng)頁、運(yùn)行代碼等）
• 提供適用于嵌入網(wǎng)站的聊天組件
• 支持多種文檔類型（PDF，TXT，DOCX等）
• 簡單的聊天用戶界面、拖放功能和明確的使用指南。
• 支持100%云部署。
• 可以與所有流行的閉源和開源LLM提供商對(duì)接。
• 與其他聊天界面相比，可以用于管理非常大的文檔。
• 提供用于自定義集成的API

4.LibreChat

https://github.com/danny-avila/LibreChat

Star：18.9K

開發(fā)語言：TypeScript、JavaScript

LibreChat可以作為ChatGPT的私人替代品，在您自己的服務(wù)器上運(yùn)行。

產(chǎn)品特征：

• 支持與ChatGPT匹配的UI，包括Dark模式、Streaming和最新更新
• 智能選型：Anthropic（Claude），AWS Bedrock，OpenAI，Azure OpenAI，BingAI，ChatGPT，Google Vertex AI，插件，助手API（包括Azure助手）
• 兩者兼容遠(yuǎn)程和本地AI服務(wù)：Groq、Ollama、Cohere、Mistral AI、Apple MLX、koboldcpp、OpenRouter、together.ai、Perplexity、ShuttleAI等
• 生成式UI，代碼工件：在聊天中創(chuàng)建React、HTML代碼和Mermaid圖表
• 創(chuàng)建、保存和共享自定義預(yù)設(shè)
• 在AI端點(diǎn)和預(yù)設(shè)之間切換，聊天中
• 使用對(duì)話分支編輯、重新提交和繼續(xù)消息
• 用于高級(jí)上下文控制的會(huì)話
• 多模式聊天：可通過OpenAI Assistant API?；非OpenAI代理在積極開發(fā)中；使用Claude 3、GPT-4（包括gpt-4o和gpt-4o-mini）和Gemini Vision軟件上傳和分析圖像；使用自定義端點(diǎn)，OpenAI，Azure，Anthropic，Google與文件聊天。???；具有文件、代碼解釋器、工具和API操作的高級(jí)代理??
• 多語言用戶界面：English，中文，Deutsch，Espa?ol，F(xiàn)ran?ais，意大利語，Polski，巴西葡萄牙語；Русский, 日本語, Svenska, ???, Ti?ng Vi?t, 繁體中文, ???????, Türk?e, Nederlands, ?????
• 可定制的下拉界面：適應(yīng)高級(jí)用戶和新手
• 驗(yàn)證您的電子郵件以確保安全訪問
• 語音到文本和文本到語音的魔術(shù)免提聊天：自動(dòng)發(fā)送和播放音頻；支持OpenAI、Azure OpenAI和Elevenlabs
• 從LibreChat，ChatGPT，Chatbot UI導(dǎo)入對(duì)話
• 導(dǎo)出對(duì)話為截圖，markdown，文本，json
• 搜索所有消息/對(duì)話
• 插件，包括Web訪問、使用DALL-E-3生成圖像等
• 使用審核和令牌支出工具的多用戶安全身份驗(yàn)證
• ?配置代理，反向代理，Docker，和許多部署選項(xiàng)：完全本地使用或部署在云上

5.Web LLM

https://github.com/mlc-ai/web-llm

Star：13.6K

開發(fā)語言：TypeScript

WebLLM是一個(gè)高性能的瀏覽器內(nèi)LLM推理引擎，通過硬件加速將語言模型推理直接帶到Web瀏覽器上。一切都在瀏覽器內(nèi)運(yùn)行，沒有服務(wù)器支持，并通過WebGPU加速。WebLLM完全兼容OpenAI API。也就是說，可以在本地任何開源模型上使用相同的OpenAI API，其功能包括流式傳輸，JSON模式，函數(shù)調(diào)用（function-calling，簡寫）等。

產(chǎn)品特征：

• 瀏覽器內(nèi)推理：WebLLM是一個(gè)高性能的瀏覽器內(nèi)語言模型推理引擎，它利用WebGPU進(jìn)行硬件加速，直接在Web瀏覽器內(nèi)實(shí)現(xiàn)強(qiáng)大的LLM操作，而無需服務(wù)器端處理。
• 兼容OpenAI API：使用OpenAI API將您的應(yīng)用與WebLLM無縫集成，并提供流、JSON模式、logit級(jí)別控制、種子等功能。
• 結(jié)構(gòu)化JSON生成：WebLLM支持最先進(jìn)的JSON模式結(jié)構(gòu)化生成，在模型庫的WebAssembly部分實(shí)現(xiàn)，以獲得最佳性能。檢查HuggingFace上的WebLLM JSON Playground，嘗試使用自定義JSON模式生成JSON輸出。
• 豐富的模型支持：WebLLM支持一系列原生大模型，包括：Llama 3，Phi 3，Gemma，Mistral，Qwen（通義問）等，使其成為各種AI任務(wù)的通用工具。有關(guān)完整的支持型號(hào)列表，請(qǐng)選中模型。
• 自定義模型集成：輕松集成和部署MLC格式的自定義模型，使您能夠根據(jù)特定需求和場景調(diào)整WebLLM，增強(qiáng)模型部署的靈活性。
• 即插即用集成：使用NPM和Yarn等包管理器或直接通過CDN將WebLLM輕松集成到您的項(xiàng)目中，并提供全面的示例和用于連接UI組件的模塊化設(shè)計(jì)。
• 流式傳輸與實(shí)時(shí)交互：支持流式聊天完成，允許實(shí)時(shí)輸出生成，增強(qiáng)了聊天機(jī)器人和虛擬助手等交互式應(yīng)用程序。
• 支持Web Worker& Service Worker：通過將計(jì)算卸載到獨(dú)立的工作線程或服務(wù)工作線程，優(yōu)化UI性能并有效管理模型的生命周期。
• 支持Chrome擴(kuò)展：使用WebLLM通過自定義Chrome擴(kuò)展程序擴(kuò)展Web瀏覽器的功能，并提供構(gòu)建基本和高級(jí)擴(kuò)展程序的示例。

6.OpenLLM

https://github.com/bentoml/OpenLLM

Star：10K

開發(fā)語言：Python

OpenLLM是一個(gè)可以在云中運(yùn)行開源大語言模型（LLM）的工具，如：Llama，Qwen和Phi等，也可以兼容OpenAI的API接入。它支持使用Docker、Kubernetes和BentoCloud簡化模型的部署過程。

OpenLLM支持多種模型，并提供友好的用戶界面，提供內(nèi)置的聊天UI。它還可以與BentoML集成，用于企業(yè)級(jí)AI推理和部署。此外，用戶可以將模型貢獻(xiàn)到其存儲(chǔ)庫中，或者在自己的基礎(chǔ)設(shè)施上部署自定義模型。

使用以下命令進(jìn)行安裝：

pip install openllm  # or pip3 install openllm
openllm hello

7.LoLLMs

https://github.com/ParisNeo/lollms-webui

Star：4.3K

開發(fā)語言：JavaScript/Vue 、Python

LoLLMS WebUI（Lord of Large Language Multimodal Systems）是一個(gè)多功能一體化平臺(tái)，可訪問各種任務(wù)類型的AI模型，例如：寫作、編碼、圖像生成、音樂創(chuàng)作等。它支持500多個(gè)專家模型和2500個(gè)跨不同領(lǐng)域的微調(diào)模型。

用戶可以選擇根據(jù)特定需求量身定制的模型，無論是編碼幫助、醫(yī)療建議、法律的指導(dǎo)、創(chuàng)意故事還是娛樂。

該平臺(tái)的設(shè)計(jì)考慮到了易用性，提供了一個(gè)友好的用戶界面，具有明亮和暗黑模式。LoLLMS可以用于實(shí)現(xiàn)增強(qiáng)電子郵件、代碼調(diào)試、解決問題，甚至提供如笑聲機(jī)器人、創(chuàng)意故事生成器、和個(gè)性化音樂生成之類的有趣功能。

它將生產(chǎn)力工具和娛樂結(jié)合在一個(gè)界面中，使其成為滿足各種專業(yè)需求的多功能工具。

產(chǎn)品特征：

• 為您的任務(wù)選擇您喜歡模型和個(gè)性化配置
• 增強(qiáng)您的電子郵件、論文、代碼調(diào)試、思想組織等
• 探索各種功能，如：搜索、數(shù)據(jù)組織、圖像生成和音樂生成
• 易于使用的用戶界面，具有亮暗模式選項(xiàng)
• 與GitHub存儲(chǔ)庫集成，便于訪問
• 可自定義向?qū)畔?/li>
• 生成的答案的拇指向上/向下評(píng)級(jí)
• 復(fù)制、編輯和刪除郵件
• 用于討論的本地?cái)?shù)據(jù)庫存儲(chǔ)
• 搜索、導(dǎo)出和刪除多個(gè)討論
• 支持基于穩(wěn)定擴(kuò)散的圖像/視頻生成
• 支持基于musicgen的音樂生成
• 通過Lollms節(jié)點(diǎn)和花瓣支持多代對(duì)等網(wǎng)絡(luò)。
• 支持Docker、conda和手動(dòng)虛擬環(huán)境設(shè)置
• 支持LM Studio作為后端
• 支持Ollama作為后端
• 支持vllm作為后端
• 支持根據(jù)任務(wù)快速路由到對(duì)應(yīng)的模型