“ 本地部署大模型的本質(zhì)只是一個客戶端”

人工智能的發(fā)展如火如荼，也讓越來越多的人了解到人工智能；而對大部分人來說使用的都是第三方提供的客戶端，不論是網(wǎng)頁版，還是PC端或移動端。

那么，我們怎么在本地部署一款大模型呢？下面就來介紹三種工具。

01、本地部署大模型的三種工具

GPT4ALL

gpt4all是一款可以本地部署大模型的客戶端工具，其支持window，macOS和ubuntu(一款linux桌面系統(tǒng))系列。

其官網(wǎng)地址：https://gpt4all.io/index.html

github地址：https://github.com/nomic-ai/gpt4all

用戶可以在自己電腦上安裝GPT4ALL客戶端，如下圖所示：

用戶可以選擇自己需要的模型并進行下載使用，只需要有CPU即可，不需要有GPU的支持。

用戶下載完客戶端，并加載完模型之后，就可以像使用第三方的大模型一樣使用，并且可以脫離網(wǎng)絡(luò)使用。

GPT4ALL不但提供了桌面的客戶端，對于懂技術(shù)的朋友來說，也提供了多語言的編程接口。

如下圖所示，GPT4ALL提供了python和nodejs的編程接口。

文檔地址：https://docs.gpt4all.io/

LLMStudio

LLMStudio是第二種本地部署大模型的工具，其同樣支持多平臺的操作系統(tǒng)：

官網(wǎng)地址：https://lmstudio.ai/

github地址：https://github.com/lmstudio-ai/lms

用戶界面如下圖所示，用戶同樣可以根據(jù)自己的需求下載對應(yīng)的大模型，并使用。

LLMStudio同樣支持接口訪問，不過其僅支持通過API調(diào)用的方式訪問，而不是像GPT4ALL可以直接使用python sdk的方式訪問。

文檔地址：https://lmstudio.ai/docs/local-server

Ollama

ollama是第三種本地部署大模型的方式，其同樣支持三種平臺，并且是完全開源的。

官網(wǎng)地址：https://ollama.com/

github地址：https://github.com/ollama/ollama

從使用者的角度來說，三者沒有什么本質(zhì)上的區(qū)別；只不過其對不同角色用戶友好程度不一樣。

比如，個人認為Ollama客戶端更適合于開發(fā)者，而LLStudio更適合于使用者；因為LLMStudio的UI風豐富，而Ollama更簡潔。

02、技術(shù)原理

從本質(zhì)上來說，三種工具的技術(shù)沒有本質(zhì)上的區(qū)別，其都作為大模型的客戶端來使用，只不過提供了更加豐富的使用方式用戶界面和接口的方式。

而因為大模型的編程語言和訪問方式的不同，工具可以通過混合編程，使用SDK和網(wǎng)絡(luò)接口的方式來調(diào)用大模型的功能。

調(diào)用模型如下圖所示：

從技術(shù)架構(gòu)的角度來說，三種工具都采用了C/S模式的架構(gòu)，LLM大模型作為服務(wù)器Server，三種工具作為客戶端Client。

當然，對使用者來說需要使用三種工具作為客戶端；而對開發(fā)者來說，也可以自己開發(fā)一款客戶端來調(diào)用大模型，而如果對人工智能技術(shù)也有足夠的研究，那么就可以自己開發(fā)并訓練一款完全符合自己需求的大模型。

對使用者來說，他們需要的是使用好別人提供的大模型客戶端；而對開發(fā)者來說，可以把大模型作為技術(shù)底座，在底座之上構(gòu)建各種各樣的應(yīng)用。

本文轉(zhuǎn)載自公眾號AI探索時代 作者：DFires

原文鏈接：??https://mp.weixin.qq.com/s/egx7Zrw2QoX0ZZajU6TXMA??