“ GPT4ALL，一個基于llama.cpp開源項(xiàng)目的本地大模型?！?/strong>

GPT4ALL是一款可以運(yùn)行在個人電腦上的大模型系統(tǒng)，不需要GPU即可運(yùn)行，目前支持mac，linux和windows系統(tǒng)。

github地址：https://github.com/nomic-ai/gpt4all

01、什么是GPT4ALL？

不論學(xué)習(xí)任何東西，首先要明白它是個什么東西。

Open-source large language models that run locally on your CPU and nearly any GPU。

這是GPT4ALL github上的介紹，翻譯過來就是可以運(yùn)行在CPU和GPU上的開源大模型系統(tǒng)。

GPT4ALL不單是一個chatbot軟件，而是一個生態(tài)系統(tǒng)。用于訓(xùn)練和部署強(qiáng)大且可定制的大型語言模型，可以在消費(fèi)級CPU上本地運(yùn)行。它的目標(biāo)是成為最好的指令微調(diào)型的語言助手模型，任何個人或企業(yè)都可以自由使用、分發(fā)和構(gòu)建。

我們知道，自從openAI發(fā)布chatGPT之后，大模型如雨后春筍般出現(xiàn)，各個公司都開始開發(fā)自己的大模型。國內(nèi)以openAI領(lǐng)頭，谷歌，meta，蘋果等公司緊隨其后。

國內(nèi)的阿里，百度，騰訊等也先后發(fā)布了自己的大模型；可以說大模型進(jìn)入了群魔亂舞的時代。

但是，對個人和小企業(yè)來說，研發(fā)一款大模型不論是技術(shù)成本，還是資金成本都是不可接受的。但由于個人的學(xué)習(xí)需要和企業(yè)的數(shù)據(jù)安全性需要，各個公司都希望能夠訓(xùn)練一個可以在自己企業(yè)內(nèi)部使用的大模型系統(tǒng)。

而openAI的GPT模型是一個完全閉源的系統(tǒng)，而meta公司開源的Llama大模型，由于其效果不錯，所以走進(jìn)了大家的視線。

GPT4ALL官方提供的數(shù)據(jù)對比

而GPT4ALL就是一款建立在Llama模型上的開源系統(tǒng)，當(dāng)然由于其系統(tǒng)要求低，在本地部署的也屬于閹割版的Llama，不過對于個人學(xué)習(xí)和小企業(yè)使用也夠了；

而且，GPT4ALL可以自己收集數(shù)據(jù)進(jìn)行訓(xùn)練和微調(diào)，這樣就大大節(jié)約了成本；并且更加定制化。

GPT4ALL最大的優(yōu)點(diǎn)就是開源且能商用，不管是個人還是企業(yè)，在不想數(shù)據(jù)泄露給他人的情況下，能夠私有部署和快速訓(xùn)練自己的GPT。而且GPT4All 13B（130億參數(shù)）模型性能直追1750億參數(shù)的GPT-3。

02、GPT4ALL的本地部署以及使用

在個人計算機(jī)上部署GPT4ALL有兩種方式：

第一種就是從GPT4ALL官網(wǎng)下載客戶端，如上圖所示，用戶可以從搜索框中搜索大模型，并下載到本地即可使用。

或者去官網(wǎng)下載大模型到本地，如下圖所示：

官網(wǎng)地址：https://gpt4all.io/index.html

第一種方式可以作為不懂技術(shù)的個人愛好者下載使用，第二種方式就是提供給個人開發(fā)者和企業(yè)使用的一種方式。

如下圖所示，用戶可以根據(jù)其官方文檔，使用不同的編程語言調(diào)用大模型的功能接口。以此來實(shí)現(xiàn)自己的學(xué)習(xí)或者企業(yè)的應(yīng)用場景。

GPT4ALL的編程接口

GPT4ALL的python文檔

文檔地址： https://docs.gpt4all.io/

如下圖所示，用戶只需要安裝python環(huán)境，并且使用pip包管理工具，安裝gpt4all的包，即可在開發(fā)環(huán)境中調(diào)用大模型的功能。

官方提供了大量已經(jīng)訓(xùn)練好的模型以供直接使用。

作者在本地使用python調(diào)用大模型功能

而如果，你覺得官方提供的大模型功能不合適，那么你還可以根據(jù)官方文檔進(jìn)行大模型的訓(xùn)練和微調(diào)，定制化一款真正屬于自己的大模型。

本文轉(zhuǎn)載自公眾號AI探索時代 作者：DFires

原文鏈接：??https://mp.weixin.qq.com/s/A54K0CgXhhp94d6O0n3fWg??