在當(dāng)前的AI革命中，大模型扮演著至關(guān)重要的角色，而這背后的基礎(chǔ)便是Scaling Law。簡(jiǎn)而言之，隨著數(shù)據(jù)、參數(shù)和計(jì)算能力的不斷提升，大模型的能力也隨之增強(qiáng)，展現(xiàn)出小規(guī)模模型所無(wú)法比擬的“涌現(xiàn)能力”。越來(lái)越多的AI企業(yè)紛紛推出開源大模型，按照擴(kuò)展定律實(shí)現(xiàn)指數(shù)級(jí)的增長(zhǎng)，為AI領(lǐng)域的發(fā)展注入了新的活力和動(dòng)力。

然而，另一個(gè)不可忽視的趨勢(shì)是，大型模型的體積正在逐漸縮小，這為私有化部署提供了可能。這一趨勢(shì)對(duì)于個(gè)人隱私保護(hù)要求較高的場(chǎng)景尤為重要。通過無(wú)需聯(lián)網(wǎng)傳輸數(shù)據(jù)，直接在設(shè)備上運(yùn)行的AI技術(shù)，我們可以增強(qiáng)用戶的信任感。盡管云服務(wù)器上的AI可能具備更高的性能，但其安全性和可靠性卻令人擔(dān)憂。因此隨著模型體積的減小，私有化部署將成為更加可行和受歡迎的選擇。

本文介紹幾個(gè)適合私有化部署的最新大模型，并提供部署指導(dǎo)，手把手部署到電腦及手機(jī)。

一、開源大模型

熱門的大模型如ChatGPT和Bard受限于專有閉源技術(shù)，限制了其應(yīng)用并模糊了技術(shù)透明度。相比之下，開源AI大型模型（LLMs）如Meta的Llama 3和微軟的Phi3，不僅增強(qiáng)了數(shù)據(jù)安全和隱私保護(hù)，還降低了成本、減少了外部依賴，并實(shí)現(xiàn)了代碼透明和模型定制。這些“小而美”的開源模型便于部署，預(yù)示著AI技術(shù)將更為開放、透明和靈活。

1、Llama 3

近期，Meta發(fā)布了開源Llama 3 8B和Llama 3 70B模型，Meta稱它們是同體量下性能最佳的開源模型?；鶞?zhǔn)測(cè)試顯示，Llama 3 400B+實(shí)力與Claude和新版GPT-4 Turbo相當(dāng)，在頂尖模型中占據(jù)重要地位。

模型鏈接：https://llama.meta.com/llama-downloads/

GitHub項(xiàng)目地址：https://github.com/meta-llama/llama3

2. Phi-3

Phi是微軟AI研究院的新開源小型語(yǔ)言模型，專為商業(yè)環(huán)境設(shè)計(jì)，小巧高效。它包括Mini、Small和Medium三種規(guī)模。Phi-3-Mini雖有3.8B參數(shù)，但在關(guān)鍵測(cè)試中表現(xiàn)出色，與大型模型如Mixtral 8x7B和GPT-3.5相當(dāng)。更大版本在擴(kuò)展數(shù)據(jù)集下表現(xiàn)更佳。

Phi-3 技術(shù)報(bào)告：《一個(gè)能跑在手機(jī)上的大模型》https://arxiv.org/abs/2404.14219

小結(jié)

基準(zhǔn)測(cè)試顯示，Llama 3 8B和Phi3 3.8B小模型表現(xiàn)優(yōu)異。在小規(guī)模參數(shù)的背后，還有相似的優(yōu)化方法。由于大型模型性能的關(guān)鍵在于框架、數(shù)據(jù)和參數(shù)。小參數(shù)下使用MOE框架意義不大，因此這兩個(gè)模型注重?cái)?shù)據(jù)優(yōu)化，提高數(shù)量和質(zhì)量，這也為精簡(jiǎn)大型模型指明了方向。

二、電腦部署的流程

Ollama是部署大型語(yǔ)言模型的強(qiáng)大工具，兼容Llama 3、Mistral、Gemma等模型。部署過程簡(jiǎn)潔明了：下載并安裝Ollama，隨后運(yùn)行模型。

以Windows為例，輕松從官網(wǎng)或文末獲取Ollama，一鍵安裝即可。官網(wǎng)下載鏈接 https://github.com/ollama/ollama

安裝好Ollama后，在命令行中輸入【ollama run llama3】并運(yùn)行，即可輕松下載并啟動(dòng)llama3大型模型（其他模型的運(yùn)行命令同樣適用）。初次下載模型可能需要一些時(shí)間，完成后，就可以開始與模型愉快地對(duì)話了。

Ollama還支持其他功能如，圖片等多模態(tài)輸入、傳入提示詞調(diào)教模型等，具體可以看下文檔。

三、手機(jī)部署的流程

與電腦相比，手機(jī)在部署大模型方面展現(xiàn)出更大的意義。這是因?yàn)槭謾C(jī)與我們的日常生活聯(lián)系得更為緊密，且手機(jī)中儲(chǔ)存著大量的個(gè)人數(shù)據(jù)，為后續(xù)交互提供了極大的便利。當(dāng)前，許多人手頭都有閑置的手機(jī)，如果其性能足夠強(qiáng)大，那么運(yùn)行大模型便成為了一個(gè)不錯(cuò)的選擇。以我的舊手機(jī)小米8為例，可以應(yīng)對(duì)這一需求。

要在手機(jī)上部署大模型，使用Termux+Ollama就成了。

盡管在手機(jī)上部署稍顯繁瑣，類似于電腦的安裝配置過程，但需要搭建Linux環(huán)境。盡管安卓系統(tǒng)的底層建立在Linux內(nèi)核之上，但重新裝載Linux并非易事。然而，我偶然發(fā)現(xiàn)了一款名為Termux的出色工具，它能在Android設(shè)備上流暢運(yùn)行眾多Linux命令和應(yīng)用程序。只需訪問F-Droid官方網(wǎng)站，便能輕松下載安裝Termux，為您的移動(dòng)設(shè)備增添強(qiáng)大的Linux功能。

官網(wǎng)下載鏈接：https://github.com/termux/termux-app/releases

安裝后打開Termux如下圖。（如有要打開多個(gè)Linux窗口，左上角右滑點(diǎn)擊New session就可以。）

第一步，利用Termux的proot-distro功能，可便捷安裝Linux系統(tǒng)如Ubuntu、Debian或Arch Linux。

// 先來(lái)安裝proot-distro
pkg install proot-distro


//使用proot-distro安裝一個(gè)debian
proot-distro install debian


// 安裝成功后通過login命令就直接進(jìn)入debian，為發(fā)行版啟動(dòng)一個(gè)root shell
proot-distro login debian

//進(jìn)入之后再來(lái)安裝ollama
curl -fsSL https://ollama.com/install.sh | sh


// 安裝完畢可以查看ollama版本進(jìn)行驗(yàn)證，出現(xiàn)版本號(hào)之后就可以使用ollama
ollama -v




// 后臺(tái)開啟ollama服務(wù)
nohup ollama serve &


//運(yùn)行大模型（其他模型的命令如下圖，可通過ollama list查看模型） 
ollama run phi3

第一次安裝軟件和大模型首次可能會(huì)花費(fèi)較長(zhǎng)時(shí)間，大約需要一小時(shí)。但安裝完成后，后續(xù)使用便捷。只需運(yùn)行debian系統(tǒng)的login、Ollama服務(wù)以及大模型，即可開始使用。

在手機(jī)上編寫代碼有其獨(dú)特魅力，輸入代碼并看到屏幕上的輸出感覺很酷。然而，安裝遠(yuǎn)程軟件如Tailscale或todesk，用電腦編寫代碼更有趣。但需注意，算力受限會(huì)影響大模型的響應(yīng)速度，同時(shí)會(huì)增加手機(jī)電量消耗。

四、本地大模型的體驗(yàn)

模型表現(xiàn)：大模型表現(xiàn)權(quán)威的數(shù)據(jù)可以看一些相關(guān)的測(cè)評(píng)，比如下圖。

經(jīng)過我初步的測(cè)試與體驗(yàn)，手機(jī)本地部署的兩大模型llama3和Phi3各有千秋。llama3展現(xiàn)出了穩(wěn)健的性能，而Phi3則在反應(yīng)速度上占據(jù)優(yōu)勢(shì)，給我的綜合感受帶來(lái)了不小的驚喜。

響應(yīng)速度方面，必須承認(rèn)，無(wú)論是手機(jī)還是電腦，性能的高低都會(huì)對(duì)模型的表現(xiàn)產(chǎn)生影響。若能在配備GPU的電腦上運(yùn)行，或許能得到更為流暢的體驗(yàn)。但在手機(jī)上，這兩款模型的反應(yīng)速度確實(shí)略顯遲緩，有時(shí)甚至需要耐心等待幾分鐘才能得到簡(jiǎn)短的回應(yīng)。值得一提的是，Phi3的反應(yīng)速度明顯超過了llama3，這在模型規(guī)模上形成了有趣的對(duì)比——llama3的8B模型幾乎是Phi3的3.8B模型的兩倍。

對(duì)于中文處理能力，這些開源模型確實(shí)存在一些不足。當(dāng)面對(duì)一些不常見的問題時(shí)，模型有時(shí)會(huì)在回答中突然轉(zhuǎn)向英文。此外，很多中文表達(dá)含糊不清，導(dǎo)致笑話內(nèi)容顯得有些尷尬。這背后的原因在于，高質(zhì)量的中文數(shù)據(jù)集與英文數(shù)據(jù)集相比仍有較大差距，這一數(shù)據(jù)層面的差異在未來(lái)或許會(huì)愈發(fā)明顯。在中文任務(wù)的處理上，llama的表現(xiàn)似乎更勝一籌。如有興趣，不妨嘗試llama的中文版——llama3-Chinese，或許會(huì)帶來(lái)不一樣的驚喜。

llama3

phi3

代碼能力：看著都有模有樣的，但還是可以看出來(lái)Phi3有一些語(yǔ)法錯(cuò)誤。

llama3

phi3

數(shù)學(xué)推理：看著都還不錯(cuò)，Phi3感覺更好些。

llama3

phi3

安全性：都有不錯(cuò)的合規(guī)意識(shí)

llama3

phi3

五、結(jié)語(yǔ)

我們不禁感慨，雖然目前AI的實(shí)際應(yīng)用仍顯得零星，但技術(shù)的發(fā)展確實(shí)需要時(shí)間的積累。大型模型的昂貴推理成本無(wú)疑限制了其廣泛的推廣和應(yīng)用。

然而，正是像Llama 3和Phi3這樣的小模型的嶄露頭角，讓我們看到了大型模型實(shí)用化的希望。雖然小模型的訓(xùn)練成本相對(duì)較高，但它們低廉的推理成本為整體經(jīng)濟(jì)帶來(lái)了顯著的節(jié)省，尤其是在為海量用戶提供服務(wù)時(shí)，高性能的小模型讓AI擺脫了成本的束縛，更加靈活地應(yīng)用于各種場(chǎng)景。想象一下，如果我們能夠根據(jù)自己的需求在本地部署定制化的AI，那種魅力將是無(wú)法言喻的！

展望未來(lái)，相信隨著模型的不斷優(yōu)化和定制AI芯片等技術(shù)的快速發(fā)展，更多“小而美”的AI大模型將逐漸融入我們的日常生活，讓我們更加深入地感受到AI帶來(lái)的巨大變革！