一、Ollama介紹

Ollama是一個(gè)開(kāi)源工具，專為在本地機(jī)器上便捷部署和運(yùn)行大型語(yǔ)言模型（LLM）而設(shè)計(jì)。

它提供了一個(gè)簡(jiǎn)潔高效的界面，讓用戶能夠輕松地創(chuàng)建、執(zhí)行和管理這些復(fù)雜的模型。此外，Ollama還配備了一個(gè)豐富的預(yù)構(gòu)建模型庫(kù)，使得這些模型能夠無(wú)縫集成到各種應(yīng)用程序之中，大大提升了開(kāi)發(fā)效率和用戶體驗(yàn)。

二、Ollama安裝

2.1  官方網(wǎng)站

Ollama官方網(wǎng)址：https://ollama.com/

此網(wǎng)站可放心打開(kāi)，沒(méi)有墻，打開(kāi)后如下：

2.2  Ollama下載

點(diǎn)擊【Download】，會(huì)跳轉(zhuǎn)到下載頁(yè)面，如下：

根據(jù)自己的系統(tǒng)選擇下載，我們以Windows系統(tǒng)為例進(jìn)行安裝。

點(diǎn)擊【Download for Windows】，然后等待下載即可。

2.3  Ollama安裝

2.3.1  雙擊【OllamaSetup.exe】開(kāi)始安裝。

2.3.2  點(diǎn)擊【Install】開(kāi)始安裝。

等待安裝即可，可以看到，目前Ollama版本為0.3.6。

2.3.3  注意事項(xiàng)

安裝完成后，不會(huì)有提示，需要在開(kāi)始里面找到Ollama。

并且一定要注意，如果沒(méi)有成功添加環(huán)境變量，需要自己手動(dòng)添加，否則無(wú)法在命令行內(nèi)啟動(dòng)ollama。

2.4  Ollama快速應(yīng)用

2.4.1  打開(kāi)命令行窗口

通過(guò)wins+R，輸入cmd，點(diǎn)擊確定，打開(kāi)命令行窗口。

2.4.2  通過(guò)Ollama配置大模型

輸入  ollama  list ，查看當(dāng)前大模型情況，首次安裝顯示應(yīng)如下圖：

2.4.3  下載預(yù)訓(xùn)練模型

（1）點(diǎn)擊  Models ，會(huì)來(lái)到Ollama支持的預(yù)訓(xùn)練模型頁(yè)面。

（2）以下載 【yi】模型為例，我們?cè)谒阉骺蜉斎搿緔i】，然后點(diǎn)擊進(jìn)入【yi】模型的詳細(xì)頁(yè)面：

yi模型簡(jiǎn)介：

yi是一系列大型語(yǔ)言模型，在支持英語(yǔ)和漢語(yǔ)的3萬(wàn)億標(biāo)記的高質(zhì)量語(yǔ)料庫(kù)上訓(xùn)練?？梢钥吹接胁煌膟i模型提供了6b、9b和34b的預(yù)訓(xùn)練模型，b表示10億參數(shù)量，6b就是60億參數(shù)量。

（3）在命令行窗口輸入：ollama run yi:6b-chat  ，這個(gè)命令本來(lái)是運(yùn)行yi模型的命令，但是它在運(yùn)行前會(huì)先檢查是否有yi模型，如果沒(méi)有，就會(huì)先下載yi模型，如果有，則會(huì)運(yùn)行yi模型。

正規(guī)的下載命令應(yīng)為：ollama pull yi:6b-chat

yi模型下載截圖：

目前比較好的一點(diǎn)是，Ollama還沒(méi)有被墻，所以我們可以在線下載，網(wǎng)速也是比較快的，能道道20MB/s以上，但是不排除將來(lái)被墻。

(4)下載完成后，會(huì)直接啟動(dòng)yi模型，我們可以在直接輸入問(wèn)題與yi模型進(jìn)行交互。

2.4.4  與yi模型對(duì)話

可以看到，在回答第一個(gè)問(wèn)題時(shí)，還是有理有據(jù)。但是在回答第二個(gè)邏輯問(wèn)題時(shí)，6b的模型還是不準(zhǔn)確的，沒(méi)有很好地理解問(wèn)題。

三、Ollama命令總結(jié)

為了方便大家對(duì)Ollama進(jìn)行操作，這里列舉了常用的一些ollama操作命令：

ollama serve：?jiǎn)?dòng) Ollama 服務(wù)，是后續(xù)操作的基礎(chǔ)。
ollama create：從模型文件創(chuàng)建模型，適用于自定義模型或本地已有模型文件的情況。
ollama show：顯示模型信息，可查看模型架構(gòu)、參數(shù)等詳細(xì)信息，輔助模型分析。
ollama run：運(yùn)行模型，如ollama run qwen2，若本地?zé)o該模型會(huì)自動(dòng)下載并運(yùn)行，可用于快速測(cè)試模型。
ollama pull：從注冊(cè)表中拉取模型，如ollama pull llama3，方便獲取官方或其他來(lái)源的模型。
ollama push：將模型推送到注冊(cè)表，便于共享模型。
ollama list：列出本地已有的模型，方便管理和選擇。
ollama cp：復(fù)制模型，可用于備份或創(chuàng)建模型副本。
ollama rm：刪除模型，釋放存儲(chǔ)空間。
ollama help：獲取任何命令的幫助信息，方便用戶快速查詢命令用法。