Ollama—— 這是一個專為本地部署優(yōu)化的 AI 模型。Ollama 在模型大小、性能和部署靈活性等方面都有非凡的表現(xiàn)，與傳統(tǒng)云端部署相比，它可以輕松運(yùn)行在普通的臺式電腦或筆記本電腦上。這無疑是 AI 大模型的一次重大突破！

接下來，讓我們一起來了解Ollama的更多細(xì)節(jié)：Windows基于Ollama部署本地AI大模型

一、大模型工具Ollama介紹

• 官網(wǎng)地址：https://www.ollama.com/

圖片

• Ollama是一個用于部署和運(yùn)行各種開源大模型的工具；
• Ollama它能夠幫助用戶快速在本地運(yùn)行各種大模型，極大地簡化了大模型在本地運(yùn)行的過程；
• 用戶通過執(zhí)行幾條命令就能在本地運(yùn)行開源大模型，如Llama 2等；
• 綜上，Ollama是一個大模型部署運(yùn)行工具，在該工具里面可以部署運(yùn)行各種大模型，方便開發(fā)者在本地搭建一套大模型運(yùn)行環(huán)境；

 二、Ollama工具下載

下載地址：https://ollama.com/download

圖片

注意：Ollama的運(yùn)行會受到所使用模型大小的影響

• 例如：運(yùn)行一個7 B（70億參數(shù)）的模型至少需要8GB的可用內(nèi)存(RAM)，而運(yùn)行一個13 B（130億參數(shù)）的模型需要16GB的內(nèi)存，33 B（330億參數(shù)）的模型需要32GB的內(nèi)存；

• 需要考慮有足夠的磁盤空間，大模型的文件大小可能比較大，建議至少為Ollama和其模型預(yù)留50GB的磁盤空間；

• 性能較高的CPU可以提供更好的運(yùn)算速度和效率，多核處理器能夠更好地處理并行任務(wù)，選擇具有足夠核心數(shù)的CPU；

• 顯卡(GPU)：Ollama支持純CPU運(yùn)行，但如果電腦配備了NVIDIA GPU，可以利用GPU進(jìn)行加速，提高模型的運(yùn)行速度和性能；

三、Ollama工具安裝

點(diǎn)擊OllamaSetup.exe安裝：

圖片

按照提示2步即可：

圖片

圖片

安裝完成后測試：ollama --version。

圖片

四、Ollama工具拉取大模型運(yùn)行。

圖片

Ollama拉取運(yùn)行。

圖片

Windows查看大模型端口：

netstat -ano | findstr 11434。

圖片

默認(rèn)Ollama API會監(jiān)聽11434端口，可以使用命令進(jìn)行查看。

圖片

成功?。?！

Ollama 的出現(xiàn)為我們帶來了全新的AI應(yīng)用可能性。憑借其出色的本地部署能力和廣泛的AI功能，Ollama 必將成為開發(fā)者和普通用戶的最愛。