軟件安裝

總共需要安裝三個(gè)軟件，分別為Ollama、Docker Desktop、Open WebUI

Ollama 介紹：Ollama 是一款開源工具，專注于簡化大型語言模型（LLM）在本地環(huán)境中的部署與運(yùn)行。它支持多種主流模型（如 Llama 3、Mistral、Gemma 等），提供跨平臺(tái)兼容性（macOS/Linux/Windows），通過命令行實(shí)現(xiàn)快速安裝與交互。其核心優(yōu)勢(shì)在于隱私保護(hù)（數(shù)據(jù)無需上傳云端）和可定制性，允許用戶微調(diào)模型參數(shù)或加載自定義模型。開發(fā)者和研究者可借助其輕量化設(shè)計(jì)及活躍社區(qū)資源，便捷地探索自然語言處理、內(nèi)容生成等場(chǎng)景，尤其適合對(duì)數(shù)據(jù)安全敏感或需要離線使用的需求。項(xiàng)目還支持模型庫擴(kuò)展與API集成，平衡了易用性和靈活性。

下載地址：https://ollama.com  根據(jù)你電腦的操作系統(tǒng)，下載合適的版本，安裝即可。

Docker Desktop 介紹：Docker Desktop 是一款專為開發(fā)者設(shè)計(jì)的桌面應(yīng)用程序，提供本地化容器化開發(fā)環(huán)境，支持在 macOS、Windows 和 Linux 系統(tǒng)上無縫構(gòu)建、運(yùn)行及共享容器化應(yīng)用。它通過簡化 Docker 引擎的配置與管理，集成 Kubernetes 集群、鏡像倉庫和網(wǎng)絡(luò)存儲(chǔ)工具，實(shí)現(xiàn)跨平臺(tái)環(huán)境的一致性部署。其可視化界面與命令行工具（CLI）結(jié)合，支持快速創(chuàng)建隔離的容器環(huán)境，助力開發(fā)、測(cè)試及調(diào)試微服務(wù)、云原生應(yīng)用等場(chǎng)景。  

下載地址：https://docs.docker.com/desktop/  

根據(jù)你電腦的操作系統(tǒng)，下載合適的版本，安裝即可。

在Ollama、Docker Desktop安裝完成并運(yùn)行之后，開始Open WebUI的安裝部署。

Open WebUI介紹：Open WebUI 是一款開源、可擴(kuò)展且功能豐富的自托管 Web 用戶界面，專為本地化部署和運(yùn)行大型語言模型（LLM）而設(shè)計(jì)。它支持多種 LLM 運(yùn)行程序（如 Ollama 和 OpenAI 兼容的 API），并提供了類 ChatGPT 的交互體驗(yàn)，同時(shí)強(qiáng)調(diào)隱私保護(hù)和離線操作能力。

下載地址：

https://github.com/open-webui/open-webui

把這段話復(fù)制到終端Terminal，進(jìn)行open-webui鏡像下載

下載完成之后，打開Docker Desktop，點(diǎn)擊下圖所示的 ports

就可以在瀏覽器中看到ollma 的用戶界面了。

點(diǎn)擊左下角設(shè)置-模型，進(jìn)行模型下載

由于我的mac 只有 16G內(nèi)存，這里我選擇7b 的模型進(jìn)行部署

復(fù)制模型名稱到這里，點(diǎn)擊右側(cè)下載按鈕就好

下載完成～ 就可以使用了

點(diǎn)擊新建對(duì)話

使用測(cè)試

測(cè)試一道簡單的高中數(shù)學(xué)題

開始思考～

得出答案～

給一道邏輯推理題：有五個(gè)人：甲、乙、丙、丁、戊。他們分別排在第一到第五的位置。根據(jù)以下的提示，判斷出他們的排序： 甲不在第一位。 乙在丙的前面。 丁在戊的后面。 丙不在最后一位。

我本地部署的 7b 推理模型花了 8 分鐘進(jìn)行推理，后續(xù)又測(cè)試了一次，花了約 5 分鐘

于是同樣的問題我測(cè)試下官網(wǎng)的671b參數(shù)的，花了 86 秒～ 答案是一樣的

總結(jié)

在本地部署的話，還是需要好一點(diǎn)的硬件，我這 16G內(nèi)存的 macbook 明顯不夠，推理不夠快。

看 deepseek 的推理過程有很多 Aha Moment（頓悟時(shí)刻），有種大模型產(chǎn)生了意識(shí)的感覺！

本文轉(zhuǎn)載自AI思與行，作者：cc