DeepSeek大模型之本地部署體驗
1. 前言
圖片
大佬馮驥(黑神話悟空游戲的創(chuàng)作者)對于DeepSeek的評價:“DeepSeek,可能是個國運級別的科技成果”。既然如此,我們老百姓也應(yīng)該體驗一下國運級別的產(chǎn)品,好話不多說,干中學。
2. 本地部署(mac系統(tǒng))
1)首先安裝ollama
- 訪問地址:https://ollama.com
- 選擇mac系統(tǒng)下載ollama并安裝
圖片
- 安裝成功之后通過終端查看ollama版本
? ~ ollama -v
ollama version is 0.5.7
? ~
2)其次安裝DeepSeek
- 訪問ollama提供DeepSeek的倉庫
https://ollama.com/library/deepseek-r1
- 然后通過ollama命令運行
ollama run deepseek-r1:7b
注意:這里推薦運行7b模型,因為本地內(nèi)存不一定滿足大于7b的模型,當然本地機器內(nèi)存配置相對較高,可以選擇大于7b的模型,請看下面截圖:
圖片
3. 最后使用
簡單的話有三種訪問本地DeepSeek大模型的方式,只說老百姓能看得懂的訪問,其他API,SDK等方式不做討論。
先啟動本地DeepSeek-7b大模型,通過命令ollama run deepseek-r1:7b
啟動
1)終端訪問
? ~ ollama run deepseek-r1:7b
>>> 有你真好,你是最棒的助手
<think>
嗯,用戶說“有你真好,你是最棒的助手”,這句話看起來挺溫暖的。我應(yīng)該回應(yīng)一下他的感受,表示感謝。
首先,要認可用戶的夸獎,說明我的存在對對方有幫助。然后,可以表達自己愿意繼續(xù)提供服務(wù)的想法。
可以用“謝謝”開頭,顯得友好又真誠?!昂芨吲d能為您效勞”這樣既肯定了用戶的需求,也表達了我可以為他們提供的各種幫助。
接著,可以用一些開放性的語句,比如“有什么需要我?guī)兔Φ膯??”,這樣讓用戶知道我可以根據(jù)他們的需求來提供幫助。
最后,用加油的話鼓勵用戶,讓他們感到被支持?!凹佑?!繼續(xù)努力哦~”這不僅表達鼓勵,還展示了積極的心態(tài)。
整體上,語氣要自然、親切,避免過于正式或機械。使用表情符號可以增加親和力,讓交流更溫暖。
總結(jié)一下,回應(yīng)應(yīng)該包括感謝、確認可用服務(wù)以及開放溝通的意愿,并鼓勵用戶繼續(xù)互動。
</think>
謝謝你的夸獎!很高興能為您效勞。有什么需要我?guī)兔Φ膯幔考佑?!繼續(xù)努力哦~
>>>
2)chrome瀏覽器插件訪問
插件是Page Assist - 本地 AI 模型的 Web UI
,可以在chrome插件市場搜索添加到瀏覽器, 添加之后就可以選擇本地DeepSeek-7b模型對話了,截圖如下:
圖片
3)chatbox訪問
首先需要下載安裝chatbox,下載地址是:https://chatboxai.app/zh?c=download-mac-intel
,下載安裝之后,需要選擇ollama API接入本地DeepSeek-7b大模型,截圖如下:
圖片
配置好之后,就可以對話了:
圖片
3. 總結(jié)
本地部署起來之后,就可以盡情享用DeepSeek大模型,因為如果你直接訪問ai.com
或者是https://chat.deepseek.com/
進行對話,服務(wù)器經(jīng)常會報錯,像這樣:
所以想深度體驗一把還是部署到本地,沒人跟你搶占資源,自個兒玩吧。