DeepSeek沒(méi)反應(yīng)?那就在本地部署更好用 Mac和PC都能可視化 原創(chuàng)
最近大火的國(guó)產(chǎn)AI大模型Deepseek大家應(yīng)該都不陌生。除了在手機(jī)上安裝APP或通過(guò)官網(wǎng)在線體驗(yàn),其實(shí)我們完全可以在Windows電腦上進(jìn)行本地部署,從而帶來(lái)更加便捷的使用體驗(yàn)。 本地部署AI模型有很多好處,比如:隱私安全——所有數(shù)據(jù)都保存在本地,不用擔(dān)心泄露敏感信息;響應(yīng)速度快——官方或第三方服務(wù)由于訪問(wèn)量大,常常會(huì)導(dǎo)致卡頓,而本地部署能避免這種延遲問(wèn)題。否則,突然火得一塌糊涂,誰(shuí)也扛不住,經(jīng)常發(fā)個(gè)提問(wèn):
得益于其開(kāi)源模型,解決辦法很簡(jiǎn)單,那就是把 DeekSeek 部署在本地設(shè)備,這樣以來(lái)即便斷網(wǎng)也能使用。要在本地部署DeepSeek R1大模型并不難,只需安裝開(kāi)源工具Ollama,它可以支持各種AI模型的運(yùn)行。如果覺(jué)得在終端里與AI交互不夠直觀或美觀,還可以再安裝一個(gè)圖形化界面,就能像與ChatGPT一樣,在網(wǎng)頁(yè)上與大模型對(duì)話了。
本地化部署所需軟件
Ollama
Ollama是一個(gè)開(kāi)源軟件,主要用于在本地電腦設(shè)備上下載、部署和使用大模型(LLM)。它提供了豐富的LLM庫(kù),如llama、qwen、mistral以及DeepSeek R1等,并且支持不同參數(shù)規(guī)模的模型,以適配不同性能的電腦設(shè)備?。Ollama雖然支持直接使用LLM,但僅能在命令行中進(jìn)行對(duì)話,交互功能有限,因此需要配合其他工具使用?。通俗理解為用于方便本地部署大模型使用的工具,實(shí)現(xiàn)離線使用和數(shù)據(jù)得到安全保護(hù)。
DeepSeek R1
DeepSeek R1是一個(gè)大模型,常用于本地部署。通過(guò)Ollama和CherryStudio,用戶可以在本地電腦上部署和使用DeepSeek R1,從而實(shí)現(xiàn)離線使用和隱私保護(hù)。DeepSeek R1在本地部署時(shí),不需要依賴高配置的GPU,較低參數(shù)規(guī)模的模型甚至不需要獨(dú)立顯卡也可以在電腦運(yùn)行?。
CherryStudio
CherryStudio是一個(gè)可視化界面工具,內(nèi)置了多個(gè)大模型服務(wù)商,用戶只需進(jìn)行簡(jiǎn)單的配置即可使用大模型。它使得交互操作更加方便,用戶不需要在命令行中進(jìn)行對(duì)話?。通過(guò)配置Ollama模型,CherryStudio可以提供更友好的用戶界面,使得本地部署的大模型更容易使用?。通俗理解為就是一個(gè)與AI交互的界面,界面上可以選擇你部署好的不同AI模型(如deepseekR1等)進(jìn)行使用。
下面我將詳細(xì)給大家分享把 DeekSeek 部署在本地電腦設(shè)備的教程,下面圖文教程是以 Mac 為例,但實(shí)際上 Windows 同樣適用。
下載 LLM 平臺(tái)和 DS 模型
運(yùn)行 DeekSeek 需要用到大型語(yǔ)言模型(LLM)平臺(tái),目前比較火我個(gè)人也比較推薦的是 Ollama:旨在讓用戶能夠輕松地在本地運(yùn)行、管理和與大型語(yǔ)言模型進(jìn)行交互。
首先我們進(jìn)入 Ollama 官網(wǎng) ollama.com 下載對(duì)應(yīng)的 Mac 或者 Windows 客戶端:
之后打開(kāi)客戶端,點(diǎn)擊 install 即可大功告成,記住后續(xù)使用過(guò)程中 Ollama 不要關(guān)閉后臺(tái):
接著就是最重要的,在 Ollama 官網(wǎng)下載 DeekSeek 模型,目前第一個(gè)就是:
可以看到 DeepSeek 包含多個(gè)多個(gè)模型,簡(jiǎn)單來(lái)說(shuō)數(shù)值越大就越聰明但需要的資源也越多:
具體如何選擇呢?如果你的是 Mac 電腦,那么可以參考下圖:
5B版本?
CPU?:最低4核,推薦多核處理器
?內(nèi)存?:8GB以上
?硬盤?:3GB以上存儲(chǔ)空間(模型文件約1.5-2GB)。
?顯卡?:非必需,若使用GPU加速,推薦4GB以上顯存的顯卡(如GTX 1650)
?適用場(chǎng)景?:低資源設(shè)備部署(如樹(shù)莓派、舊款筆記本)、實(shí)時(shí)文本生成(聊天機(jī)器人、簡(jiǎn)單問(wèn)答)、嵌入式系統(tǒng)或物聯(lián)網(wǎng)設(shè)備?
7B版本?
CPU?:8核以上,推薦現(xiàn)代多核CPU
?內(nèi)存?:16GB以上
?硬盤?:8GB以上
?顯卡?:推薦8GB以上顯存的顯卡(如RTX 3070/4060)
?適用場(chǎng)景?:本地開(kāi)發(fā)測(cè)試、中等復(fù)雜度NLP任務(wù)(文本摘要、翻譯)、輕量級(jí)多輪對(duì)話系統(tǒng)?
14B版本?
CPU?:12核以上
?內(nèi)存?:32GB以上
?硬盤?:15GB以上
?顯卡?:16GB以上顯存的顯卡(如RTX 4090或A5000)
?適用場(chǎng)景?:企業(yè)級(jí)復(fù)雜任務(wù)(合同分析、報(bào)告生成)、長(zhǎng)文本理解與生成(書(shū)籍/論文輔助寫作)?。
根據(jù)自己電腦的配置,在這里下載1.5b的輕量級(jí)deepseek模型進(jìn)行演示,如下命令:
ollama run deepseek-r1:1.5b
輸入問(wèn)題,馬上就能收到回答,速度挺快的:
本地DeepSeek可視化
本地 DeekSeek 可視化這種類型的工具都是建立在上述 Ollama 和模型安裝完成基礎(chǔ)之上的,所以上面的步驟一定要完成。這里一般有兩種工具,一種是瀏覽器插件,另一種是 App 客戶端。
下面我將詳細(xì)給大家分享把 DeekSeek 部署在本地電腦設(shè)備的教程,下面圖文教程是以 Mac 為例,但實(shí)際上 Windows 同樣適用。
不過(guò)在終端 App 對(duì)話,每次都需要打開(kāi)終端然后運(yùn)行相應(yīng)的指令,并且都是 markdown 純文本顯示不夠美觀,這時(shí)候就需要用到可視化操作界面了。
首先我們介紹瀏覽器插件:Page Assist。
直接在 Chrome 商店搜索 Page Assist 安裝到瀏覽器,插件默認(rèn)是英文可以修改改成中文,然后在 RAG 設(shè)置里面的文本嵌入模型選擇 deepseek,這樣就可以開(kāi)啟聯(lián)網(wǎng)搜索:
最后回到主頁(yè)面,在對(duì)話框輸入你的問(wèn)題,必要時(shí)候勾選聯(lián)網(wǎng)開(kāi)關(guān):
接下來(lái)介紹 AI 可視化客戶端,類似的產(chǎn)品很多,目前比較火的有Chatbox,還有Cherry Studio。
1、首先下載一個(gè)叫 Cherry Studio的軟件,這個(gè)軟件主要用于與AI交互的可視化界面。如下圖。網(wǎng)址: https://cherry-ai.com/download
2、右鍵管理員身份運(yùn)行安裝“Cherry-Studio-0.9.19-setup.exe”軟件即可。
3、安裝好后,桌面雙擊運(yùn)行該軟件,進(jìn)行設(shè)置添加deepseek模型
4、選擇deepseek模型進(jìn)行對(duì)話
5、現(xiàn)在就可以用界面跟AI交互啦
總結(jié)
看到這里,相信你對(duì)DeepSeek 本地化部署又一定了解了;其實(shí)部署不難,如果你是個(gè)人搭建體驗(yàn)的話,也不用再為性能和本地硬件資源發(fā)愁;恰好你有充足的算力和技術(shù)儲(chǔ)備,本地部署也是個(gè)非常不錯(cuò)的選擇,喜歡DIY的同學(xué)不容錯(cuò)過(guò)。 DeepSeek 之所以爆火,有天時(shí)地利人和的因素,帶來(lái)了“中國(guó)也可以”這份信心,甚至有夸張說(shuō)是國(guó)運(yùn)的開(kāi)始。這,才是我們真正要守護(hù)的希望。
本文轉(zhuǎn)載自公眾號(hào)數(shù)字化助推器 作者:天涯咫尺TGH
原文鏈接:??https://mp.weixin.qq.com/s/W0VOde67VxLN1APxc98oTg??
