Deepseek本地部署,培養(yǎng)自己的獨有的AI伴侶!
目前我們所知道的AI大部分都是在網(wǎng)頁或者APP上直接使用,缺少其獨特性,deepseek支持將AI部署在我們的本地電腦,只要你得性能夠,就可以創(chuàng)造一個獨屬于你自己的AI伴侶。
廢話不多說直接上操作!
一、配置要求
1. GPU 要求
DeepSeek 模型大多數(shù)是基于 Transformer 結(jié)構(gòu)的,需要強大的 GPU 進行推理和訓練。具體需求如下:
圖片
2. CPU 要求
如果僅做推理,CPU 需求相對較低,但建議:
- 最低要求:8 核 / 16 線程(如 AMD Ryzen 7 5800X、Intel i7-12700)
- 推薦:16 核 / 32 線程(如 AMD Ryzen 7950X、Intel i9-13900K)
- 超大模型(如 671B)可能需要服務(wù)器級 CPU(如 AMD EPYC、Intel Xeon)。
如果完全用 CPU 運行(無 GPU),推理速度會極慢,甚至無法運行大模型。
3.操作系統(tǒng)
ubuntu、window、macOS皆可
二、配置方式
基本配置方法其實非常簡單,我們今天先嘗試將命令行版本的配置出來,下一章我們繼續(xù)配置可視化界面。
部署我們可以使用很多工具,像Ollama、LM Studio、Docker等都可以,今天我們用Ollama來進行配置,簡單快捷,并且支持多系統(tǒng)Windows、Linux 和 Mac 系統(tǒng),同時提供命令行和 Docker 部署方式。
1、安裝ollama
首先我們來安裝ollama,官方地址是:https://ollama.com/。
圖片
我們直接點擊download。
我們可以看到可以選擇多個系統(tǒng)的下載方式,這里我們就選擇window,如果有其他需求的小伙伴可以自主選擇。
之后我們就執(zhí)行這個下載好的exe文件即可。
圖片
點擊install,會默認下載到c盤,我嘗試過也無法修改地址~~
安裝好后就會自動彈出一個powershell界面。
這個時候需要輸入指令來安裝這里我使用的是。
ollama run deepseek-r1:1.5b,因為電腦有點拉垮,所以沒有選擇更高版本,有條件的可以選擇,指令就在下面的地址當中。
地址:https://ollama.com/search
圖片
選擇第一個就可以看到如下內(nèi)容,數(shù)字越大代表要求就越高。
圖片
當然還有個更高的671b,有條件可以搞,哈哈~~
圖片
復制上面的指令,粘貼到ollama打開的powershell窗口中,執(zhí)行下載即可。
圖片
下載需要時間,也可以自行給他提提速。
下載完成就可以看到如下輸入窗口。
圖片
這個時候我們就本地安裝部署完成了,可以通過命令行與AI聊天了,也可以給它一些要求,讓他成為你想想中的AI伴侶的模樣,這可能需要更高的配置要求。
圖片
本文轉(zhuǎn)載自微信公眾號「 快樂程序猿」,可以通過以下二維碼關(guān)注。轉(zhuǎn)載本文請聯(lián)系快樂程序猿公眾號。