這樣在本地搭建DeepSeek可以直接封神:本地部署+避坑指南(升級(jí)版)
本文旨在提供一個(gè)全面且詳細(xì)的DeepSeek本地部署指南,幫助大家在自己的設(shè)備上成功運(yùn)行DeepSeek模型。無論你是AI領(lǐng)域的初學(xué)者還是經(jīng)驗(yàn)豐富的開發(fā)者,都能通過本文的指導(dǎo),輕松完成DeepSeek的本地部署。
一、本地部署的適用場(chǎng)景
DeepSeek本地部署適合以下場(chǎng)景:
- 高性能硬件配置:如果你的電腦配置較高,特別是擁有獨(dú)立顯卡和足夠的存儲(chǔ)空間,那么本地部署將能充分利用這些硬件資源。
- 數(shù)據(jù)安全需求:對(duì)于需要處理敏感數(shù)據(jù)的用戶,本地部署可以避免數(shù)據(jù)上傳至云端,確保數(shù)據(jù)的安全性和隱私性。
- 高頻任務(wù)處理:對(duì)于需要頻繁處理大量或復(fù)雜任務(wù)的用戶,本地部署能提供更高的靈活性和響應(yīng)速度。
- 成本控制:對(duì)于日常使用量大、API調(diào)用費(fèi)用較高的用戶,本地部署能顯著降低運(yùn)行成本。
- 個(gè)性化需求:本地部署允許用戶對(duì)模型進(jìn)行二次開發(fā)和定制,滿足特定的應(yīng)用場(chǎng)景和需求。
二、環(huán)境準(zhǔn)備與依賴安裝
1. 硬件要求
- 操作系統(tǒng):推薦Linux(如Ubuntu 20.04及以上版本)或Windows系統(tǒng)。
- Python版本:需要安裝Python 3.8及以上版本。
- GPU支持:需要支持CUDA的NVIDIA GPU,推薦顯存16GB及以上。
2.硬件配置
模型 | 顯存需求 | 內(nèi)存需求 | 推薦顯卡 |
7B | 10-12GB | 16GB | RTX 3060 |
14B | 20-24GB | 32GB | RTX 3090 |
32B | 40-48GB | 64GB | RTX 4090 |
3.軟件依賴
- CUDA與CUDNN:根據(jù)NVIDIA GPU型號(hào)和驅(qū)動(dòng)版本,安裝合適的CUDA(11.2及以上版本)和CUDNN(8.1及以上版本)。
4. 安裝步驟
更新系統(tǒng)(Linux為例)
sudo apt-get update
安裝必要依賴
sudo apt-get install -y python3-pip python3-dev python3-venv git
創(chuàng)建并激活虛擬環(huán)境
python3 -m venv deepseek-env
source deepseek-env/bin/activate
安裝PyTorch
根據(jù)CUDA版本選擇合適的PyTorch安裝命令。例如,CUDA 11.2的安裝命令如下:
pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu112
三、DeepSeek模型下載與部署
1. 克隆DeepSeek代碼庫(kù)
git clone https://github.com/deepseek-ai/deepseek.git
cd deepseek
2. 安裝項(xiàng)目依賴
pip install -r requirements.txt
3. 下載并放置預(yù)訓(xùn)練模型
從官方提供的鏈接下載DeepSeek預(yù)訓(xùn)練模型權(quán)重,并將其放置在models/
目錄下。
wget [官方鏈接] -O models/deepseek_model.pth
4. 配置環(huán)境變量
設(shè)置模型路徑和GPU設(shè)備號(hào)等環(huán)境變量
export MODEL_PATH=models/deepseek_model.pth
export CUDA_VISIBLE_DEVICES=0
5. 運(yùn)行模型
使用以下命令啟動(dòng)DeepSeek模型進(jìn)行推理或訓(xùn)練。
python run.py --model_path $MODEL_PATH --input "你的輸入文本"
五、簡(jiǎn)化部署方案:使用Ollama
對(duì)于初學(xué)者或不希望手動(dòng)配置環(huán)境的用戶,可以使用Ollama工具簡(jiǎn)化DeepSeek的本地部署過程。
1.下載安裝Ollama
在本地部署DeepSeek會(huì)使用到Ollama,所以,需要現(xiàn)在本地下載安裝Ollama。
Ollama官方地址:https://ollama.com
圖片
小伙伴們可以根據(jù)自己的需要下載MacOS、Linux和Windows版本的Ollama,由于冰河目前使用的是Windows系統(tǒng),所以,這里我下載的是Windows版本的Ollama。
下載后在本地安裝Ollama。
2.下載DeepSeek-R1
(1)定位Models
進(jìn)入Ollama官網(wǎng),找到Models。
圖片
(2)找到DeepSeek-R1模型
圖片
(3)選擇對(duì)應(yīng)的模型下載
DeepSeek-R1有很多不同的版本可供下載,例如1.5b、7b、8b、14b、32b、70b或671b,版本越高,模型越大,對(duì)于電腦的內(nèi)存、顯卡等資源的配置要求就越高。
這里為了方便安裝演示,我先給大家演示如何部署8b的模型。后續(xù)帶著大家在服務(wù)上部署更高版本的模型。
進(jìn)入DeepSeek-R1模型的詳情,選擇8b模型,如下所示。
圖片
(4)打開電腦終端
以管理員身份打開電腦終端,如下所示。
圖片
(5)部署8b模型
首先,如下圖所示復(fù)制8b模型的代碼。
圖片
隨后,將其粘貼到命令行終端,如下所示。
圖片
如果出現(xiàn)下圖所示的進(jìn)度,則說明正在下載模型。
圖片
等待一段時(shí)間,如果出現(xiàn)success字樣,則說明部署成功,如下所示。
圖片
部署成功后,我們可以試著在命令行發(fā)送一條消息給DeepSeek,這里我發(fā)送一個(gè)“你好”給DeepSeek。
可以看到,向DeepSeek發(fā)送你好后,它也回復(fù)了一段內(nèi)容。
至此,我們就可以和DeepSeek在命令行進(jìn)行對(duì)話了。不過,只是在命令行與DeepSeek對(duì)話,那就顯得有點(diǎn)不怎么方便了,所以,我們繼續(xù)部署Chatbox。
3.安裝Chatbox
通過部署Chatbox,我們可以使用在網(wǎng)頁或者客戶端與DeepSeek進(jìn)行交互。Chatbox的安裝步驟如下所示。
(1)下載安裝Chatbox
Chatbox官網(wǎng):https://chatboxai.app/zh
直接進(jìn)入官網(wǎng)下載客戶端,如下所示。
圖片
下載完成后,雙擊進(jìn)行安裝即可。
(2)配置DeepSeek-R1模型
打開Chatbox,選擇設(shè)置—>Ollama API,如下所示。
圖片
選擇已經(jīng)安裝好的DeepSeek-R1 8b模型,進(jìn)行保存。
圖片
等待部署完成,就可以在Chatbox頁面中與DeepSeek進(jìn)行對(duì)話了。
六、安裝Open-WebUI
1.安裝Docker
安裝Open-WebUI前,我們可以先安裝Docker。進(jìn)入Docker官網(wǎng):https://www.docker.com,下載Docker。
圖片
下載后安裝到自己電腦即可。
2.安裝open-webui
如果是在Linux系統(tǒng)下,則可以打開命令行,輸入以下命令安裝 Open-WebUI。
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
安裝完成后,打開瀏覽器,訪問 http://localhost:3000,注冊(cè)一個(gè)賬號(hào)并登錄,即可進(jìn)入open-webui。
在界面左上角選擇對(duì)應(yīng)的模型,即可開始對(duì)話。
如果是Windows系統(tǒng),則在瀏覽器搜索Open-WebUI,進(jìn)入官網(wǎng),并復(fù)制下圖所示的命令。
圖片
隨后打開Windows命令行,輸入復(fù)制的命令后等待安裝完成。
安裝完成后,打開瀏覽器,訪問 http://localhost:3000,注冊(cè)一個(gè)賬號(hào)并登錄,即可進(jìn)入open-webui。
七、常見問題解決方案
問題現(xiàn)象 | 解決方案 |
顯存不足報(bào)錯(cuò) | 使用量化模型或換用更小模型 |
響應(yīng)速度慢 | 設(shè)置環(huán)境變量 |
生成內(nèi)容中斷 | 輸入 |
中文輸出夾雜英文 | 在提問末尾添加「請(qǐng)使用純中文回答」 |
歷史記憶混亂 | 輸入 |