DeepSeek本地部署教程,小白也能搞定!
安裝環(huán)境
操作系統(tǒng):Windows 10及以上
準(zhǔn)備工具:
- 輕量級(jí)AI模型調(diào)用工具Ollama,調(diào)用AI模型為deepseek-r1
- AI 模型管理工具Cherry-Studio或AnythingLLM(二選一)
資源鏈接:
https://pan.baidu.com/s/1RVWsJPRdPubjB9ppBTh4Bg
提取碼:xyj1
安裝步驟
第一步、下載安裝Ollama并修改環(huán)境變量
要運(yùn)行大模型,首先需要一個(gè)好用的工具,推薦使用 Ollama ,它是一個(gè)輕量級(jí)的工具,支持快速安裝和運(yùn)行大語(yǔ)言模型(如deepseek、Llama、Qwen 等)。
ollama下載地址 :官網(wǎng)鏈接https://ollama.com/download/或者我的網(wǎng)盤(文章開頭)
選擇合適的操作系統(tǒng)下載,默認(rèn)安裝完成即可。這里注意,ollama安裝完成后先不要啟用,因?yàn)樗J(rèn)是會(huì)將模型下載到C盤的,deepseek、Qwen等模型最小也有好幾個(gè)GB會(huì)占用C盤空間,所以需要先設(shè)置ollama的環(huán)境變量。
環(huán)境變量設(shè)置方法:
① 菜單鍵搜索“環(huán)境變量”
② 按照如下步驟設(shè)置環(huán)境變量:
OLLAMA_HOST: 0.0.0.0
OLLAMA_MODELS:D:\Ollama model
- OLLAMA_HOST:設(shè)置為0.0.0.0 會(huì)將ollama服務(wù)應(yīng)用到所有的網(wǎng)絡(luò),默認(rèn)ollama只綁定到了127.0.0.1和localhost上了;
- OLLAMA_MODELS_PATH:設(shè)置了AI模型的存放路徑。
③安裝ollama并且設(shè)置完環(huán)境變量后,CMD打開命令窗口輸入下述命令即可查看版本:
ollama -v
第二步、加載AI大模型(這里使用deepseek-R1大模型)
① 打開ollama官網(wǎng)https://ollama.com/search可以找到AI大模型deepseek-r1,因?yàn)楸?,頭個(gè)就是它
進(jìn)入后可根據(jù)自身電腦的配置選擇規(guī)格,然后復(fù)制后邊對(duì)應(yīng)的命令即可
這里說(shuō)明一下:只有671B是滿血deepseek大模型,其它的都是蒸餾小模型。另外根據(jù)自身電腦配置選擇規(guī)格參考如下(配置太低是跑不動(dòng)高規(guī)格模型的)
模型 | 顯存需求 | 內(nèi)存需求 | 推薦顯卡 | 性價(jià)比方案 |
7B | 10-12GB | 16GB | RTX 3060 | 二手2060S |
14B | 20-24GB | 32GB | RTX 3090 | 雙卡2080Ti |
32B | 40-48GB | 64GB | RTX 4090 | 租賃云服務(wù)器 |
② 將剛剛復(fù)制的命令在CMD命令窗口中運(yùn)行,即可完成AI模型下載(由于修改了環(huán)境變量,存放路徑不再是C盤):
ollama run deepseek-r1:7b
然后就可以提問(wèn)AI了:
按Ctrl+Z可以回到上級(jí),輸入以下命令可以查看已下載的模型列表:
ollama list
為了更加美觀和可視化的與AI交流,下面需要通過(guò)交互工具實(shí)現(xiàn),可以用cherry-studio或者anythingLLM,二選一。本文即介紹anythingLLM的部署方法。
第三步、安裝AnythingLLM并通過(guò)ollama加載deepseek模型
① 下載地址:官網(wǎng)鏈接https://anythingllm.com/desktop或我的網(wǎng)盤(文章開頭)
② 完成安裝后打開AnythingLLM,點(diǎn)擊“設(shè)置”修改變量參數(shù):
設(shè)置完成后創(chuàng)建自己的工作區(qū),這樣就可以可視化的開展頁(yè)面對(duì)話了: