一文讀懂!DeepSeek超簡易本地部署教程
概述
DeepSeek-R1模型在各項(xiàng)指標(biāo)直逼甚至超越OpenAI及同類產(chǎn)品,迅速成為業(yè)界焦點(diǎn)。更令人驚喜的是該模型基于MIT協(xié)議免費(fèi)開源,允許任何公司或個(gè)人自由商用,無需任何授權(quán)限制,一時(shí)間在AI界掀起了巨大波瀾。
最近DeepSeek服務(wù)被外海攻擊,有時(shí)候無法訪問,既然DeepSeek-R1是開源的,那么我們其實(shí)可以部署自己的DeepSeek-R1模型,如果再結(jié)合Webman AI,效果將更加完美。
廢話不多說,直接上教程教怎么本地部署DeepSeek-R1服務(wù)。
前提
電腦有顯卡,顯卡越好效果越好
一、安裝ollama
二、根據(jù)配置安裝合適的版本
參考量 | 顯存需求 | 顯卡推薦 | 命令 |
1.5B | 通常4GB左右 | GTX 1050 |
|
8B | 一般8-10GB | GTX 1660 |
|
14B | 12GB以上,16GB以上運(yùn)行流暢 | RTX 3060 |
|
32B | 16GB以上,21GB以上運(yùn)行流暢 | RTX 3060 |
|
70B | 24GB以上,40GB以上運(yùn)行流暢 | RTX 3090、RTX 4090 |
|
671B | 1342GB | 16張NVIDIA A100 80GB顯卡 |
|
圖片
根據(jù)顯存選擇合適的版本,有條件的建議上32B或者70B,效果非常好。如果顯存不夠,并且使用了高版本,會自動使用CPU+顯存的方式來運(yùn)行,但是輸出很慢,每秒1-2個(gè)字。
三、對話
圖片
安裝完之后就可以直接在命令行對話了。
以下內(nèi)容為可選項(xiàng)
配合 Webman AI (可選)
如果你有Webman AI程序,則可以接入自己的deepseek-r1,提升用戶體驗(yàn)的同時(shí),使自己從中獲取收益。
ollama 默認(rèn)在命令行中對話,UI界面并不友好,如果配合 Webman AI 也可以有更好的交互體驗(yàn)。
假設(shè)你已經(jīng)部署了Webman AI程序,通過以下步驟接入DeepSeek-R1。
進(jìn)入到Webman AI 管理后臺
新增模型
圖片
設(shè)置對外模型名稱
圖片
新建角色
圖片
測試
圖片