手把手教你將本地部署的DeepSeek R1集成到Dify
今天,手把手教大家在本地部署DeepSeek R1,并將其集成到Dify中,實(shí)打?qū)嵦嵘愕墓ぷ餍剩?/p>
一、本地部署模型
本部分介紹在本地通過(guò)ollama部署DeepSeek R1。
1、安裝ollama
在ollama官網(wǎng),選擇操作系統(tǒng),下載ollama應(yīng)用程序并安裝
命令行輸入ollama,出現(xiàn)下面的提示,則說(shuō)明安裝成功。
2、部署deepseek模型
在ollama官網(wǎng),點(diǎn)擊「Models」,選擇第一個(gè)「DeepSeek R1」
根據(jù)自己的顯存選擇對(duì)應(yīng)的版本大小。
模型名稱 | 參數(shù)規(guī)模(b) | 顯存需求(FP16,GB) | 顯存需求(4位量化,GB) |
7b模型 | 7 | 16 | 4 |
16b模型 | 16 | 37 | 9 |
67b模型 | 67 | 154 | 38 |
236b模型 | 236 | 543 | 136 |
671b模型 | 671 | 1543 | 386 |
推薦GPU:
- 7B和16B之類的較小型號(hào),消費(fèi)者GPU(例如NVIDIA RTX 4090)是合適的。
- 較大的模型,超過(guò)1000億個(gè)參數(shù)的模型,通常需要數(shù)據(jù)中心GPU,例如NVIDIA H100或分布式設(shè)置中的多個(gè)高端消費(fèi)者GPU。
如何查看自己電腦顯存呢?
在windows10電腦上,右鍵點(diǎn)擊左下方的Win10圖標(biāo),彈出下拉菜單,選擇【運(yùn)行】選項(xiàng)并點(diǎn)擊進(jìn)入運(yùn)行對(duì)話窗口,在運(yùn)行對(duì)話窗口內(nèi)輸入dxdiag命令【主要查看N卡】。
計(jì)算:電腦顯存==>16112MB / 1024MB約等于16GB,選擇最小7B參數(shù)的模型。
點(diǎn)擊7b,然后在右側(cè)會(huì)出現(xiàn)下載命令:
將下載命令復(fù)制,到命令行中執(zhí)行:
下載之后,就可以通過(guò)命令行和大模型進(jìn)行對(duì)話了:
通過(guò)命令行和大模型進(jìn)行對(duì)話不太方便,接下來(lái),介紹一下將其集成到Dify中,通過(guò)可視化的方式調(diào)用。
二、Dify中配置DeepSeek R1
登錄到已經(jīng)部署好的Dify中,點(diǎn)擊設(shè)置,在「模型供應(yīng)商」選擇「ollama」
「模型名稱」填:deepseek-r1:7b。
「基礎(chǔ)URL中」,若ollama和Dify是同一臺(tái)機(jī)器部署,并且Dify是通過(guò)Docker部署,那么填http://host.docker.internal:11434,
其他情況填http://localhost:11434,填完之后點(diǎn)擊保存即可。
三、創(chuàng)建應(yīng)用
在Dify中創(chuàng)建一個(gè)應(yīng)用來(lái)使用DeepSeek R1模型。
創(chuàng)建一個(gè)「聊天助手」,填寫「應(yīng)用名稱」和「描述」,點(diǎn)擊創(chuàng)建:
選擇添加好的DeepSeek R1模型:
需要注意的是,DeepSeek R1是一個(gè)推理模型,不支持函數(shù)調(diào)用,也就是說(shuō)無(wú)法集成在DIfy的智能體中,但是DeepSeek V3可以。
沒(méi)有聯(lián)網(wǎng)的deepseek-r1存在嚴(yán)重的幻覺(jué)。
本文轉(zhuǎn)載自 ??AIGC新知??,作者: 絳燁
