自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

手把手教你將本地部署的DeepSeek R1集成到Dify

發(fā)布于 2025-2-3 13:45
瀏覽
0收藏

今天,手把手教大家在本地部署DeepSeek R1,并將其集成到Dify中,實(shí)打?qū)嵦嵘愕墓ぷ餍剩?/p>

一、本地部署模型

本部分介紹在本地通過(guò)ollama部署DeepSeek R1。

1、安裝ollama

在ollama官網(wǎng),選擇操作系統(tǒng),下載ollama應(yīng)用程序并安裝

手把手教你將本地部署的DeepSeek R1集成到Dify-AI.x社區(qū)

命令行輸入ollama,出現(xiàn)下面的提示,則說(shuō)明安裝成功。

手把手教你將本地部署的DeepSeek R1集成到Dify-AI.x社區(qū)

2、部署deepseek模型

在ollama官網(wǎng),點(diǎn)擊「Models」,選擇第一個(gè)「DeepSeek R1」

手把手教你將本地部署的DeepSeek R1集成到Dify-AI.x社區(qū)

根據(jù)自己的顯存選擇對(duì)應(yīng)的版本大小。


模型名稱

參數(shù)規(guī)模(b)

顯存需求(FP16,GB)

顯存需求(4位量化,GB)

7b模型

7

16

4

16b模型

16

37

9

67b模型

67

154

38

236b模型

236

543

136

671b模型

671

1543

386

推薦GPU:
- 7B和16B之類的較小型號(hào),消費(fèi)者GPU(例如NVIDIA RTX 4090)是合適的。
- 較大的模型,超過(guò)1000億個(gè)參數(shù)的模型,通常需要數(shù)據(jù)中心GPU,例如NVIDIA H100或分布式設(shè)置中的多個(gè)高端消費(fèi)者GPU。

手把手教你將本地部署的DeepSeek R1集成到Dify-AI.x社區(qū)

如何查看自己電腦顯存呢?

在windows10電腦上,右鍵點(diǎn)擊左下方的Win10圖標(biāo),彈出下拉菜單,選擇【運(yùn)行】選項(xiàng)并點(diǎn)擊進(jìn)入運(yùn)行對(duì)話窗口,在運(yùn)行對(duì)話窗口內(nèi)輸入dxdiag命令【主要查看N卡】。

手把手教你將本地部署的DeepSeek R1集成到Dify-AI.x社區(qū)

計(jì)算:電腦顯存==>16112MB / 1024MB約等于16GB,選擇最小7B參數(shù)的模型。

點(diǎn)擊7b,然后在右側(cè)會(huì)出現(xiàn)下載命令:

手把手教你將本地部署的DeepSeek R1集成到Dify-AI.x社區(qū)

將下載命令復(fù)制,到命令行中執(zhí)行:

手把手教你將本地部署的DeepSeek R1集成到Dify-AI.x社區(qū)


下載之后,就可以通過(guò)命令行和大模型進(jìn)行對(duì)話了:

手把手教你將本地部署的DeepSeek R1集成到Dify-AI.x社區(qū)

通過(guò)命令行和大模型進(jìn)行對(duì)話不太方便,接下來(lái),介紹一下將其集成到Dify中,通過(guò)可視化的方式調(diào)用。

二、Dify中配置DeepSeek R1

登錄到已經(jīng)部署好的Dify中,點(diǎn)擊設(shè)置,在「模型供應(yīng)商」選擇「ollama」

手把手教你將本地部署的DeepSeek R1集成到Dify-AI.x社區(qū)

「模型名稱」填:deepseek-r1:7b。

「基礎(chǔ)URL中」,若ollama和Dify是同一臺(tái)機(jī)器部署,并且Dify是通過(guò)Docker部署,那么填http://host.docker.internal:11434,

手把手教你將本地部署的DeepSeek R1集成到Dify-AI.x社區(qū)


其他情況填http://localhost:11434,填完之后點(diǎn)擊保存即可。

手把手教你將本地部署的DeepSeek R1集成到Dify-AI.x社區(qū)


三、創(chuàng)建應(yīng)用

在Dify中創(chuàng)建一個(gè)應(yīng)用來(lái)使用DeepSeek R1模型。

創(chuàng)建一個(gè)「聊天助手」,填寫「應(yīng)用名稱」和「描述」,點(diǎn)擊創(chuàng)建:

手把手教你將本地部署的DeepSeek R1集成到Dify-AI.x社區(qū)

選擇添加好的DeepSeek R1模型:

手把手教你將本地部署的DeepSeek R1集成到Dify-AI.x社區(qū)


需要注意的是,DeepSeek R1是一個(gè)推理模型,不支持函數(shù)調(diào)用,也就是說(shuō)無(wú)法集成在DIfy的智能體中,但是DeepSeek V3可以。

手把手教你將本地部署的DeepSeek R1集成到Dify-AI.x社區(qū)

手把手教你將本地部署的DeepSeek R1集成到Dify-AI.x社區(qū)

沒(méi)有聯(lián)網(wǎng)的deepseek-r1存在嚴(yán)重的幻覺(jué)。

手把手教你將本地部署的DeepSeek R1集成到Dify-AI.x社區(qū)

 

本文轉(zhuǎn)載自 ??AIGC新知??,作者: 絳燁

標(biāo)簽
收藏
回復(fù)
舉報(bào)
回復(fù)
相關(guān)推薦