自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

一文讀懂!DeepSeek超簡易本地部署教程

人工智能
最近DeepSeek服務(wù)被外海攻擊,有時(shí)候無法訪問,既然DeepSeek-R1是開源的,那么我們其實(shí)可以部署自己的DeepSeek-R1模型,如果再結(jié)合Webman AI,效果將更加完美。

概述

DeepSeek-R1模型在各項(xiàng)指標(biāo)直逼甚至超越OpenAI及同類產(chǎn)品,迅速成為業(yè)界焦點(diǎn)。更令人驚喜的是該模型基于MIT協(xié)議免費(fèi)開源,允許任何公司或個(gè)人自由商用,無需任何授權(quán)限制,一時(shí)間在AI界掀起了巨大波瀾。

最近DeepSeek服務(wù)被外海攻擊,有時(shí)候無法訪問,既然DeepSeek-R1是開源的,那么我們其實(shí)可以部署自己的DeepSeek-R1模型,如果再結(jié)合Webman AI,效果將更加完美。

廢話不多說,直接上教程教怎么本地部署DeepSeek-R1服務(wù)。

前提

電腦有顯卡,顯卡越好效果越好

一、安裝ollama

https://ollama.com/download

二、根據(jù)配置安裝合適的版本

參考量

顯存需求

顯卡推薦

命令

1.5B

通常4GB左右

GTX 1050

ollama run deepseek-r1:1.5b

8B

一般8-10GB

GTX 1660

ollama run deepseek-r1:8b

14B

12GB以上,16GB以上運(yùn)行流暢

RTX 3060

ollama run deepseek-r1:14b

32B

16GB以上,21GB以上運(yùn)行流暢

RTX 3060

ollama run deepseek-r1:32b

70B

24GB以上,40GB以上運(yùn)行流暢

RTX 3090、RTX 4090

ollama run deepseek-r1:70b

671B

1342GB

16張NVIDIA A100 80GB顯卡

ollama run deepseek-r1:671b

圖片圖片

根據(jù)顯存選擇合適的版本,有條件的建議上32B或者70B,效果非常好。如果顯存不夠,并且使用了高版本,會自動使用CPU+顯存的方式來運(yùn)行,但是輸出很慢,每秒1-2個(gè)字。

三、對話

圖片圖片

安裝完之后就可以直接在命令行對話了。

以下內(nèi)容為可選項(xiàng)

配合 Webman AI (可選)

如果你有Webman AI程序,則可以接入自己的deepseek-r1,提升用戶體驗(yàn)的同時(shí),使自己從中獲取收益。

ollama 默認(rèn)在命令行中對話,UI界面并不友好,如果配合 Webman AI 也可以有更好的交互體驗(yàn)。

假設(shè)你已經(jīng)部署了Webman AI程序,通過以下步驟接入DeepSeek-R1。

進(jìn)入到Webman AI 管理后臺

新增模型

圖片圖片

設(shè)置對外模型名稱

圖片圖片

新建角色

圖片圖片

測試

圖片圖片

責(zé)任編輯:武曉燕 來源: 開源技術(shù)小棧
相關(guān)推薦

2024-01-03 08:54:17

Kubernetes策略工具

2025-02-12 08:30:18

2023-12-22 19:59:15

2021-08-04 16:06:45

DataOps智領(lǐng)云

2018-09-28 14:06:25

前端緩存后端

2022-11-06 21:14:02

數(shù)據(jù)驅(qū)動架構(gòu)數(shù)據(jù)

2022-09-22 09:00:46

CSS單位

2025-04-03 10:56:47

2022-07-05 06:30:54

云網(wǎng)絡(luò)網(wǎng)絡(luò)云原生

2022-07-26 00:00:03

語言模型人工智能

2023-05-20 17:58:31

低代碼軟件

2023-11-27 17:35:48

ComponentWeb外層

2022-10-20 08:01:23

2022-12-01 17:23:45

2021-12-29 18:00:19

無損網(wǎng)絡(luò)網(wǎng)絡(luò)通信網(wǎng)絡(luò)

2024-06-04 12:59:41

2023-08-01 19:11:05

瀏覽器本地存儲

2024-05-28 11:32:01

2021-02-05 05:26:33

字節(jié)ASCII控制

2017-05-15 11:10:10

大數(shù)據(jù)聚類算法
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號