自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

如何利用 DeepSeek-R1 本地部署強(qiáng)大的推理模型:從 ChatGPT 風(fēng)格界面到 API 集成 原創(chuàng) 精華

發(fā)布于 2025-2-12 08:21
瀏覽
0收藏

如何利用 DeepSeek-R1 本地部署強(qiáng)大的推理模型:從 ChatGPT 風(fēng)格界面到 API 集成-AI.x社區(qū)

01、概述

隨著開(kāi)源推理模型如 DeepSeek-R1 的崛起,開(kāi)發(fā)者可以在本地運(yùn)行強(qiáng)大的 AI,而不再依賴于云服務(wù)。這一技術(shù)的出現(xiàn)引發(fā)了不小的網(wǎng)絡(luò)熱議,或許你也在好奇如何利用這一模型在本地搭建自己的 AI 系統(tǒng)。

本指南將帶你了解兩種關(guān)鍵的使用場(chǎng)景:

普通用戶:創(chuàng)建一個(gè) ChatGPT 風(fēng)格的界面

開(kāi)發(fā)者:通過(guò) API 集成模型到應(yīng)用中

在開(kāi)始之前,如果你有興趣深入了解 DeepSeek-R1 的背景,以便更好地理解接下來(lái)的過(guò)程,可以參考我的文章《DeepSeek-R1 理論簡(jiǎn)介(適合初學(xué)者)》。

02、本地部署必備工具

1. 安裝 Ollama

首先,我們需要安裝 Ollama,這是一個(gè)可以幫助你在本地下載并托管 DeepSeek-R1 模型的工具。無(wú)論你是 macOS M 系列、Windows 還是 Linux 用戶,都可以通過(guò)以下方式安裝 Ollama:

macOS 或 Windows 用戶:可以訪問(wèn) Ollama 官方網(wǎng)站 下載并安裝適合你系統(tǒng)的版本。

Linux 用戶:使用命令行安裝:

curl -fsSL https://ollama.com/install.sh | sh

這會(huì)安裝模型運(yùn)行工具,并自動(dòng)啟用 GPU 加速(Apple M 系列使用 Metal,NVIDIA 顯卡使用 CUDA)。

簡(jiǎn)單來(lái)說(shuō),Ollama 是一個(gè)幫助你下載并本地運(yùn)行 DeepSeek-R1 模型的工具,同時(shí)它也能讓其他應(yīng)用能夠調(diào)用該模型。

2. 下載 DeepSeek-R1 模型

根據(jù)你的硬件配置選擇適合的 DeepSeek-R1 版本。你可以在 DeepSeek-R1 模型庫(kù) 中查看不同版本的模型。值得注意的是,模型有精簡(jiǎn)版和完整版之分,精簡(jiǎn)版的模型保留了原版模型的大部分功能,但體積更小,運(yùn)行速度更快,對(duì)硬件的要求也較低。

大部分情況下,較大的模型通常更強(qiáng)大,但對(duì)于本地托管而言,我們建議選擇一個(gè)適合你 GPU 性能的版本。幸運(yùn)的是,DeepSeek-R1 提供了一個(gè) compact 版本 DeepSeek-R1-Distill-Qwen-1.5B,它僅使用大約 1GB 的顯存,甚至可以在 8GB 內(nèi)存的 M1 MacBook Air 上運(yùn)行。

安裝命令如下:

ollama run deepseek-r1:1.5b # 平衡速度和質(zhì)量(約 1.1GB VRAM)

03、場(chǎng)景 1:ChatGPT 風(fēng)格的聊天界面

如果你想體驗(yàn) DeepSeek-R1 模型,并通過(guò)一個(gè) ChatGPT 風(fēng)格的界面與其互動(dòng),可以利用 Open WebUI 來(lái)實(shí)現(xiàn)。這是一個(gè)用戶友好的聊天界面,適用于本地托管的 Ollama 模型。

通過(guò)以下 Docker 命令,快速部署 Open WebUI:

docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data \\
--add-host=host.docker.internal:host-gateway --name open-webui ghcr.io/open-webui/open-webui:main

部署完成后,打開(kāi)瀏覽器訪問(wèn) http://localhost:3000,創(chuàng)建一個(gè)賬戶,并從模型下拉菜單中選擇 deepseek-r1:1.5b。

使用本地部署的 LLM 進(jìn)行聊天具有以下幾個(gè)優(yōu)勢(shì):

易于訪問(wèn):你可以隨時(shí)試驗(yàn)不同的開(kāi)源模型。

離線聊天:無(wú)需互聯(lián)網(wǎng)連接,你依然可以使用類似 ChatGPT 的服務(wù)來(lái)提高工作效率。

更高的隱私保護(hù):因?yàn)榱奶鞌?shù)據(jù)完全保存在本地,避免了敏感信息泄露的風(fēng)險(xiǎn)。

04、場(chǎng)景 2:開(kāi)發(fā)者的 API 集成

如果你已經(jīng)將 DeepSeek-R1 在本地托管,并且是開(kāi)發(fā)者,你可以通過(guò) Ollama 提供的 OpenAI 兼容 API 輕松集成模型到應(yīng)用中。API 地址為 http://localhost:11434/v1。

使用 OpenAI Python 客戶端進(jìn)行集成:

from openai import OpenAI

# 配置客戶端,使用 Ollama 本地服務(wù)器地址
client = OpenAI(
    base_url="http://localhost:11434/v1",  # Ollama 服務(wù)器地址
    api_key="no-api-key-needed",  # Ollama 不需要 API 密鑰
)

使用 LangChain 集成:

from langchain_ollama import ChatOllama

# 配置 Ollama 客戶端,使用本地服務(wù)器地址
llm = ChatOllama(
    base_url="http://localhost:11434",  # Ollama 服務(wù)器地址
    model="deepseek-r1:1.5b",  # 指定你在 Ollama 本地托管的模型
)

更多相關(guān)代碼和設(shè)置可以參考 GitHub 上的項(xiàng)目:DeepSeek-R1 本地 API 集成指南。

05、總結(jié)

通過(guò) Ollama 和 DeepSeek-R1,你現(xiàn)在可以在本地使用 GPU 加速運(yùn)行強(qiáng)大的 AI,體驗(yàn) ChatGPT 風(fēng)格的聊天界面,并且通過(guò)標(biāo)準(zhǔn)的 API 將 AI 能力集成到你的應(yīng)用中——這一切都在離線狀態(tài)下進(jìn)行,確保了隱私保護(hù)。

無(wú)論你是普通用戶想要快速體驗(yàn) AI 聊天功能,還是開(kāi)發(fā)者希望將強(qiáng)大的語(yǔ)言模型融入自己的應(yīng)用中,DeepSeek-R1 都是一個(gè)非常適合的選擇。

通過(guò)本地部署,你不僅能夠享受到更低的延遲和更高的性能,還能避免將敏感數(shù)據(jù)暴露在云端,極大提升了安全性和效率。

參考:

  1. ??https://ollama.com/library/deepseek-r1??
  2. ??https://github.com/billpku/DeepSeek-R1-local-API-in-Action?source=post_page-----9efb6206fe18--------------------------------??


本文轉(zhuǎn)載自公眾號(hào)Halo咯咯    作者:基咯咯

原文鏈接:??https://mp.weixin.qq.com/s/J1L_ytFCzMpL8upeBUr1XQ??


?著作權(quán)歸作者所有,如需轉(zhuǎn)載,請(qǐng)注明出處,否則將追究法律責(zé)任
標(biāo)簽
已于2025-2-12 08:21:18修改
收藏
回復(fù)
舉報(bào)
回復(fù)
相關(guān)推薦