當(dāng)看到這條消息時(shí)，機(jī)器之心編輯部陷入了集體沉默。作為一個(gè)免費(fèi)開源的模型，DeepSeek 竟能讓倒賣商如此大賺特賺，也著實(shí)讓人震驚。而這也從側(cè)面佐證了 DeepSeek 模型引發(fā)的本地部署熱潮是多么洶涌。

圖源：微博 @揚(yáng)子晚報(bào)

打開淘寶和拼多多，搜索 DeepSeek，我們能看到電子貨架上擺滿了琳瑯滿目的本可免費(fèi)獲得的資源，其中既有安裝包，也有提示詞包與教程，甚至就連清華大學(xué)剛剛發(fā)布的《DeepSeek 從入門到精通》也被許多賣家明碼標(biāo)價(jià)出售 —— 但實(shí)際上你只需要隨便找個(gè)搜索引擎搜索一下，你就能找到大量可免費(fèi)下載該教程的鏈接。

價(jià)錢如何呢？根據(jù)我們的粗略觀察，一般打包出售「安裝包 + 教程 + 提示詞」的價(jià)格通常在 10-30 元之間，商家一般還會提供一定的客服服務(wù)。其中不少都已經(jīng)賣出了上百份，更有少數(shù)幾個(gè)已經(jīng)達(dá)成了上千人付款的成就。離譜的是，一個(gè)定價(jià) 100 元的軟件和教程包也有 22 人付款。

真是不得不讓人感嘆，信息差的錢是真好賺。

轉(zhuǎn)自網(wǎng)絡(luò)

今天這篇文章我們將教你如何在本地部署 DeepSeek，并且完全不用花一分錢。但首先，我們先簡單了解下為什么要本地部署。

為什么要本地部署 DeepSeek-R1？

DeepSeek-R1，雖然可能已不是當(dāng)前最強(qiáng)大的推理模型，但絕對依然還是當(dāng)前最熱門的推理模型。也因此，如果使用官網(wǎng)或其它托管商的服務(wù)，我們常常會遭遇如下窘境：

而本地部署模型可以有效杜絕這種情況。簡單來說，本地部署就是在你自己的本地設(shè)備上安裝 AI 模型，而不依賴云端 API 或在線服務(wù)。常見的本地部署方式有如下幾種：

• 輕量級本地推理：在個(gè)人電腦或移動端運(yùn)行（如 Llama.cpp、Whisper、GGUF 格式模型）。
• 服務(wù)器 / 工作站部署：使用高性能 GPU 或 TPU（如英偉達(dá) RTX 4090、A100）運(yùn)行大模型。
• 私有云 / 內(nèi)網(wǎng)服務(wù)器：在企業(yè)內(nèi)部服務(wù)器上部署（如使用 TensorRT、ONNX Runtime、vLLM）。
• 邊緣設(shè)備：在嵌入式設(shè)備或 IoT 設(shè)備上運(yùn)行 AI（如 Jetson Nano、樹莓派）。

而本地部署也存在自己的應(yīng)用場景，比如：

• 企業(yè)內(nèi)部 AI（如私有聊天機(jī)器人、文檔分析）；
• 科研計(jì)算（如生物醫(yī)藥、物理仿真）；
• 離線 AI 功能（如語音識別、OCR、圖像處理）；
• 安全審計(jì) & 監(jiān)控（如法律、金融合規(guī)分析）。

本文將主要關(guān)注輕量級本地推理，這也是適用于我們大多數(shù)個(gè)人用戶的部署方式。

本地部署的好處

除了從根本上解決「服務(wù)器繁忙」問題，本地部署還有其它諸多好處，包括：

1. 數(shù)據(jù)隱私與安全性：在本地部署 AI 模型時(shí)，就無需將自己的關(guān)鍵數(shù)據(jù)上傳到云端，從而可以有效防止數(shù)據(jù)泄露，這對金融、醫(yī)療、法律等行業(yè)而言尤為關(guān)鍵。另外，本地部署也能有效符合企業(yè)或地區(qū)的數(shù)據(jù)合規(guī)要求（如中國的《數(shù)據(jù)安全法》、歐盟的 GDPR 等）。
2. 低延遲 & 高實(shí)時(shí)性能：由于本地部署時(shí)所有計(jì)算都發(fā)生在本地，無需網(wǎng)絡(luò)請求，因此推理速度完全取決于用戶自己的設(shè)備計(jì)算性能。但也因此，只要本地設(shè)備性能足夠，用戶就能享受到非常好的實(shí)時(shí)性能，也因此本地部署非常適合實(shí)時(shí)性非常關(guān)鍵的應(yīng)用（如語音識別、自動駕駛、工業(yè)檢測）。
3. 更低的長期成本：本地部署自然就無需 API 訂閱費(fèi)用，可實(shí)現(xiàn)一次部署長期使用。同時(shí)，如果用戶對模型性能要求不高，還能通過部署輕量化模型（如 INT 8 或 4-bit 量化）來控制硬件成本。
4. 可以離線使用：無需網(wǎng)絡(luò)也能用上 AI 模型，適用于邊緣計(jì)算、離線辦公、遠(yuǎn)程環(huán)境等。并且，由于斷網(wǎng)也能運(yùn)行 AI 應(yīng)用，因此可以保證用戶的關(guān)鍵業(yè)務(wù)不中斷。
5. 可定制 & 可控性強(qiáng)：可以微調(diào)、優(yōu)化模型，更適配業(yè)務(wù)需求，舉個(gè)例子，DeepSeek-R1 就被微調(diào)和蒸餾成了許多不同的版本，包括無限制版本 deepseek-r1-abliterated 等等。另外，本地部署不受第三方政策變更影響，可控性強(qiáng)，可避免 API 調(diào)價(jià)或訪問限制。

本地部署的缺點(diǎn)

本地部署好處多多，但我們也不能忽視其缺點(diǎn)，首當(dāng)其沖的便是大模型的算力需求。

1. 硬件成本高：個(gè)人用戶的本地設(shè)備通常難以運(yùn)行高參數(shù)量的模型，而參數(shù)量較低的模型的性能通常又更差，因此這方面有一個(gè)需要考慮的權(quán)衡。如果用戶想要運(yùn)行高性能模型，那就必須在硬件上投入更多成本。
2. 難以處理大規(guī)模任務(wù)：當(dāng)用戶的任務(wù)需要大規(guī)模處理數(shù)據(jù)時(shí)，往往需要服務(wù)器規(guī)模的硬件才能有效完成。
3. 有一定的部署門檻：不同于使用云服務(wù) —— 只需打開網(wǎng)頁端或配置 API 即可使用，本地部署存在一定的技術(shù)門檻。如果用戶還有進(jìn)一步的本地微調(diào)需求，部署難度還會更大。不過幸運(yùn)的是，這個(gè)門檻正越來越低。
4. 需要一定的維護(hù)成本：用戶需要投入心力和時(shí)間解決因?yàn)槟Ｐ秃凸ぞ呱墡淼沫h(huán)境配置問題。

究竟是進(jìn)行本地部署還是使用在線模型，還需要用戶根據(jù)自己的實(shí)際情況定奪。下面簡單總結(jié)了適合與不適合本地部署的場景：

• 適合本地部署：高隱私、低延遲、長期使用（如企業(yè) AI 助手、法律分析）。
• 不適合本地部署：短期試驗(yàn)、高算力需求、依賴大模型（如 70B+ 參數(shù)級別）。

如何本地部署 DeepSeek-R1？

本地部署 DeepSeek-R1 的方法其實(shí)有很多，這里我們簡單介紹兩種：一是基于 Ollama 實(shí)現(xiàn)本地部署，二是使用 LM Studio 的零代碼部署方法。

基于 Ollama 部署 DeepSeek-R1

下面我們將基于 Ollama 介紹如何在你自己的設(shè)備上部署你自己的 DeepSeek-R1。

Ollama 是目前最常使用的本地部署和運(yùn)行語言模型的框架，其非常輕量，而且具有很好的可擴(kuò)展性。從名字也能看出來，Ollama 是 Meta 發(fā)布 Llama 系列模型之后誕生的。但這個(gè)項(xiàng)目是社區(qū)驅(qū)動的，與 Meta 以及 Llama 系列模型的開發(fā)沒有直接關(guān)系。

Ollama 項(xiàng)目誕生之后發(fā)展非常迅速，不管是支持的模型量還是支持其的各種生態(tài)系統(tǒng)都在迅速發(fā)展。

Ollama 支持的部分模型和生態(tài)

使用 Ollama 的第一步非常簡單，下載并安裝 Ollama，訪問以下地址，下載適合你操作系統(tǒng)的版本即可。

下載地址：https://ollama.com/download

有了 Ollama，還需要為你的設(shè)備配置 AI 模型。這里以 DeepSeek-R1 為例進(jìn)行演示。首先進(jìn)入 Ollama 官網(wǎng)查看支持的模型及相應(yīng)的版本：https://ollama.com/search 這里我們可以看到 DeepSeek-R1 現(xiàn)有 1.5B 到 671B 共 7 個(gè)不同規(guī)模的共 29 個(gè)不同版本，其中包括一些基于開源模型 Llama 和 Qwen 進(jìn)行微調(diào)、蒸餾或量化處理后得到的模型。

具體該選擇哪個(gè)版本，我們先得了解自己的硬件配置情況。dev.to 開發(fā)者社區(qū) Avnish 寫了一篇文章，簡單總結(jié)了 DeepSeek-R1 不同規(guī)模版本的硬件需求，可作參考：

圖源：https://dev.to/askyt/deepseek-r1-architecture-training-local-deployment-and-hardware-requirements-3mf8

這里我們以 8B 版本為例進(jìn)行演示：打開你設(shè)備上的終端工具，運(yùn)行 

ollama run deepseek-r1:8b

接下來就是等待模型下載完成。（Ollama 現(xiàn)在也支持直接從 Hugging Face 拉取模型，命令是 ollama run hf.co/{用戶名}/{庫}:{量化版本}，比如 ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Q8_0。）

模型下載完成后，你就可以直接在這個(gè)終端中與下載好的 8B 版 DeepSeek-R1 聊天了。

但是，對普通用戶來說，這種對話方式非常不直觀，也不方便。因此我們還需要配置一個(gè)好用的前端。而前端的選擇可就多了。我們即可以使用能在瀏覽器中提供類似 ChatGPT 體驗(yàn)的 Open WebUI，也可以選擇 Chatbox 等前端工具，你也可以在這里尋找你想要的前端：https://github.com/ollama/ollama

1. 如果你想使用 Open WebUI，只需在你的終端以此運(yùn)行以下兩行代碼即可：

安裝 Open WebUI：

pip install open-webui

運(yùn)行 Open WebUI：

open-webui serve

接下來，只需訪問 http://localhost:8080，就能在你的瀏覽器中獲得類似 ChatGPT 的體驗(yàn)。

從 Open WebUI 的模型列表中可以看到，本機(jī)上的 Ollama 已經(jīng)配置了多個(gè)模型，包括 DeepSeek-R1 7B 和 8B 版本以及 Llama 3.1 8B、Llama 3.2 3B、Phi 4、Qwen 2.5 Coder 等其它一些模型。選擇其中的 DeepSeek-R1 8B 試試看效果：

2. 如果你更偏好在一個(gè)單獨(dú)的應(yīng)用軟件中使用 DeepSeek-R1，可以考慮 Chatbox 等工具。配置方法也很簡單，首先下載安裝：https://chatboxai.app/zh

安裝后啟動該應(yīng)用程序，進(jìn)入「設(shè)置」，在「模型提供方」中選擇 OLLAMA API，接著在下面的模型欄選擇你想使用的模型，并設(shè)置上下文的消息數(shù)量上限以及 Temperature 等相關(guān)參數(shù)即可（當(dāng)然也可不必調(diào)整）。

接下來，你可以在 Chatbox 中與你部署的本地 DeepSeek-R1 暢聊了。不過遺憾的是，DeepSeek-R1 7B 沒能正確地完成我們描述的任務(wù)。這也佐證了前文的觀點(diǎn)，即個(gè)人用戶通常只能在自己的本地設(shè)備上運(yùn)行性能相對較差的模型。不過可以預(yù)見，未來隨著硬件的進(jìn)一步發(fā)展，個(gè)人本地使用大參數(shù)量模型的門檻還會進(jìn)一步降低 —— 而且這個(gè)未來恐怕也不會太遠(yuǎn)。

當(dāng)然，不管是 Open WebUI 還是 Chatbox，也都支持通過 API 接入 DeepSeek 的各個(gè)模型以及 ChatGPT、Claude 以及 Gemini 等專有模型。你完全可以將它們作為使用 AI 的日常前端。

另外，我們也可以將 Ollama 中配置的模型引入到我們的其它工具中，比如 Obsidian 和思源筆記等筆記應(yīng)用。感興趣的讀者可以參看這篇略有過時(shí)的文章（Obsdian 上已有更好用的 AI 插件）：《最強(qiáng)筆記軟件 Obsidian 中也能使用 LLM，讓它成為你的智慧第二大腦》。

使用 LM Studion 零代碼部署 DeepSeek-R1

雖然不多，但在配置 Ollama 和相關(guān)模型時(shí)還是會用到終端和一點(diǎn)代碼。如果你依然覺得麻煩 / 困難，還可以使用 LM Studio 實(shí)現(xiàn)零代碼部署 DeepSeek-R1。

同樣，首先去官網(wǎng)下載符合你操作系統(tǒng)的程序：https://lmstudio.ai

安裝完成后啟動，在 My Models 選項(xiàng)中先為你的模型設(shè)置一個(gè)文件夾：

接下來，只需去 Hugging Face 下載你想使用的語言模型，并按照一定的目錄結(jié)構(gòu)將其放入到上面設(shè)置的文件夾中即可（我們也可以使用 LM Studio 自帶的搜索功能，但我們實(shí)測的效果并不好）。注意，這里我們需要的是 .gguf 格式的模型文件，比如 Unsloth 提供的版本：https://huggingface.co/collections/unsloth/deepseek-r1-all-versions-678e1c48f5d2fce87892ace5

考慮到我們的實(shí)際硬件，我們這里使用基于 Qwen 模型微調(diào)得到的 DeepSeek-R1 蒸餾版（14B 參數(shù)量）并選擇 4-bit 量化后的版本：DeepSeek-R1-Distill-Qwen-14B-Q4_K_M.gguf

下載完成后，按照一定的目錄結(jié)構(gòu)將其放入我們之前設(shè)定的文件夾中：模型文件夾 /unsloth/DeepSeek-R1-Distill-Qwen-14B-GGUF/DeepSeek-R1-Distill-Qwen-14B-Q4_K_M.gguf

接下來，只需打開 LM Studio，在應(yīng)用上方位置選擇要加載的模型，然后你就可以與你的本地模型對話了。

使用 LM Studio 的最大優(yōu)勢就是完全無需操作終端，也不涉及任何代碼 —— 只需會安裝軟件和配置文件夾即可?？烧f是對用戶超級友好了。

結(jié)語

當(dāng)然，以上教程只是在最基礎(chǔ)的層面上實(shí)現(xiàn)了 DeepSeek-R1 的本地部署。如果你想將這個(gè)熱門模型進(jìn)一步整合進(jìn)自己的本地工作流程中，還需要進(jìn)一步的配置 —— 從基礎(chǔ)的設(shè)置系統(tǒng)提示詞到更高階的模型微調(diào)定制、整合 RAG、搜索功能、多模態(tài)能力、工具調(diào)用能力等等。

同時(shí)，隨著專門針對 AI 開發(fā)的硬件以及小模型相關(guān)技術(shù)的發(fā)展，相信未來本地部署大模型的門檻還會進(jìn)一步降低。

看完此文，你會自己動手試試部署自己的 DeepSeek-R1 嗎？