要成功實現(xiàn) DeepSeek 大模型的私有化部署，絕非易事，從模型選型到基礎(chǔ)設(shè)施搭建，再到推理部署工程優(yōu)化，每一個環(huán)節(jié)都需要精心規(guī)劃與考量。接下來，讓我們深入探討企業(yè)私有化部署 DeepSeek 的關(guān)鍵要點(diǎn)與策略。

1 DeepSeek模型選型

在企業(yè)進(jìn)行 deepseek 大模型私有化部署時，模型選型是至關(guān)重要的第一步，它直接關(guān)系到后續(xù)的應(yīng)用效果與成本投入。通過業(yè)務(wù)場景適配性分析確定合適的模型，能讓企業(yè)充分發(fā)揮大模型的價值。

DeepSeek 提供了多種模型版本，以滿足不同企業(yè)的需求，其中全量版（如 DeepSeek-R1 671B）與蒸餾版（如 DeepSeek-R1-Distill 1.5B, 7B, 8B, 14B, 32B, 70B）具有顯著差異。蒸餾版是通過知識蒸餾技術(shù)，將全量模型的語義信息壓縮到小規(guī)模模型中。

從參數(shù)量來看，全量版 DeepSeek-R1 671B 擁有 6710 億參數(shù)，這使其具備極為強(qiáng)大的知識儲備與復(fù)雜任務(wù)處理能力。而蒸餾版雖然參數(shù)量大幅減少，但在一些對模型性能要求相對較低的場景中仍能發(fā)揮作用。

在顯存需求方面，全量版 DeepSeek-R1 671B 在 BF16 精度下，需要的的總顯存至少是1.4TB；在 FP8 精度下，總顯存也至少需要 800GB 顯存，通常需要多張高性能顯卡并行 ，這對企業(yè)的硬件資源和成本投入要求極高。而蒸餾版對硬件要求則低很多，比如7B的模型，在具有24GB內(nèi)存的單塊顯卡即可推理。

推理延遲上，由于全量版模型計算量巨大，推理延遲相對較高；而蒸餾版模型因為結(jié)構(gòu)相對簡單、參數(shù)量少，在優(yōu)化得當(dāng)?shù)那闆r下，推理延遲可控制在較低水平，能滿足對實時性要求較高的場景。

從適用場景來看，全量版適用于超大規(guī)模 AI 研究，如通用人工智能 AGI 探索，復(fù)雜的風(fēng)險評估與投資策略制定等。而蒸餾版適合實時生成文本，如簡單的聊天、問答場景，以及適合嵌入式系統(tǒng)或物聯(lián)網(wǎng)設(shè)備。在一些對成本敏感且任務(wù)相對簡單的企業(yè)應(yīng)用中，如小型客服系統(tǒng)，蒸餾版也能發(fā)揮其優(yōu)勢。

企業(yè)在選型時可以從多個角度充分考慮和判斷。若業(yè)務(wù)涉及專業(yè)領(lǐng)域推理，且對模型性能要求極高，數(shù)據(jù)量龐大且復(fù)雜，優(yōu)先考慮全量版，但也要與預(yù)算相匹配。若預(yù)算不足，可采用使用量化技術(shù)等方式來降低顯存需求。若業(yè)務(wù)不涉及專業(yè)領(lǐng)域推理，且對成本較為敏感，追求快速響應(yīng)，對模型精度要求不是特別高，則選擇蒸餾版。若處于超高并發(fā)場景，可對蒸餾版部署多副本，以滿足大量請求的處理。通過這樣的分析與決策，企業(yè)能夠選出最契合自身業(yè)務(wù)的DeepSeek模型。

2 Iaas層規(guī)劃

部署GPU集群

在大模型推理的數(shù)據(jù)中心中，GPU 集群是核心計算單元，其性能直接影響推理效率。若選用全量版的 DeepSeek-R1 671B 這類超大規(guī)模模型，由于其具有 6710 億參數(shù)，運(yùn)算量極為龐大，對 GPU 的性能要求極高，可以從市面上的高性能、高內(nèi)存容量的AI加速設(shè)備中進(jìn)行選購。由于需要多卡多機(jī)推理，所以必須具備高速的卡間互聯(lián)。搭配的服務(wù)器需要具備高帶寬內(nèi)存和高速存儲接口，具有先進(jìn)的 PCIe 5.0 接口，或者至少 PCIe 4.0，這樣才能夠極大程度保障 GPU 與內(nèi)存、存儲之間的數(shù)據(jù)傳輸速率，避免在數(shù)據(jù)傳輸過程中出現(xiàn)瓶頸，確保 GPU 能夠充分發(fā)揮其計算性能。

對于蒸餾版模型，如 DeepSeek-R1-Distill-Qwen-7B，由于其參數(shù)量相對較少，計算量較小，對 GPU 性能要求相對較低，具備 24GB 顯存的 GPU 即可，在滿足蒸餾版模型推理需求的同時，具有較高的性價比。服務(wù)器方面，可選用配置能夠滿足 GPU 運(yùn)行需求，同時在成本控制上表現(xiàn)出色的即可。

高速網(wǎng)絡(luò)架構(gòu)

構(gòu)建構(gòu)建低延遲、高帶寬的RDMA網(wǎng)絡(luò)（如400G/200G Infiniband 或者 RoCEv2）是實現(xiàn)高效全量版DeepSeek推理的關(guān)鍵。RDMA（遠(yuǎn)程直接內(nèi)存訪問）技術(shù)允許網(wǎng)絡(luò)中的設(shè)備直接訪問彼此的內(nèi)存，無需經(jīng)過操作系統(tǒng)內(nèi)核，大大減少了數(shù)據(jù)傳輸?shù)难舆t和 CPU 的負(fù)載。在大模型推理過程中，頻繁的數(shù)據(jù)讀取和寫入操作對存儲的訪問速度要求極高。

3 推理部署工程優(yōu)化

容器化部署

在大模型推理服務(wù)中，采用容器化部署是提升系統(tǒng)性能和穩(wěn)定性的重要手段。通過將大模型推理相關(guān)的應(yīng)用程序、依賴項和運(yùn)行環(huán)境打包成獨(dú)立的容器，實現(xiàn)了環(huán)境的隔離與可移植性。同時，利用容器編排工具（如 Kubernetes），能夠根據(jù)推理任務(wù)的需求，靈活調(diào)度具有親和性的 GPU 資源。

GPU親和性調(diào)度通過將容器優(yōu)先分配到指定的 GPU 設(shè)備上運(yùn)行，顯著減少了跨節(jié)點(diǎn)或跨交換機(jī)的數(shù)據(jù)傳輸需求。當(dāng)數(shù)據(jù)在單個節(jié)點(diǎn)內(nèi)或拓?fù)浣Y(jié)構(gòu)上相鄰的 GPU 之間傳輸時，可充分利用高速互連（如 NVLink）的優(yōu)勢，從而實現(xiàn)更高的傳輸速度和更低的延遲。此外，這種調(diào)度策略避免了通過網(wǎng)絡(luò)交換機(jī)轉(zhuǎn)發(fā)數(shù)據(jù)所帶來的額外延遲和潛在的網(wǎng)絡(luò)擁塞問題，有效提升了整體計算效率。

選擇合適推理加速引擎

選擇合適的推理加速引擎對于提升大模型推理性能至關(guān)重要。以 vLLM 為例，它是一個高效的 Transformer 推理庫，采用了 PagedAttention 算法，能夠有效管理 KVCache，減少內(nèi)存碎片，從而顯著提高推理速度。在實際應(yīng)用中，vLLM 通過優(yōu)化注意力機(jī)制的計算過程，使得大模型在推理時能夠更快速地處理輸入數(shù)據(jù)，生成高質(zhì)量的輸出結(jié)果。

除了 vLLM，SGLang 也是一款值得關(guān)注的推理加速引擎，一些 GPU 已經(jīng)支持采用SGLang運(yùn)行 Deepseek 。SGLang 是新興的開源推理框架項目，得到了活躍的社區(qū)支持，在工業(yè)界也獲得了廣泛應(yīng)用。其核心特性包括快速的后端運(yùn)行時、靈活的前端語言以及廣泛的模型支持等。

在與 Deepseek 的適配方面，SGLang 針對 DeepSeek 模型采用的 MLA 注意力機(jī)制開展了針對性的工程優(yōu)化，并在框架上對其 MoE 架構(gòu)的推理做了優(yōu)化設(shè)計。浪潮信息元腦 R1 推理服務(wù)器完成對 SGLang 最新版本的深度適配后，在單機(jī)高性能運(yùn)行 DeepSeek R1 671B 模型時，可支持超過 1000 路的用戶并發(fā)訪問，展現(xiàn)出強(qiáng)大的并發(fā)處理能力。

與 vLLM 相比，SGLang 在運(yùn)行諸如 Llama 系列模型時，展現(xiàn)出了更優(yōu)的性能。例如在運(yùn)行 Llama 3.1 405B 時，SGLang 的吞吐量在某些情況下能達(dá)到 vLLM 的 3.8 倍 。在處理從 Llama-8B 到 Llama-405B 的模型時，以及在 A100 和 H100 GPU 上使用 FP8 和 FP16 時，SGLang 在在線和離線場景下都能持續(xù)提供卓越或有競爭力的性能。

企業(yè)在選擇推理加速引擎時，需要綜合考慮自身的業(yè)務(wù)場景、模型類型、硬件配置以及性能需求等因素。vLLM 在流式輸出和內(nèi)存管理方面表現(xiàn)突出，適合對實時交互體驗要求高的場景；而 SGLang 在優(yōu)化資源利用、提升并發(fā)處理能力以及與 Deepseek 特定模型架構(gòu)的適配優(yōu)化上具有優(yōu)勢，更適合對吞吐量和大規(guī)模并發(fā)請求處理有較高要求的場景。

跨節(jié)點(diǎn)的大參數(shù)量模型 PD 分離

對于跨節(jié)點(diǎn)的大參數(shù)量模型，采用 PD（Prefill 和 Decode）分離策略是一種優(yōu)化選擇?？梢詤⒖?DeepSeek 官方推薦了1:10的資源配置方式，使用 4 節(jié)點(diǎn) prefill + 40 節(jié)點(diǎn) decode配置。

Prefill 階段主要負(fù)責(zé)生成初始的 KVCache，這個過程需要較高的計算資源來快速處理輸入數(shù)據(jù)。而 Decode 階段則專注于根據(jù) Prefill 生成的 KVCache 逐步生成輸出文本。將這兩個階段分離到不同的節(jié)點(diǎn)上，可以充分利用不同節(jié)點(diǎn)的資源優(yōu)勢，實現(xiàn)資源的高效利用。

在高并發(fā)場景下，大量的推理請求同時到來，通過 PD 分離，Prefill 節(jié)點(diǎn)可以并行處理多個請求的初始 KVCache 生成，然后將生成好的 KVCache 分發(fā)給 Decode 節(jié)點(diǎn)進(jìn)行后續(xù)的文本生成。這樣的分工協(xié)作能夠有效提高系統(tǒng)的并發(fā)處理能力，確保在高負(fù)載情況下，大模型推理服務(wù)依然能夠穩(wěn)定、高效地運(yùn)行。

結(jié)語

綜上所述，企業(yè)私有化部署 DeepSeek 大模型是一項復(fù)雜且系統(tǒng)的工程。在模型選型階段，企業(yè)需依據(jù)業(yè)務(wù)需求、預(yù)算以及數(shù)據(jù)特性等，精準(zhǔn)挑選全量版或蒸餾版模型，為后續(xù)工作筑牢根基。Iaas 層規(guī)劃中，合適的 GPU 選型以及集群高速網(wǎng)絡(luò)架構(gòu)，是保障大模型推理高效運(yùn)行的硬件支撐。而推理部署工程優(yōu)化則從軟件層面，通過容器化部署、選擇適配的推理加速引擎以及采用 PD 分離策略等，進(jìn)一步提升系統(tǒng)性能。

參考鏈接

• 浪潮信息推出元腦R1推理服務(wù)器，單機(jī)即可釋放DeepSeek 671B強(qiáng)大模力
• Unlock DeepSeek-R1 Inference Performance on AMD Instinct? MI300X GPU

本文轉(zhuǎn)載自公眾號AI時代窗口 作者：郁愈

原文鏈接：??https://mp.weixin.qq.com/s/77d4RPhsyiotS8rmhtoKhw??