DeepSeek本地部署

前段時(shí)間DeepSeek震驚了全世界。

不容易?。〗K于國內(nèi)有了自己的精品。

圖片

但訪問過程中頻繁的 “服務(wù)器繁忙”，也讓很多人嘗而不得作為技術(shù)人員都在考慮如何充分利用開源的價(jià)值。

讓我們的程序也能借船出海搭上AI的快車，那么問題來了。如果我需要本地部署一個(gè)大模型需要什么配置的電腦呢？

顯卡、顯存怎么選配

模型的大小，決定了對硬件的需求。以 DeepSeek-R1 為例，1.5b、7b、32b、70b、671b 之間差距非常大。

圖片

很多人埋怨說：我的大模型就是個(gè)“人工智障”，但你得反過來檢視一下是不是用的模型參數(shù)太少了？

我們談?wù)揂模型比B模型強(qiáng)大前提都是在同一個(gè)體量上，拿 7b 模型 對比 405b 模型本身就不是一個(gè)級別體量的。

官方給了一個(gè)模型版本和配置的對應(yīng)表：

如下：

比較直觀是吧！前幾天看到梁斌博士自己搭建了一個(gè)滿血版DeepSeek 671b 最強(qiáng)模型花了多少錢呢？

配置如下：

CPU
    AMD EPYC 9534 
    64核 128線程，2.5 GHz
    一共 2塊CPU 共128核
GPU
    AMD MI300X
    192 G
    一共 8塊GPU 共 1536 G 顯存
內(nèi)存
    1526 G

效果如下：

圖片

這么一臺服務(wù)器下來250萬打底，還只是AMD的配置。畢竟 MI300 系列還是數(shù)據(jù)高性價(jià)比的產(chǎn)品換成 NVEDIA 的 H100 或者 A100價(jià)格至少上升 50%。

普通使用需要什么配置

我們大部分人都不追求極限，你們大佬用 671b 的我用個(gè) 7b 或者 32b 的就差不多了，但要如何計(jì)算配置？

網(wǎng)上有各種各樣的教材需要你理解 int8、fp16、float32 等等專業(yè)術(shù)語和公式。

圖片

最簡單的方法

直接抄我的答案：用 參數(shù)量 ?? 系數(shù) 即可。常見的有int4 代表4位 系數(shù)0.5, int8 代表 8位 系數(shù)為1，fp16 代表16位 系數(shù)為2， float32 代表 32位 系數(shù)為4。

怎么看系數(shù)？如果我們是通過ollama下載的模型，打開下載頁。

圖片

在 model 欄目會(huì)寫一個(gè)參數(shù)：

quantization Q4_K_M

Q4 代表4位量化版本可以對標(biāo) int4，實(shí)際略高于 int4。如果按 int4 的系數(shù)取 0.5，這里可以估算在 0.7 ~ 0.8 左右，如果估算 DeepSeek 的 Q4 量化版本型數(shù)據(jù)推理以及10個(gè)線程的并發(fā)請求，我們系數(shù)取 0.8。所以，比如 計(jì)算 DeepSeek 14b 版本默認(rèn) fp16，則顯存需求為 14 ?? 0.8 = 11.2 G。

在滿足顯存的同時(shí)內(nèi)存用量最好為顯存的2倍用于加載模型和計(jì)算緩沖。以下給出幾個(gè)計(jì)算好的顯存數(shù)值，都是以 DeepSeek-R1 Q4量化版 為例的最低配置。

所以哪怕我們就是個(gè)普通的電腦跑個(gè)乞丐版 1.5b 通常問題不大，需要注意這里做了減法只包含基礎(chǔ)運(yùn)行和1個(gè)線程本地調(diào)用，如果需要更多訪問推理請適當(dāng)增加系數(shù)。

當(dāng)然我給的方法只是粗算：

可以進(jìn)入 https://huggingface.co/spaces/hf-accelerate/model-memory-usage

這個(gè)網(wǎng)站有個(gè)在線計(jì)算器，如圖：

圖片

只要提供各項(xiàng)參數(shù)即可計(jì)算出配置要求，需要的朋友們可以自己嘗試一下。