DeepSeek開(kāi)源周并未結(jié)束，One More Thing：DeepSeek-V3/R1 推理系統(tǒng)概述以及高達(dá)545%的成本利潤(rùn)率：

• 通過(guò)以下方式優(yōu)化吞吐量和延遲

?? 跨節(jié)點(diǎn)EP驅(qū)動(dòng)的批量擴(kuò)展 

?? 計(jì)算-通信重疊

?? 負(fù)載均衡

• DeepSeek在線服務(wù)的統(tǒng)計(jì)數(shù)據(jù)

? 每個(gè)H800節(jié)點(diǎn)每秒73.7k/14.8k輸入/輸出 tokens 

?? 成本利潤(rùn)率545%

圖片

DeepSeek-V3 / R1 推理系統(tǒng)的優(yōu)化目標(biāo)是：更大的吞吐，更低的延遲。

圖片

大規(guī)?？绻?jié)點(diǎn)專(zhuān)家并行（EP）

由于DeepSeek-V3/R1模型具有高度稀疏性，每層256個(gè)專(zhuān)家中僅激活8個(gè)，因此必須采用大的overall batch size來(lái)為每個(gè)專(zhuān)家提供足夠的expert batch size，以實(shí)現(xiàn)更大的吞吐和更低的延遲。具體實(shí)現(xiàn)包括：

• Prefill階段：采用EP32，MLA和共享專(zhuān)家DP32，一個(gè)部署單元由4節(jié)點(diǎn)組成，每個(gè)節(jié)點(diǎn)有32個(gè)冗余路由專(zhuān)家，每張卡有9個(gè)路由專(zhuān)家和1個(gè)共享專(zhuān)家。
• Decode階段：采用EP144，MLA和共享專(zhuān)家DP144，一個(gè)部署單元由18節(jié)點(diǎn)組成，每個(gè)節(jié)點(diǎn)有32個(gè)冗余路由專(zhuān)家，每張卡有2個(gè)路由專(zhuān)家和1個(gè)共享專(zhuān)家。

計(jì)算-通信重疊

為了掩蓋由多機(jī)多卡專(zhuān)家并行引入的通信開(kāi)銷(xiāo)，系統(tǒng)采用了雙batch重疊策略，以提高整體吞吐量：

• Prefill階段：兩個(gè)batch的計(jì)算和通信交錯(cuò)進(jìn)行，一個(gè)batch在進(jìn)行計(jì)算時(shí)可以掩蓋另一個(gè)batch的通信開(kāi)銷(xiāo)。

圖片

• Decode階段：將attention部分拆分為兩個(gè)stage，共計(jì)5個(gè)stage的流水線，以實(shí)現(xiàn)計(jì)算和通信的重疊。

圖片

負(fù)載均衡

由于采用了大規(guī)模并行（包括數(shù)據(jù)并行和專(zhuān)家并行），需要為每個(gè)GPU分配均衡的計(jì)算負(fù)載和通信負(fù)載，以避免性能瓶頸和資源浪費(fèi)：

• Prefill Load Balancer：確保各GPU的計(jì)算量（core-attention計(jì)算負(fù)載）和輸入的token數(shù)量（dispatch發(fā)送量）盡量相同。
• Decode Load Balancer：確保各GPU的KVCache占用量（core-attention計(jì)算負(fù)載）和請(qǐng)求數(shù)量（dispatch發(fā)送量）盡量相同。
• Expert-Parallel Load Balancer：確保每個(gè)GPU上的專(zhuān)家計(jì)算量均衡，即最小化所有GPU的dispatch接收量的最大值。

實(shí)際統(tǒng)計(jì)數(shù)據(jù)

DeepSeek V3和R1的所有服務(wù)均使用H800 GPU，并采用與訓(xùn)練一致的精度格式（FP8和BF16），以最大程度保證服務(wù)效果。在最近的24小時(shí)內(nèi)，DeepSeek V3和R1推理服務(wù)的峰值占用為278個(gè)節(jié)點(diǎn)，平均占用226.75個(gè)節(jié)點(diǎn)。盡管理論上一天的總收入為$562,027，成本利潤(rùn)率545%，但實(shí)際收入會(huì)因V3的定價(jià)較低、收費(fèi)服務(wù)占比和夜間折扣等因素而有所不同。

圖片

https://zhuanlan.zhihu.com/p/27181462601
https://github.com/deepseek-ai/open-infra-index/blob/main/202502OpenSourceWeek/day_6_one_mo

本文轉(zhuǎn)載自??PaperAgent??