ChatGPT發(fā)布之后，引發(fā)了全球范圍的關(guān)注和討論，國內(nèi)各大廠商相繼宣布GPT模型開發(fā)計劃。以GPT模型為代表的AI大模型訓(xùn)練，需要消耗大量算力資源，主要需求場景來自：預(yù)訓(xùn)練+日常運(yùn)營+Finetune。以預(yù)訓(xùn)練為例，據(jù)測算，進(jìn)行一次ChatGPT的模型預(yù)訓(xùn)練需要消耗約27.5PFlop/s-day算力。基于此，隨著國產(chǎn)大模型開發(fā)陸續(xù)進(jìn)入預(yù)訓(xùn)練階段，算力需求持續(xù)釋放或?qū)铀懔A(chǔ)設(shè)施產(chǎn)業(yè)迎來增長新周期。產(chǎn)業(yè)鏈相關(guān)公司包括：

?算力芯片廠商：景嘉微、寒武紀(jì)、海光信息、龍芯中科、中國長城等；

?服務(wù)器廠商：浪潮信息、中科曙光等；

?IDC服務(wù)商：寶信軟件等。

ChatGPT：大模型訓(xùn)練帶來高算力需求

訓(xùn)練ChatGPT需要使用大量算力資源。據(jù)微軟官網(wǎng)，微軟Azure為OpenAI開發(fā)的超級計算機(jī)是一個單一系統(tǒng)，具有超過28.5萬個CPU核心、1萬個GPU和400 GB/s的GPU服務(wù)器網(wǎng)絡(luò)傳輸帶寬。據(jù)英偉達(dá)，使用單個Tesla架構(gòu)的V100 GPU對1746億參數(shù)的GPT-3模型進(jìn)行一次訓(xùn)練，需要用288年時間。此外，算力資源的大量消耗，必然伴隨著算力成本的上升，據(jù)Lambda，使用訓(xùn)練一次1746億參數(shù)的GPT-3模型所需花費(fèi)的算力成本超過460萬美元。我們認(rèn)為，未來擁有更豐富算力資源的模型開發(fā)者，或?qū)⒛軌蛴?xùn)練出更優(yōu)秀的AI模型，算力霸權(quán)時代或?qū)㈤_啟。

具體來看，AI大模型對于算力資源的需求主要體現(xiàn)在以下三類場景：

1、模型預(yù)訓(xùn)練帶來的算力需求

模型預(yù)訓(xùn)練過程是消耗算力的最主要場景。

預(yù)計，訓(xùn)練一次ChatGPT模型需要的算力約27.5PFlop/s-day。據(jù)OpenAI團(tuán)隊發(fā)表于2020年的論文《Language Models are Few-Shot Learners》，訓(xùn)練一次13億參數(shù)的GPT-3 XL模型需要的全部算力約為27.5PFlop/s-day，訓(xùn)練一次1746億參數(shù)的GPT-3模型需要的算力約為3640 PFlop/s-day?？紤]到ChatGPT訓(xùn)練所用的模型是基于13億參數(shù)的GPT-3.5模型微調(diào)而來，參數(shù)量與GPT-3 XL模型接近，因此我們預(yù)計訓(xùn)練所需算力約27.5PFlop/s-day，即以1萬億次每秒的速度進(jìn)行計算，需要耗時27.5天。

此外，預(yù)訓(xùn)練過程還存在幾個可能的算力需求點(diǎn)：

1）模型開發(fā)過程很難一次取得成功，整個開發(fā)階段可能需要進(jìn)行多次預(yù)訓(xùn)練過程；

2）隨著國內(nèi)外廠商相繼入局研發(fā)類似模型，參與者數(shù)量增加同樣帶來訓(xùn)練算力需求；

3）從基礎(chǔ)大模型向特定場景遷移的過程，如基于ChatGPT構(gòu)建醫(yī)療AI大模型，需要使用特定領(lǐng)域數(shù)據(jù)進(jìn)行模型二次訓(xùn)練。

2、日常運(yùn)營帶來的算力需求

ChatGPT單月運(yùn)營需要算力約4874.4PFlop/s-day，對應(yīng)成本約616萬美元。

在完成模型預(yù)訓(xùn)練之后，ChatGPT對于底層算力的需求并未結(jié)束，日常運(yùn)營過程中，用戶交互帶來的數(shù)據(jù)處理需求同樣也是一筆不小的算力開支。據(jù)SimilarWeb數(shù)據(jù)，2023年1月ChatGPT官網(wǎng)總訪問量為6.16億次。據(jù)Fortune雜志，每次用戶與ChatGPT互動，產(chǎn)生的算力云服務(wù)成本約0.01美元?；诖?，我們測算得2023年1月OpenAI為ChatGPT支付的運(yùn)營算力成本約616萬美元。據(jù)上文，我們已知訓(xùn)練一次1746億參數(shù)的GPT-3模型需要3640 PFlop/s-day的算力及460萬美元的成本，假設(shè)單位算力成本固定，測算得ChatGPT單月運(yùn)營所需算力約4874.4PFlop/s-day。

3、Finetune帶來的算力需求

模型調(diào)優(yōu)帶來迭代算力需求。從模型迭代的角度來看，ChatGPT模型并不是靜態(tài)的，而是需要不斷進(jìn)行Finetune模型調(diào)優(yōu)，以確保模型處于最佳應(yīng)用狀態(tài)。這一過程中，一方面是需要開發(fā)者對模型參數(shù)進(jìn)行調(diào)整，確保輸出內(nèi)容不是有害和失真的；另一方面，需要基于用戶反饋和PPO策略，對模型進(jìn)行大規(guī)模或小規(guī)模的迭代訓(xùn)練。因此，模型調(diào)優(yōu)同樣會為OpenAI帶來算力成本，具體算力需求和成本金額取決于模型的迭代速度。

需求場景：預(yù)訓(xùn)練+日常運(yùn)營+Finetune

具體來看，AI大模型對于算力資源的需求主要體現(xiàn)在以下三類場景：

1）模型預(yù)訓(xùn)練：ChatGPT采用預(yù)訓(xùn)練語言模型，核心思想是在利用標(biāo)注數(shù)據(jù)之前，先利用無標(biāo)注的數(shù)據(jù)訓(xùn)練模型。據(jù)我們測算，訓(xùn)練一次ChatGPT模型（13億參數(shù)）需要的算力約27.5PFlop/s-day；

2）日常運(yùn)營：用戶交互帶來的數(shù)據(jù)處理需求同樣也是一筆不小的算力開支，我們測算得ChatGPT單月運(yùn)營需要算力約4874.4PFlop/s-day，對應(yīng)成本約616萬美元；

3）Finetune：ChatGPT模型需要不斷進(jìn)行Finetune模型調(diào)優(yōu)，對模型進(jìn)行大規(guī)?；蛐∫?guī)模的迭代訓(xùn)練，預(yù)計每月模型調(diào)優(yōu)帶來的算力需求約82.5~137.5 PFlop/s-day。

算力芯片+服務(wù)器+數(shù)據(jù)中心，核心環(huán)節(jié)率先受益

隨著國內(nèi)廠商相繼布局ChatGPT類似模型，算力需求或?qū)⒊掷m(xù)釋放，供給端核心環(huán)節(jié)或?qū)⒙氏仁芤妫?/p>

1）算力芯片：GPU采用了數(shù)量眾多的計算單元和超長的流水線，架構(gòu)更適合進(jìn)行大吞吐量的AI并行計算；

2）服務(wù)器：ChatGPT模型訓(xùn)練涉及大量向量及張量運(yùn)算，AI服務(wù)器具備運(yùn)算效率優(yōu)勢，大模型訓(xùn)練有望帶動AI服務(wù)器采購需求放量；

3）數(shù)據(jù)中心：IDC算力服務(wù)是承接AI計算需求的直接形式，隨著百度、京東等互聯(lián)網(wǎng)廠商相繼布局ChatGPT類似產(chǎn)品，核心城市IDC算力缺口或?qū)⒓哟蟆?/p>

算力芯片：AI算力基石，需求有望大規(guī)模擴(kuò)張

GPU架構(gòu)更適合進(jìn)行大規(guī)模AI并行計算，需求有望大規(guī)模擴(kuò)張。從ChatGPT模型計算方式來看，主要特征是采用了并行計算。對比上一代深度學(xué)習(xí)模型RNN來看，Transformer架構(gòu)下，AI模型可以為輸入序列中的任何字符提供上下文，因此可以一次處理所有輸入，而不是一次只處理一個詞，從而使得更大規(guī)模的參數(shù)計算成為可能。而從GPU的計算方式來看，由于GPU采用了數(shù)量眾多的計算單元和超長的流水線，因此其架構(gòu)設(shè)計較CPU而言，更適合進(jìn)行大吞吐量的AI并行計算?；诖?，我們認(rèn)為，隨著大模型訓(xùn)練需求逐步增長，下游廠商對于GPU先進(jìn)算力及芯片數(shù)量的需求均有望提升。

單一英偉達(dá)V100芯片進(jìn)行一次ChatGPT模型訓(xùn)練，大約需要220天。我們以AI訓(xùn)練的常用的GPU產(chǎn)品—NVIDIA V100為例。V100在設(shè)計之初，就定位于服務(wù)數(shù)據(jù)中心超大規(guī)模服務(wù)器。據(jù)英偉達(dá)官網(wǎng)，V100 擁有 640 個 Tensor 內(nèi)核，對比基于單路英特爾金牌6240的CPU服務(wù)器可以實現(xiàn)24倍的性能提升。考慮到不同版本的V100芯片在深度學(xué)習(xí)場景下計算性能存在差異，因此我們折中選擇NVLink版本V100（深度學(xué)習(xí)算力125 TFlops）來計算大模型訓(xùn)練需求。據(jù)前文，我們已知訓(xùn)練一次ChatGPT模型（13億參數(shù)）需要的算力約27.5PFlop/s-day，計算得若由單個V100 GPU進(jìn)行計算，需220天；若將計算需求平均分?jǐn)傊?萬片GPU，一次訓(xùn)練所用時長則縮短至約32分鐘。

全球/中國GPU市場規(guī)模有望保持快速增長。據(jù)VMR數(shù)據(jù)，2021年全球GPU行業(yè)市場規(guī)模為334.7億美元，預(yù)計2030年將達(dá)到4773.7億美元，預(yù)計22-30年CAGR將達(dá)34.4%。2020年中國GPU市場規(guī)模47.39億美元，預(yù)計2027年市場規(guī)模將達(dá)345.57億美元，預(yù)計21-27年CAGR為32.8%。

服務(wù)器：AI服務(wù)器有望持續(xù)放量

ChatGPT主要進(jìn)行矩陣向量計算，AI服務(wù)器處理效率更高。從ChatGPT模型結(jié)構(gòu)來看，基于Transformer架構(gòu)，ChatGPT模型采用注意力機(jī)制進(jìn)行文本單詞權(quán)重賦值，并向前饋神經(jīng)網(wǎng)絡(luò)輸出數(shù)值結(jié)果，這一過程需要進(jìn)行大量向量及張量運(yùn)算。而AI服務(wù)器中往往集成多個AI GPU，AI GPU通常支持多重矩陣運(yùn)算，例如卷積、池化和激活函數(shù)，以加速深度學(xué)習(xí)算法的運(yùn)算。因此在人工智能場景下，AI服務(wù)器往往較GPU服務(wù)器計算效率更高，具備一定應(yīng)用優(yōu)勢。

單臺服務(wù)器進(jìn)行一次ChatGPT模型訓(xùn)練所需時間約為5.5天。我們以浪潮信息目前算力最強(qiáng)的服務(wù)器產(chǎn)品之一—浪潮NF5688M6為例。NF5688M6是浪潮為超大規(guī)模數(shù)據(jù)中心研發(fā)的NVLink AI 服務(wù)器，支持2顆Intel最新的Ice Lake CPU和8顆NVIDIA最新的NVSwitch全互聯(lián)A800GPU，單機(jī)可提供5PFlops的AI計算性能。據(jù)前文，我們已知訓(xùn)練一次ChatGPT模型（13億參數(shù)）需要的算力約27.5PFlop/s-day，計算得若由單臺NF5688M6服務(wù)器進(jìn)行計算，需5.5天。

大模型訓(xùn)練需求有望帶動AI服務(wù)器放量。隨著大數(shù)據(jù)及云計算的增長帶來數(shù)據(jù)量的增加，對于AI智能服務(wù)器的需求明顯提高。據(jù)IDC數(shù)據(jù)，2021年全球AI服務(wù)器市場規(guī)模為156億美元，預(yù)計到2025年全球AI服務(wù)器市場將達(dá)到318億美元，預(yù)計22-25年CAGR將達(dá)19.5%。

數(shù)據(jù)中心：核心城市集中算力缺口或?qū)⒓觿?/strong>

IDC算力服務(wù)是承接AI計算需求的直接形式。ChatGPT的模型計算主要基于微軟的Azure云服務(wù)進(jìn)行，本質(zhì)上是借助微軟自有的IDC資源，在云端完成計算過程后，再將結(jié)果返回給OpenAI。可見，IDC是承接人工智能計算任務(wù)的重要算力基礎(chǔ)設(shè)施之一，但并不是所有企業(yè)都需要自行搭建算力設(shè)施。從國內(nèi)數(shù)據(jù)中心的業(yè)務(wù)形態(tài)來看，按照機(jī)房產(chǎn)權(quán)歸屬及建設(shè)方式的角度，可分為自建機(jī)房、租賃機(jī)房、承接大客戶定制化需求以及輕資產(chǎn)衍生模式四種。

若使用某一IDC全部算力，可在11分鐘完成一次ChatGPT模型訓(xùn)練。我們以亞洲最大的人工智能計算中心之一—商湯智算中心為例。據(jù)商湯科技官網(wǎng)，商湯智算中心于2022年1月啟動運(yùn)營，峰值算力高達(dá)3740 Petaflops。據(jù)前文，我們已知訓(xùn)練一次ChatGPT模型（13億參數(shù)）需要的算力約27.5PFlop/s-day，計算得若使用商湯智算中心全部算力進(jìn)行計算，僅需11分鐘即可完成。

AI訓(xùn)練需求有望帶動IDC市場規(guī)?？焖僭鲩L。據(jù)中國信通院，2021年國內(nèi)IDC市場規(guī)模1500.2億元，同比增長28.5%。據(jù)信通院預(yù)計，隨著我國各地區(qū)、各行業(yè)數(shù)字化轉(zhuǎn)型深入推進(jìn)、AI訓(xùn)練需求持續(xù)增長、智能終端實時計算需求增長，2022年國內(nèi)市場規(guī)模將達(dá)1900.7億元，同增26.7%。

互聯(lián)網(wǎng)廠商布局ChatGPT類似產(chǎn)品，或?qū)⒓哟蠛诵某鞘蠭DC算力供給缺口。據(jù)艾瑞咨詢，2021年國內(nèi)IDC行業(yè)下游客戶占比中，互聯(lián)網(wǎng)廠商居首位，占比為60%；其次為金融業(yè)，占比為20%；政府機(jī)關(guān)占比10%，位列第三。而目前國內(nèi)布局ChatGPT類似模型的企業(yè)同樣以互聯(lián)網(wǎng)廠商為主，如百度宣布旗下大模型產(chǎn)品“文心一言”將于2022年3月內(nèi)測、京東于2023年2月10日宣布推出產(chǎn)業(yè)版ChatGPT：ChatJD。另一方面，國內(nèi)互聯(lián)網(wǎng)廠商大多聚集在北京、上海、深圳、杭州等國內(nèi)核心城市，在可靠性、安全性及網(wǎng)絡(luò)延遲等性能要求下，或?qū)⒓哟髮Ρ镜豂DC算力需求，國內(nèi)核心城市IDC算力供給缺口或?qū)⒓哟蟆?/p>