如果亞馬遜云科技、微軟和谷歌能夠物盡其用，則收入有望大幅提升。

各大云服務(wù)商已經(jīng)部署數(shù)以萬計(jì)的GPU與AI加速器，希望充分滿足市場在大語言模型方面的需求激增。

但TechInsights分析師Owen Rogers在采訪中表示，盡管運(yùn)營商一方完成了大規(guī)模部署，但證據(jù)表明大部分資源并未得到充分利用。

根據(jù)這家分析公司的估算，2023年內(nèi)各云服務(wù)商的87.8萬個(gè)加速器總計(jì)完成約700萬個(gè)GPU時(shí)的工作量，而對應(yīng)收入數(shù)字推測可能在58億美元上下。

雖然云服務(wù)商向來不對外分享基礎(chǔ)設(shè)施資源的實(shí)際利用率水平，但Rogers指出如果GPU集群能夠以幾乎滿負(fù)荷的狀態(tài)運(yùn)行，那么收入數(shù)字一定會(huì)大大提高。

以亞馬遜云科技的UltraScale集群為例，該集群由2萬個(gè)英偉達(dá)H100 GPU組成，每8個(gè)實(shí)例為一組對外租用，價(jià)格為每小時(shí)98.32美元。Rogers表示，假設(shè)每個(gè)區(qū)域都有一套集群能在年內(nèi)實(shí)現(xiàn)100%的利用率，那么單是亞馬遜一家的每年收入就應(yīng)該在65億美元左右。

Rogers在即將發(fā)布的報(bào)告中寫道，“事實(shí)上，如果亞馬遜云科技當(dāng)前提供的各種加速器類型都能在各區(qū)域的2萬個(gè)加速器集群中全天候運(yùn)行，那么產(chǎn)生的收入將占2023年其云業(yè)務(wù)總收入的50%。”

既然結(jié)果并非如此，那么唯一合乎邏輯的解釋，就是這些加速器未能得到有效利用。

Rogers承認(rèn)，不少云服務(wù)都在利用這些加速器處理內(nèi)部工作負(fù)載，因此會(huì)在某種程度上影響這一診斷。但在他看來，基礎(chǔ)設(shè)施的首要部署目標(biāo)就是產(chǎn)生業(yè)務(wù)價(jià)值，借此為硬件投資帶來回報(bào)。

另一種思路……

這個(gè)問題似乎也跟用戶使用云服務(wù)的常規(guī)方式有關(guān)。Rogers認(rèn)為，云服務(wù)實(shí)際在通過多種方式提供價(jià)值。首先，客戶往往會(huì)在不提前通知的情況下部署并擴(kuò)展其應(yīng)用程序；第二，用戶會(huì)基于純消費(fèi)的模式訪問各種領(lǐng)先技術(shù)。

而加速器主要屬于第二類，這是因?yàn)槠涑杀救匀惠^高，所以屬于偶爾使用的高端資源。技術(shù)媒體The Next Platform之前曾就此開展討論，認(rèn)為生成式AI工作負(fù)載正在市場上形成一股巨大的GPU需求熱潮，迫使人們一度愿意在eBay上砸下4萬美元搶購一張H100 PCIe卡。而對于那些無需長期運(yùn)行AI工作負(fù)載的客戶來說，在云端隨時(shí)運(yùn)行這類負(fù)載肯定是比自主構(gòu)建集群便宜得多。

但Rogers解釋道，云服務(wù)的本質(zhì)也要求亞馬遜云科技和微軟等廠商構(gòu)建起遠(yuǎn)超其預(yù)期容量的設(shè)施規(guī)模。換句話說，服務(wù)商必須提前為峰值需求做好準(zhǔn)備。

另外值得注意的是，除了少數(shù)例外，GPU并不會(huì)像CPU那樣存在過度配置。一般來講，GPU資源可以供虛擬機(jī)乃至整個(gè)服務(wù)器上的客戶使用。

也有一部分云服務(wù)商，特別是那些規(guī)模較小的利基廠商，會(huì)采用英偉達(dá)提供的多實(shí)例GPU技術(shù)。這項(xiàng)技術(shù)允許將加速器拆分成多個(gè)GPU。與此同時(shí)，也有廠商選擇所謂“時(shí)間切片”技術(shù)以在同一GPU上運(yùn)行多個(gè)工作負(fù)載。

但也必須承認(rèn)，在如今這個(gè)大語言模型為王的時(shí)代，相當(dāng)一部分客戶不可能滿足于只占有幾分之一的GPU。他們需要成百甚至上千個(gè)完整GPU，用以承載大模型那恐怖的訓(xùn)練工作負(fù)載。

Rogers還發(fā)現(xiàn)云用戶經(jīng)常上報(bào)加速器容量不足，并強(qiáng)烈懷疑這是由資源調(diào)度不善所造成。

“我認(rèn)為目前市場對于加速器的需求并不低，只是很多需求在同一時(shí)段內(nèi)涌來，因此引發(fā)了資源爭用?！?/p>

換句話說，如果有五家客戶都想申請8000個(gè)GPU來訓(xùn)練自己的模型，但云服務(wù)商那邊只準(zhǔn)備了2萬個(gè)，那就必然有三家客戶需要等待。

也正如Rogers指出，不少證據(jù)都支持這樣的推斷。過去一年以來，亞馬遜云科技和Google Cloud先后推出了調(diào)度服務(wù)，旨在幫助優(yōu)化成本、服務(wù)可用性并提高資源利用率。

能靠抽象解決問題嗎？

正如前文所提到，大多數(shù)GPU實(shí)例已經(jīng)是以虛擬機(jī)和裸機(jī)服務(wù)器的形式交付。但Rogers評論稱，AI資源在云端還有其他使用方式，比如說亞馬遜的SageMaker平臺(tái)。

他解釋稱，這些服務(wù)消除了部署AI/機(jī)器學(xué)習(xí)工作負(fù)載的復(fù)雜性，“服務(wù)商的思路很簡單：如果客戶不想自購容量、不確定什么時(shí)候需要使用容量、或者不打算為容量管理浪費(fèi)太多精力，那可以把這事直接交給亞馬遜云科技，由服務(wù)商負(fù)責(zé)打理一切。”

更高的抽象水平也意味著客戶不必考慮對各種加速器做針對性優(yōu)化。畢竟除了AI硬件領(lǐng)域的主導(dǎo)者英偉達(dá)之外，目前所有主要云服務(wù)商也都開發(fā)出了自己的定制芯片，AMD最近發(fā)布的MI300X GPU也已經(jīng)得到微軟等大客戶的接納和使用。

Rogers認(rèn)為隨著時(shí)間推移，用戶的技能組合也會(huì)朝著SageMaker這樣的云平臺(tái)傾斜。但就目前來講，“對于一名了解機(jī)器學(xué)習(xí)和AI的程序員來說，哪怕大家已經(jīng)比較熟悉GPU及其編程特性，要想上手SageMker或者谷歌/微軟的同類平臺(tái)也還須專門的學(xué)習(xí)和適應(yīng)。所以至少就目前來講，多數(shù)人可能還是更傾向使用自己的固有知識(shí)，而不是接納一套全新的AI云平臺(tái)?！?/p>

大量囤積GPU究竟是福是禍？

而且，云服務(wù)商并不是市面上唯一的GPU租用選項(xiàng)。過去幾年來出現(xiàn)了以CoreWeave為代表的多家托管及裸機(jī)即服務(wù)供應(yīng)商，他們同樣能夠滿足客戶對于大規(guī)模GPU部署的需求。

這些廠商經(jīng)?？湟銰PU價(jià)格更具競爭力。還是以CoreWeave為例，其H100價(jià)格可低至每小時(shí)2.23美元——只要客戶愿意認(rèn)購足夠多的設(shè)備，就能享受到極致低廉的成本。

但Rogers認(rèn)為CoreWeave這類廠商也面臨著自己的問題：雖然也能在市場上占據(jù)一席之地，但局限性在于只適合那些需要在短時(shí)間內(nèi)運(yùn)行大量訓(xùn)練負(fù)載的客戶。所以“從長遠(yuǎn)來看，我認(rèn)為他們的日子也不會(huì)太好過?！?/p>

而其中最大的挑戰(zhàn)，就在于一旦客戶將自己的數(shù)據(jù)存儲(chǔ)在云設(shè)施當(dāng)中，那么導(dǎo)出成本將是一筆大錢。Rogers解釋道，假設(shè)我們把數(shù)據(jù)存儲(chǔ)在亞馬遜云科技當(dāng)中，那么將這些數(shù)據(jù)轉(zhuǎn)移到GPU農(nóng)場以供處理本身就是筆不小的開支。

對于那些愿意從零開始訓(xùn)練大語言模型的公司來說，數(shù)據(jù)移動(dòng)的成本可能微不足道，所以他們更適合選擇CoreWeave這類服務(wù)商。但在另一方面，如果大家本身就是一家小企業(yè)，打算重新訓(xùn)練Llama 2 7B模型來支撐自己的客服聊天機(jī)器人，那么直接在云端運(yùn)行訓(xùn)練負(fù)載可能更便宜、也更方便。

“即使對于那些GPU需求量巨大的應(yīng)用程序，超大規(guī)模云運(yùn)營商也能提供更多必要服務(wù)，幫助客戶順利完成自己的AI之旅。”

而且在Rogers看來，目前CoreWeave等服務(wù)商成本更低的狀況也很有可能在未來發(fā)生改變。他表示，“超大規(guī)模服務(wù)商掌握著更強(qiáng)勁的收入和購買力空間，只要他們愿意，完全可以憑借批量采購優(yōu)勢壓低加速器成本、再進(jìn)一步削減服務(wù)價(jià)格?！?/p>

“畢竟他們的體量更大、購買力更強(qiáng)，而且可以通過其他服務(wù)來抵償自己在某些服務(wù)上的利潤讓步?！?/p>

對于Rogers來說，盡管AI領(lǐng)域不乏各種炒作和亂象，但AI本身的實(shí)現(xiàn)確實(shí)需要與其他多種服務(wù)緊密對接?！拔覀?nèi)匀恍枰狢PU、需要大量的存儲(chǔ)空間、需要大量內(nèi)存資源。所以我個(gè)人將保持樂觀，哪怕目前回報(bào)一般，AI設(shè)施部署也不至于讓云服務(wù)商賠本?！?/p>