如今，當(dāng)人們談?wù)撈鹕墒?AI（GenAI）時(shí)，GPU 以及相應(yīng)的性能和訪(fǎng)問(wèn)性幾乎是繞不過(guò)的話(huà)題。而英偉達(dá)又是 GPU 的代名詞，在國(guó)際 GPU 市場(chǎng)上占據(jù)絕對(duì)優(yōu)勢(shì)的份額。同時(shí)，近年來(lái) AMD 也逐漸崛起，占有了一定市場(chǎng)份額。

不過(guò)，AMD 與英偉達(dá)仍存在較大差距。此前市場(chǎng)調(diào)研機(jī)構(gòu) Jon Peddie Research 發(fā)布的 2022 年 GPU 市場(chǎng)數(shù)據(jù)統(tǒng)計(jì)報(bào)告顯示，英偉達(dá) PC GPU 出貨量高達(dá) 3034 萬(wàn)塊，是 AMD 的近 4.5 倍。

就英偉達(dá)而言，其 GPU 與生成式 AI 的緊密聯(lián)系絕非偶然。一直以來(lái)，英偉達(dá)認(rèn)識(shí)到需要利用工具和應(yīng)用來(lái)幫助擴(kuò)展自己的市場(chǎng)。因此，英偉達(dá)為人們獲取自身硬件設(shè)置了非常低的門(mén)檻，包括 CUDA 工具包和 cuDNN 優(yōu)化庫(kù)等。

在被稱(chēng)為硬件公司之外，正如英偉達(dá)應(yīng)用深度學(xué)習(xí)研究副總裁 Bryan Catanzaro 所言，「很多人不知道的一點(diǎn)是，英偉達(dá)的軟件工程師比硬件工程師還要多?！?/span>

可以說(shuō)，英偉達(dá)圍繞其硬件構(gòu)建了強(qiáng)大的軟件護(hù)城河。雖然 CUDA 不開(kāi)源，但免費(fèi)提供，并處于英偉達(dá)的嚴(yán)格控制之下。英偉達(dá)從中受益，但也給那些希望通過(guò)開(kāi)發(fā)替代硬件搶占 HPC 和生成式 AI 市場(chǎng)的公司和用戶(hù)帶來(lái)了挑戰(zhàn)。

「城堡地基」上的建筑

我們知道，為生成式 AI 開(kāi)發(fā)的基礎(chǔ)模型數(shù)量持續(xù)增長(zhǎng)，其中很多是開(kāi)源的，可以自由使用和共享，如 Meta 的 Llama 系列大模型。這些模型需要大量資源（如人力和機(jī)器）來(lái)構(gòu)建，并且局限于擁有大量 GPU 的超大規(guī)模企業(yè)，比如 AWS、微軟 Azure、Google Cloud、Meta Platforms 等。此外其他公司也購(gòu)買(mǎi)大量 GPU 來(lái)構(gòu)建自己的基礎(chǔ)模型。

從研究的角度來(lái)看，這些模型很有趣，可以用于各種任務(wù)。但是，對(duì)更多生成式 AI 計(jì)算資源的預(yù)期使用和需求越來(lái)越大，比如模型微調(diào)和推理，前者將特定領(lǐng)域的數(shù)據(jù)添加到基礎(chǔ)模型中，使之適合自己的用例；后者在微調(diào)后，實(shí)際使用（即問(wèn)問(wèn)題）需要消耗資源。

這些任務(wù)需要加速計(jì)算的參與，即 GPU。顯而易見(jiàn)的解決方案是購(gòu)買(mǎi)更多的英偉達(dá) GPU。但隨著供不應(yīng)求，AMD 迎來(lái)了很好的機(jī)會(huì)。英特爾和其他一些公司也準(zhǔn)備好進(jìn)入這一市場(chǎng)。隨著微調(diào)和推理變得更加普遍，生成式 AI 將繼續(xù)擠壓 GPU 的可用性，這時(shí)使用任何 GPU（或加速器）都比沒(méi)有 GPU 好。

放棄英偉達(dá)硬件意味著其他供應(yīng)商的 GPU 和加速器必須支持 CUDA 才能運(yùn)行很多模型和工具。AMD 通過(guò) HIP（類(lèi) CUDA）轉(zhuǎn)換工具使這一情況成為可能。

PyTorch 放下軟件護(hù)城河「吊橋」

在 HPC 領(lǐng)域，支持 CUDA 的應(yīng)用程序統(tǒng)治著 GPU 加速的世界。使用 GPU 和 CUDA 時(shí)，移植代碼通?？梢詫?shí)現(xiàn) 5-6 倍的加速。但在生成式 AI 中，情況卻截然不同。

最開(kāi)始，TensorFlow 是使用 GPU 創(chuàng)建 AI 應(yīng)用的首選工具，它既可以與 CPU 配合使用，也能夠通過(guò) CUDA 實(shí)現(xiàn)加速。不過(guò)，這一情況正在快速發(fā)生改變。

PyTorch 成為了 TensorFlow 的強(qiáng)有力替代品，作為一個(gè)開(kāi)源機(jī)器學(xué)習(xí)庫(kù)，它主要用于開(kāi)發(fā)和訓(xùn)練基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型。

最近 AssemblyAI 的一位開(kāi)發(fā)者 educator Ryan O’Connor 在一篇博客中指出，在流行的 HuggingFace 網(wǎng)站上，92% 的可用模型都是 PyTorch 獨(dú)有的。

此外如下圖所示，機(jī)器學(xué)習(xí)論文的比較也顯示出放棄 TensorFlow、轉(zhuǎn)投 PyTorch 的顯著趨勢(shì)。

當(dāng)然，PyTorch 底層對(duì) CUDA 進(jìn)行調(diào)用，但不是必需的，這是因?yàn)?PyTorch 將用戶(hù)與底層 GPU 架構(gòu)隔離開(kāi)來(lái)。AMD 還有一個(gè)使用 AMD ROCm 的 PyTorch 版本，它是一個(gè)用于 AMD GPU 編程的開(kāi)源軟件堆棧。

現(xiàn)在，對(duì)于 AMD GPU 而言，跨越 CUDA 護(hù)城河就像使用 PyTorch 一樣簡(jiǎn)單。

推理的本能

在 HPC 和生成式 AI 中，配有 H100 GPU 共享內(nèi)存的英偉達(dá) 72 核、且基于 ARM 的 Grace-Hopper 超級(jí)芯片（以及 144 核 Grace-Grace 版本）備受期待。

迄今，英偉達(dá)發(fā)布的所有基準(zhǔn)測(cè)試表明，該芯片的性能比通過(guò) PCIe 總線(xiàn)連接和訪(fǎng)問(wèn) GPU 的傳統(tǒng)服務(wù)器要好得多。Grace-Hopper 是面向 HPC 和生成式 AI 的優(yōu)化硬件，有望在微調(diào)和推理方面得到廣泛應(yīng)用，需求預(yù)計(jì)會(huì)很高。

而 AMD 從 2006 年（于當(dāng)年收購(gòu)了顯卡公司 ATI）就已經(jīng)出現(xiàn)了帶有共享內(nèi)存的 CPU-GPU 設(shè)計(jì)。從 Fusion 品牌開(kāi)始，很多 AMD x86_64 處理器都作為 APU（加速處理單元）的組合 CPU/GPU 來(lái)實(shí)現(xiàn)。

AMD 推出的 Instinct MI300A 處理器（APU）將與英偉達(dá)的 Grace-Hopper 超級(jí)芯片展開(kāi)競(jìng)爭(zhēng)。集成的 MI300A 處理器將最多提供 24 個(gè) Zen4 核心，并結(jié)合 CDNA 3 GPU 架構(gòu)和最多 192GB 的 HBM3 內(nèi)存，為所有 CPU 和 GPU 核心提供了統(tǒng)一的訪(fǎng)問(wèn)內(nèi)存。

可以說(shuō)，芯片級(jí)緩存一致性?xún)?nèi)存減少了 CPU 和 GPU 之間的數(shù)據(jù)移動(dòng)，消除了 PCIe 總線(xiàn)瓶頸，提升了性能和能效。

AMD 正在為模型推理市場(chǎng)準(zhǔn)備 MI300A 處理器。如 AMD CEO 蘇姿豐所言，「實(shí)際上，得益于架構(gòu)上的一些選擇，我們認(rèn)為自己將成為推理解決方案的行業(yè)領(lǐng)導(dǎo)者?！?/span>

對(duì)于 AMD 和很多其他硬件供應(yīng)商而言，PyTorch 已經(jīng)在圍繞基礎(chǔ)模型的 CUDA 護(hù)城河上放下了吊橋。AMD 的 Instinct MI300A 處理器將打頭陣。

生成式 AI 市場(chǎng)的硬件之戰(zhàn)將憑借性能、可移植性和可用性等多因素來(lái)取勝。未來(lái)鹿死誰(shuí)手，尚未可知。