英偉達(dá)，贏麻了！

剛剛結(jié)束的GTC大會(huì)上，靠著滿屏的「生成式AI」，手握一塊支撐ChatGPT算力、提速10倍的H100 NVLINK芯片，老黃就差把這幾個(gè)字寫(xiě)在臉上——「我是贏家」。

ChatGPT，Microsoft 365， Azure，Stable Diffusion，DALL-E，Midjourney……所有這些時(shí)下最紅最爆的AI產(chǎn)品，英偉達(dá)全都能從中分得一杯羹。

今年初ChatGPT在全球的爆火，讓英偉達(dá)股價(jià)飆升，市值直接增加700多億美元。目前，英偉達(dá)市值為6400億美元。

而如今，AI的iPhone時(shí)刻已經(jīng)到來(lái)，第四次科技革命就要開(kāi)啟，而手握A100和H100的英偉達(dá)，或成最大贏家。

在GTC大會(huì)上，老黃宣布了英偉達(dá)在GPU、加速庫(kù)、計(jì)算光刻、云平臺(tái)上的亮眼進(jìn)步，更是放出豪言——英偉達(dá)就是要做AI圈的臺(tái)積電！

現(xiàn)在已經(jīng)有人猜測(cè)，今天的演講都是在H100上用AIGC模型生成的。

ChatGPT專(zhuān)用GPU已來(lái)

這次大會(huì)上最重磅的發(fā)布，就是針對(duì)ChatGPT打造的NVIDIA H100 NVLINK。

因?yàn)樗懔π枨缶薮螅槍?duì)ChatGPT等LLM的推理，英偉達(dá)推出了新款Hopper GPU，配備雙GPU NVLINK的PCIE H100，具有94B內(nèi)存。

事實(shí)上，深度學(xué)習(xí)的歷史從2012年之后，就一直與英偉達(dá)息息相關(guān)。

老黃表示，2012年深度學(xué)習(xí)元老Hinton和學(xué)生Alex Kerchevsky、Ilya Suskever在訓(xùn)練AlexNet時(shí)，用的正是GeForce GTX 580。

隨后，AlexNet一舉奪得ImageNet圖像分類(lèi)競(jìng)賽冠軍，成為了深度學(xué)習(xí)大爆炸的奇點(diǎn)。

而時(shí)隔10年，在OpenAI的Ilya Suskever也是用著英偉達(dá)的DGX，訓(xùn)練出了ChatGPT背后的GPT3，及GPT3.5。

老黃自豪地說(shuō)，目前在云上唯一可以實(shí)際處理ChatGPT的GPU，就是HGX A100。

但與A100相比，一臺(tái)搭載四對(duì)H100和雙GPU NVLINK的服務(wù)器速度還要快上10倍！因?yàn)镠100可以將LLM的處理成本降低一個(gè)數(shù)量級(jí)。

隨著生成式AI掀起一波機(jī)遇浪潮，AI正處于轉(zhuǎn)折點(diǎn)，使得推理工作負(fù)載呈階梯函數(shù)式增長(zhǎng)。

在以前，設(shè)計(jì)一個(gè)云數(shù)據(jù)中心來(lái)處理生成式AI，是巨大的挑戰(zhàn)。

一方面，理想情況下最好使用一種加速器，使數(shù)據(jù)中心具有彈性；但另一方面，沒(méi)有一個(gè)加速器能以最優(yōu)的方式處理在算法、模型、數(shù)據(jù)類(lèi)型和大小方面的多樣性。英偉達(dá)的One Architecture平臺(tái)就兼具加速功能和彈性。

而今天，英偉達(dá)宣布，推出全新的推理平臺(tái)。每種配置都對(duì)某類(lèi)工作負(fù)載進(jìn)行了優(yōu)化。

比如針對(duì)AI視頻工作負(fù)載，英偉達(dá)就推出了L4，在視頻解碼和轉(zhuǎn)碼、視頻內(nèi)容審核、視頻通話功能上做了優(yōu)化。

而一臺(tái)8-GPU L4服務(wù)器，將取代一百多臺(tái)用于處理AI視頻的雙插槽CPU服務(wù)器。

同時(shí)，英偉達(dá)還針對(duì)Omniverse、圖形渲染以及文本轉(zhuǎn)圖像/視頻等生成式AI推出了L40。其性能是英偉達(dá)最受歡迎的云推理GPU T4的10倍。

當(dāng)前，Runway推出的Gen-1，以及Gen-2生成式AI模型擁有的強(qiáng)大能力便是借助了英偉達(dá)的GPU。

另外，英偉達(dá)還推出了全新的超級(jí)芯片Grace-Hopper，適用于推薦系統(tǒng)和向量數(shù)據(jù)庫(kù)。

挑戰(zhàn)芯片極限破，計(jì)算光刻提速40倍

在芯片領(lǐng)域，英偉達(dá)聯(lián)合臺(tái)積電、ASML和Synopsys，歷時(shí)4年終于完成了計(jì)算光刻技術(shù)的一項(xiàng)重大突破——NVIDIA cuLitho計(jì)算光刻庫(kù)。

在到達(dá)2nm制程的極限后，光刻就是突破點(diǎn)。

計(jì)算光刻模擬了光通過(guò)光學(xué)元件后與光刻膠相互作用時(shí)的行為，通過(guò)應(yīng)用逆物理算法，我們可以預(yù)測(cè)掩膜板上的圖案，以便在晶圓上生成最終圖案。

在芯片設(shè)計(jì)和制造領(lǐng)域中，計(jì)算光刻是最大的計(jì)算工作負(fù)載，每年都要消耗數(shù)百億CPU小時(shí)。相比之下，英偉達(dá)創(chuàng)造的這個(gè)新算法，可以讓日益復(fù)雜的計(jì)算光刻工作流程能夠在GPU上并行執(zhí)行。

總結(jié)來(lái)說(shuō)，cuLitho不僅能使計(jì)算速度提升40倍，而且功耗也可以降低9倍之多。

舉個(gè)例子，英偉達(dá)的H100需要89塊掩膜板。

如果用CPU進(jìn)行處理的話，每個(gè)掩膜板都需要消耗兩周的時(shí)間。而如果在GPU上運(yùn)行cuLitho，則只需8個(gè)小時(shí)即可處理完一個(gè)掩膜板。

而臺(tái)積電也可以用500個(gè)DGX H100系統(tǒng)中的4,000個(gè)Hopper GPU，完成之前需要多達(dá)40,000臺(tái)基于CPU的服務(wù)器才能搞定的工作，并且功率也會(huì)從35MW降至5MW。

值得注意的是，cuLitho加速庫(kù)與Ampere和Volta架構(gòu)的GPU也是兼容的，不過(guò)Hopper是最快的解決方案。

老黃表示，由于光刻技術(shù)已經(jīng)處于物理學(xué)的極限，晶圓廠能夠提高產(chǎn)量，為2nm及以后的發(fā)展做好準(zhǔn)備。

AI的iPhone時(shí)刻

這幾個(gè)月，ChatGPT以摧枯拉朽之勢(shì)，眼看就要掀起第四次科技革命?！肝覀冋幱贏I的iPhone時(shí)刻」這個(gè)說(shuō)法，也隨之廣泛流傳開(kāi)。

在GTC大會(huì)上，老黃也是激動(dòng)地把這句話重復(fù)了三遍。

iPhone時(shí)刻來(lái)臨，初創(chuàng)公司如OpenAI在競(jìng)相構(gòu)建顛覆性的產(chǎn)品和商業(yè)模式，而谷歌、微軟這樣的老牌公司，則在尋求著應(yīng)對(duì)之法。

它們的種種舉動(dòng)，都是由生成式AI在全球引發(fā)的制定AI戰(zhàn)略的緊迫感。

英偉達(dá)加速計(jì)算始于DGX AI超級(jí)計(jì)算機(jī)，這也是當(dāng)前大型語(yǔ)言模型實(shí)現(xiàn)突破的背后引擎。

GTC上，老黃自豪地表示，是我親手將全球首款DGX交給了OpenAI。

從那之后，「財(cái)富」100強(qiáng)企業(yè)中，其中有一半都安裝了DGXAI超級(jí)計(jì)算機(jī)。

DGX配有8個(gè)H100 GPU模組，同時(shí)H100配有Transformer引擎，能夠處理ChatGPT這樣令人驚嘆的模型。

8個(gè)H100模組通過(guò)NVLINK Switch彼此相連，實(shí)現(xiàn)了全面無(wú)阻塞通信。8個(gè)H100協(xié)同工作，就像是一個(gè)巨型的GPU。

讓老黃倍感激動(dòng)的是，微軟宣布Azure將向其H100 AI超級(jí)計(jì)算機(jī)開(kāi)放私人預(yù)覽版。

并稱(chēng)，「DGX超計(jì)算機(jī)是現(xiàn)代AI工廠。我們正處于AI的iPhone時(shí)刻?！?/span>

一手帶出ChatGPT

過(guò)去十年，加速和縱向擴(kuò)展結(jié)合使各種應(yīng)用實(shí)現(xiàn)百萬(wàn)倍性能提升。

令人印象最深刻的例子，便是2012年，AlexNet深度學(xué)習(xí)框架的提出。

當(dāng)時(shí)，Alex Krizhevsky、Ilya Suskever，以及Hinton在GeForce GTX 580上使用了1400萬(wàn)張圖完成了訓(xùn)練，可處理262千萬(wàn)億次浮點(diǎn)運(yùn)算。

十年后，Transformer面世。

Ilya Suskever訓(xùn)練了GPT-3來(lái)預(yù)測(cè)下一個(gè)單詞，需要進(jìn)行的浮點(diǎn)運(yùn)算比訓(xùn)練AlexNet模型要多一百萬(wàn)倍。

由此，創(chuàng)造出了令全世界震驚的AI——ChatGPT。

用老黃的一句話總結(jié)：

這意味著嶄新的計(jì)算平臺(tái)已經(jīng)誕生，AI的「iPhone時(shí)刻」已經(jīng)到來(lái)。加速計(jì)算和AI技術(shù)已經(jīng)走進(jìn)現(xiàn)實(shí)。

加速庫(kù)是加速計(jì)算的核心。這些加速庫(kù)連接了各種應(yīng)用，進(jìn)而再連接到各行各業(yè)，形成了網(wǎng)絡(luò)中的網(wǎng)絡(luò)。

經(jīng)過(guò)30年的開(kāi)發(fā)，目前已經(jīng)有數(shù)千款應(yīng)用被英偉達(dá)的庫(kù)加速，幾乎涉及科學(xué)和工業(yè)的每個(gè)領(lǐng)域。

目前，所有的英偉達(dá)GPU都兼容CUDA。

現(xiàn)有的300個(gè)加速庫(kù)和400個(gè)AI模型覆蓋了量子計(jì)算、數(shù)據(jù)處理、機(jī)器學(xué)習(xí)等廣泛的領(lǐng)域。

這次GTC大會(huì)，英偉達(dá)宣布更新了其中的100個(gè)。

英偉達(dá)Quantum平臺(tái)由庫(kù)和系統(tǒng)組成，可供研究人員推進(jìn)量子編程模型、系統(tǒng)架構(gòu)和算法。

cuQuantum是用于量子電路仿真的加速庫(kù)，其中IBM、百度等公司已經(jīng)將這一加速庫(kù)集成到他們的仿真框架中。

Open Quantum CUDA是英偉達(dá)的混合GPU-Quantum編程模型。

英偉達(dá)還宣布推出一個(gè)量子控制鏈路，這是與Quantum Machines合作開(kāi)發(fā)的。它可以將英偉達(dá)GPU連接到量子計(jì)算機(jī)，以極快的速度進(jìn)行糾錯(cuò)。

還有RAFT新庫(kù)推出，用于加速索引、數(shù)據(jù)加載和近鄰搜索。

此外，英偉達(dá)還宣布了DGX Quantum，用DGX構(gòu)建，并利用最新開(kāi)源的CUDA Quantum，這個(gè)新平臺(tái)為從事量子計(jì)算的研究人員提供了一個(gè)革命性的高性能和低延遲的架構(gòu)。

英偉達(dá)還推出了NVIDIA Triton Management Service軟件，可在整個(gè)數(shù)據(jù)中心自動(dòng)擴(kuò)展和編排Triton推理實(shí)例。適用于像GPT-3大語(yǔ)言模型的多GPU、多節(jié)點(diǎn)推理。

用于計(jì)算機(jī)視覺(jué)的CV-CUDA和用于視頻處理的VPF是英偉達(dá)新的云規(guī)模加速庫(kù)。

老黃宣布CV-CUDA Beta優(yōu)化了預(yù)處理和后處理，實(shí)現(xiàn)了更高的云吞吐量，將成本和能耗減少了四分之一。

目前，微軟處理視覺(jué)搜索、Runway為其生成式AI視頻處理過(guò)程，全都采用了CV-CUDA和VRF庫(kù)。

此外，英偉達(dá)加速計(jì)算還幫助基因組學(xué)實(shí)現(xiàn)了里程碑式發(fā)展。使用英偉達(dá)助力的儀器設(shè)備，將整個(gè)基因組測(cè)序的成本降低至100美元，成為另一個(gè)里程碑。

英偉達(dá)NVIDIA Parabrics加速庫(kù)可用于云端或儀器設(shè)備內(nèi)的端到端基因組分析，并且適用于各種公有云和基因組學(xué)平臺(tái)。

ChatGPT在跑，英偉達(dá)在賺

現(xiàn)在，ChatGPT、Stable Diffusion、DALL-E和Midjourney，已經(jīng)喚醒了全世界對(duì)于生成式AI的認(rèn)知。

當(dāng)紅炸子雞ChatGPT僅在推出2個(gè)月后，就月活破億，已經(jīng)成為史上用戶增長(zhǎng)最快的應(yīng)用。

可以說(shuō)，它就是一臺(tái)計(jì)算機(jī)。不僅能生成文本、寫(xiě)詩(shī)、改寫(xiě)研究論文、解決數(shù)學(xué)問(wèn)題、甚至還能編程。

眾多突破性成果造就了今天的生成式AI。

Transformer能夠以大規(guī)模并行的方式，從數(shù)據(jù)的關(guān)系和依賴性中學(xué)習(xí)上下文和含義。這使得LLMs能夠利用海量數(shù)據(jù)進(jìn)行學(xué)習(xí)，在沒(méi)有明確訓(xùn)練的情況下執(zhí)行下游任務(wù)。

另外，受物理學(xué)啟發(fā)的擴(kuò)散模型，能夠通過(guò)無(wú)監(jiān)督學(xué)習(xí)來(lái)生成圖像。

老黃總結(jié)道，短短十幾年，我們就從識(shí)別貓，跨越到了生成在月球行走的太空服貓的過(guò)程。

現(xiàn)在完全可以說(shuō)，生成式AI就是一種新的計(jì)算機(jī)，一種可以用人類(lèi)語(yǔ)言進(jìn)行編程的計(jì)算機(jī)。

此前，命令計(jì)算機(jī)解決問(wèn)題，是獨(dú)屬于程序員的特權(quán)，但是如今，人人都可以是程序員了。

和比爾蓋茨一樣，老黃也下了類(lèi)似的定義：生成式AI是一種新型計(jì)算平臺(tái)，與PC、互聯(lián)網(wǎng)、移動(dòng)設(shè)備和云類(lèi)似。

通過(guò)Debuild，我們只要說(shuō)清楚自己想要什么，就可以直接設(shè)計(jì)和部署Web應(yīng)用。

很明顯，生成式AI將幾乎重塑所有行業(yè)。

要做AI界的「臺(tái)積電」

在這樣的背景下，專(zhuān)業(yè)公司都需要使用自己的專(zhuān)有數(shù)據(jù)，來(lái)構(gòu)建定制模型。

接著，老黃自豪宣布，行業(yè)需要一個(gè)類(lèi)似臺(tái)積電的代工廠，來(lái)構(gòu)建自定義的大語(yǔ)言模型，而英偉達(dá)，就是這個(gè)「臺(tái)積電」！

大會(huì)上，英偉達(dá)宣布推出NVIDIA AI Foundations云服務(wù)，讓客戶可以定制LLM和生成式AI。

這個(gè)云服務(wù)包括語(yǔ)言、視覺(jué)和生物學(xué)模型制作服務(wù)。

其中，Nemo用于構(gòu)建定制的語(yǔ)言文本轉(zhuǎn)文本生成式模型。

而Picasso是視覺(jué)語(yǔ)言模型制作，可以用于訓(xùn)練自定義模型，包括圖像、視頻和3D應(yīng)用。

只要向Picasso發(fā)送文本提示和元數(shù)據(jù)的API調(diào)用，Picasso就會(huì)用DGX Cloud上的模型把生成的素材發(fā)送回應(yīng)用。

更厲害的地方是，把這些素材導(dǎo)入NVIDIA Omniverse，就可以構(gòu)建逼真的元宇宙應(yīng)用，和數(shù)字孿生仿真。

另外，英偉達(dá)還在和Shutterstock合作，開(kāi)發(fā)Edify-3D生成式模型。

同時(shí)，英偉達(dá)和Adobe的合作也繼續(xù)擴(kuò)展，把生成式AI融入營(yíng)銷(xiāo)人員和創(chuàng)意人士的日常工作流，并且，尤其注意對(duì)于藝術(shù)家版權(quán)的保護(hù)。

第三個(gè)領(lǐng)域，就是生物學(xué)。

如今，藥物研發(fā)行業(yè)的價(jià)值已經(jīng)達(dá)到近2萬(wàn)億元，研發(fā)投入高達(dá)2500億美元。

NVIDIA Clara就是一款醫(yī)療健康應(yīng)用框架，用于影像、儀器、基因組學(xué)分析和藥物研發(fā)。

而最近，生物圈的熱門(mén)方向是利用生成式AI發(fā)現(xiàn)疾病靶因、設(shè)計(jì)新分子或蛋白類(lèi)藥物等。

與之相應(yīng)的，BIONEMO可以讓用戶使用專(zhuān)有數(shù)據(jù)創(chuàng)建、微調(diào)、提供自定義模型，包括AlphaFold、ESMFold、OpenFold等蛋白質(zhì)預(yù)測(cè)模型。

最后，老黃總結(jié)道，NVIDIA AI Foundations是一個(gè)云服務(wù)和代工廠，用于構(gòu)建自定義語(yǔ)言模型和生成式AI。

老黃云服務(wù)，月租36999美元

英偉達(dá)這次，還推出了一款云服務(wù)。

它敏銳地看到客戶需要更簡(jiǎn)單快捷訪問(wèn)NVIDIA AI的需求，因而推出了NVIDIA DGX Cloud。

DGX Cloud與Microsoft Azure、Google GCP和Oracle OCI都有合作。只要一個(gè)瀏覽器，NVIDIA DGX AI超級(jí)計(jì)算機(jī)，就能即時(shí)接入每家公司！

在這款云上，可以運(yùn)行NVIDIA AI Enterprise加速庫(kù)套件，直接解決AI端到端的開(kāi)發(fā)和部署。

并且，云上不止提供NVIDIA AI，還有全球最主要的幾大云服務(wù)商。

而英偉達(dá)的第一個(gè)NVIDIA DGX Cloud，就是Oracle Cloud Infrastructure（OCI）。

在OCI中，NVIDIA CX-7和BlueField-3兩個(gè)王炸合體，立馬組合出一臺(tái)強(qiáng)力超算。

據(jù)介紹，企業(yè)現(xiàn)在可以租用DGX Cloud，月租36999美元起。

最后，當(dāng)然還是每年GTC大會(huì)的保留節(jié)目——Omniverse。老黃宣布了關(guān)于元宇宙平臺(tái)Omniverse更新。

現(xiàn)在，Microsoft和NVIDIA，正準(zhǔn)備將Omniverse帶給數(shù)以億計(jì)的Microsoft 365和Azure用戶。

此外，還有消息稱(chēng)：老黃為了能讓H100合規(guī)地出口中國(guó)，便照著之前A800的經(jīng)驗(yàn)特調(diào)了一款「H800」，將芯片之間的數(shù)據(jù)傳輸率降到了H100的50%左右。

總結(jié)來(lái)說(shuō)，老黃在這次的大會(huì)已經(jīng)相當(dāng)明確，英偉達(dá)要做AI領(lǐng)域的臺(tái)積電，像晶圓廠一樣提供代工，在此基礎(chǔ)上讓行業(yè)內(nèi)其他公司訓(xùn)練算法。

這種商業(yè)模式，能成功嗎？