曾何幾時(shí)，人工智能因?yàn)樗懔Σ蛔氵M(jìn)入了長(zhǎng)達(dá)數(shù)十年的瓶頸，GPU 點(diǎn)燃了深度學(xué)習(xí)。在 ChatGPT 時(shí)代，AI 因?yàn)榇竽Ｐ驮俅蚊媾R算力不足的問(wèn)題，這一次英偉達(dá)還有辦法嗎？

3 月 22 日，GTC 大會(huì)正式召開(kāi)，在剛剛進(jìn)行的 Keynote 上，英偉達(dá) CEO 黃仁勛搬出了為 ChatGPT 準(zhǔn)備的芯片。

「加速計(jì)算并非易事，2012 年，計(jì)算機(jī)視覺(jué)模型 AlexNet 動(dòng)用了 GeForce GTX 580，每秒可處理 262 PetaFLOPS。該模型引發(fā)了 AI 技術(shù)的爆炸，」黃仁勛說(shuō)道。「十年之后，Transformer 出現(xiàn)了，GPT-3 動(dòng)用了 323 ZettaFLOPS 的算力，是 AlexNet 的 100 萬(wàn)倍，創(chuàng)造了 ChatGPT 這個(gè)震驚全世界的 AI。嶄新的計(jì)算平臺(tái)出現(xiàn)了，AI 的 iPhone 時(shí)代已經(jīng)來(lái)臨。」

AI 的繁榮推動(dòng)英偉達(dá)股價(jià)在今年上漲了 77%，目前，英偉達(dá)的市值為 6400 億美元，已是英特爾的近五倍。不過(guò)今天的發(fā)布告訴我們，英偉達(dá)的腳步還沒(méi)有停。

為 AIGC 設(shè)計(jì)專(zhuān)用算力

生成式 AI（AIGC ）的發(fā)展正在改變科技公司對(duì)于算力的需求，英偉達(dá)一次展示了四種針對(duì) AI 任務(wù)的推理平臺(tái)，它們都使用了統(tǒng)一的架構(gòu)。

其中，NVIDIA L4 提供「比 CPU 高 120 倍的 AI 驅(qū)動(dòng)視頻性能，以及 99% 的能源效率」，可以用于視頻流、編碼和解碼以及生成 AI 視頻等工作；算力更強(qiáng)的 NVIDIA L40 則專(zhuān)門(mén)用于 2D/3D 圖像生成。

針對(duì)算力需求巨大的 ChatGPT，英偉達(dá)發(fā)布了 NVIDIA H100 NVL，這是一種具有 94GB 內(nèi)存和加速 Transformer Engine 的大語(yǔ)言模型（LLM）專(zhuān)用解決方案，配備了雙 GPU NVLINK 的 PCIE H100 GPU。

「當(dāng)前唯一可以實(shí)際處理 ChatGPT 的 GPU 是英偉達(dá) HGX A100。與前者相比，現(xiàn)在一臺(tái)搭載四對(duì) H100 和雙 NVLINK 的標(biāo)準(zhǔn)服務(wù)器速度能快 10 倍，可以將大語(yǔ)言模型的處理成本降低一個(gè)數(shù)量級(jí)，」黃仁勛說(shuō)道。

最后還有 NVIDIA Grace Hopper for Recommendation Models，除了為推薦任務(wù)優(yōu)化之外，它還可以為圖形神經(jīng)網(wǎng)絡(luò)和矢量數(shù)據(jù)庫(kù)提供動(dòng)力。

讓芯片突破物理極限

當(dāng)前，半導(dǎo)體的生產(chǎn)工藝已經(jīng)逼近物理學(xué)所能達(dá)到的極限。2nm 制程之后，突破點(diǎn)又是什么？英偉達(dá)決定從芯片制造的最原始階段 —— 光刻入手。

從根本上說(shuō)，這是一個(gè)物理極限下的成像問(wèn)題。在先進(jìn)制程下，芯片上的許多特征會(huì)小于打印過(guò)程中使用的光的波長(zhǎng)，掩模的設(shè)計(jì)必須不斷進(jìn)行修改，這一步驟稱(chēng)為光學(xué)鄰近校正。計(jì)算光刻模擬了光通過(guò)原件與光刻膠相互作用時(shí)的行為，這些行為是根據(jù)麥克斯韋方程描述的，這是芯片設(shè)計(jì)制造領(lǐng)域中需要算力最多的任務(wù)。

黃仁勛在 GTC 上宣布了一項(xiàng)名為 CuLitho 的新技術(shù)，用以加快半導(dǎo)體的設(shè)計(jì)和制造。該軟件使用英偉達(dá)芯片來(lái)加速基于軟件的芯片設(shè)計(jì)，并加速用于在芯片上打印該設(shè)計(jì)的光刻掩模的物理制造之間的步驟。

CuLitho 在 GPU 上運(yùn)行，其性能比目前的光刻技術(shù)提高了 40 倍，可以加速目前每年消耗數(shù)百億個(gè) CPU 小時(shí)的大規(guī)模計(jì)算工作負(fù)載?！冈?H100 需要 89 塊掩膜版，在 CPU 上運(yùn)算時(shí)一塊就得算兩個(gè)星期，但如果用 H100 在 CuLitho 上運(yùn)行就只需要 8 個(gè)小時(shí)，」黃仁勛說(shuō)道。

這意味著 500 個(gè)英偉達(dá) DGX H100 系統(tǒng)就能夠替代 4 萬(wàn)個(gè) CPU 系統(tǒng)的工作，并運(yùn)行計(jì)算光刻工藝的所有部分，幫助減少電力需求和對(duì)環(huán)境的潛在影響。

這一進(jìn)展將使芯片的晶體管和電路比現(xiàn)在尺寸更小，同時(shí)加快了芯片的上市時(shí)間，并提高為推動(dòng)制造過(guò)程而全天候運(yùn)行的大規(guī)模數(shù)據(jù)中心的能源效率。

英偉達(dá)表示，它正在與 ASML、Synopsys 和臺(tái)積電合作，將該技術(shù)推向市場(chǎng)。據(jù)介紹，臺(tái)積電將在 6 月開(kāi)始準(zhǔn)備該技術(shù)的試產(chǎn)。

「芯片行業(yè)是世界上幾乎所有其他行業(yè)的基礎(chǔ)，」黃仁勛表示?！赣捎诠饪碳夹g(shù)已處于物理學(xué)的極限，通過(guò) CuLitho 以及與我們的合作伙伴臺(tái)積電、ASML 和 Synopsys 的合作，晶圓廠(chǎng)能夠提高產(chǎn)量，減少碳足跡，并為 2nm 及以后的發(fā)展奠定基礎(chǔ)?！?/span>

首個(gè) GPU 加速的量子計(jì)算系統(tǒng)

在今天的活動(dòng)中，英偉達(dá)還宣布了一個(gè)使用 Quantum Machines 構(gòu)建的新系統(tǒng)，該系統(tǒng)為從事高性能和低延遲量子經(jīng)典計(jì)算的研究人員提供了一種革命性的新架構(gòu)。

作為全球首個(gè) GPU 加速的量子計(jì)算系統(tǒng)，NVIDIA DGX Quantum 將全球最強(qiáng)大的加速計(jì)算平臺(tái)（由 NVIDIA Grace Hopper 超級(jí)芯片和 CUDA Quantum 開(kāi)源編程模型實(shí)現(xiàn)）與全球最先進(jìn)的量子控制平臺(tái) OPX（由 Quantum Machines 提供）相結(jié)合。這種組合使研究人員能夠建立空前強(qiáng)大的應(yīng)用，將量子計(jì)算與最先進(jìn)的經(jīng)典計(jì)算相結(jié)合，實(shí)現(xiàn)校準(zhǔn)、控制、量子糾錯(cuò)和混合算法。

DGX Quantum 的核心是一個(gè)由 PCIe 連接到 Quantum Machines OPX + 的 NVIDIA Grace Hopper 系統(tǒng)，實(shí)現(xiàn)了 GPU 和量子處理單元（QPU）之間的亞微秒級(jí)延遲。

英偉達(dá)公司 HPC 和量子主管 Tim Costa 表示：「量子加速的超級(jí)計(jì)算有可能重塑科學(xué)和工業(yè)，英偉達(dá) DGX Quantum 將使研究人員能夠突破量子 - 經(jīng)典計(jì)算的界限。」

對(duì)此，英偉達(dá)將高性能的 Hopper 架構(gòu) GPU 與該公司的新 Grace CPU 整合為「Grace Hopper」，為巨型 AI 和 HPC 應(yīng)用提供了超強(qiáng)的動(dòng)力。它為運(yùn)行 TB 級(jí)數(shù)據(jù)的應(yīng)用提供了高達(dá) 10 倍的性能，為量子 - 經(jīng)典研究人員解決世界上最復(fù)雜的問(wèn)題提供了更多動(dòng)力。

DGX Quantum 還為開(kāi)發(fā)者配備了英偉達(dá) CUDA Quantum，這是一個(gè)強(qiáng)大的統(tǒng)一軟件棧，現(xiàn)在已經(jīng)開(kāi)放了源代碼了。CUDA Quantum 是一個(gè)混合型量子 - 經(jīng)典計(jì)算平臺(tái)，能夠在一個(gè)系統(tǒng)中整合和編程 QPU、GPU 和 CPU。

每月 3.7 萬(wàn)美元，網(wǎng)頁(yè)上訓(xùn)練自己的 ChatGPT

微軟斥資數(shù)億美元購(gòu)買(mǎi)了數(shù)萬(wàn)塊 A100 構(gòu)建了 GPT 專(zhuān)用超算，你現(xiàn)在可能會(huì)想要租用 OpenAI 和微軟訓(xùn)練 ChatGPT 和必應(yīng)搜索相同的 GPU 來(lái)訓(xùn)練自己的大模型。

英偉達(dá)提出的 DGX Cloud 提供了專(zhuān)用的 NVIDIA DGX AI 超級(jí)計(jì)算集群，搭配 NVIDIA AI 軟件，該服務(wù)使每個(gè)企業(yè)都可以使用簡(jiǎn)單的網(wǎng)絡(luò)瀏覽器訪(fǎng)問(wèn) AI 超算，消除了獲取、部署和管理本地基礎(chǔ)設(shè)施的復(fù)雜性。

據(jù)介紹，每個(gè) DGX Cloud 實(shí)例都具有八個(gè) H100 或 A100 80GB Tensor Core GPU，每個(gè)節(jié)點(diǎn)共有 640GB GPU 內(nèi)存。使用 NVIDIA Networking 構(gòu)建的高性能、低延遲結(jié)構(gòu)確保工作負(fù)載可以跨互連系統(tǒng)集群擴(kuò)展，允許多個(gè)實(shí)例充當(dāng)一個(gè)巨大的 GPU，以滿(mǎn)足高級(jí) AI 訓(xùn)練的性能要求。

現(xiàn)在，企業(yè)可以按月租用 DGX Cloud 集群，快速輕松地?cái)U(kuò)展大型多節(jié)點(diǎn)訓(xùn)練工作負(fù)載的開(kāi)發(fā)，而無(wú)需等待通常需求量很大的加速計(jì)算資源。

而月租的價(jià)格，據(jù)黃仁勛介紹，每個(gè)實(shí)例每月 36999 美元起。

「我們正處于人工智能的 iPhone 時(shí)刻，」黃仁勛表示：「初創(chuàng)公司競(jìng)相打造出了顛覆性產(chǎn)品和商業(yè)模式，而現(xiàn)有企業(yè)也在尋求回應(yīng)。DGX Cloud 讓客戶(hù)能夠即時(shí)訪(fǎng)問(wèn)全球規(guī)模的云中的 NVIDIA AI 超級(jí)計(jì)算。」

為了幫助企業(yè)迎接生成式 AI 的浪潮，英偉達(dá)同時(shí)宣布了一系列云服務(wù)，讓企業(yè)能夠構(gòu)建、改進(jìn)定制的大型語(yǔ)言模型和生成式 AI 模型。

現(xiàn)在，人們可以使用 NVIDIA NeMo 語(yǔ)言服務(wù)和 NVIDIA Picasso 圖像、視頻和 3D 服務(wù)來(lái)構(gòu)建專(zhuān)有的、特定領(lǐng)域的生成式 AI 應(yīng)用程序，用于智能對(duì)話(huà)和客戶(hù)支持、專(zhuān)業(yè)內(nèi)容創(chuàng)建、數(shù)字模擬等。另外，英偉達(dá)還宣布了 NVIDIA BioNeMo 生物學(xué)云服務(wù)的新模型。

「生成式 AI 是一種新型計(jì)算機(jī)，可以用人類(lèi)的自然語(yǔ)言進(jìn)行編程。這種能力影響深遠(yuǎn) —— 每個(gè)人都可以命令計(jì)算機(jī)來(lái)解決問(wèn)題，而此前不久，這還是程序員們的專(zhuān)利，」黃仁勛說(shuō)道。

從今天的發(fā)布內(nèi)容看來(lái)，英偉達(dá)不僅正在針對(duì)科技公司的 AI 負(fù)載不斷改進(jìn)硬件設(shè)計(jì)，也在提出新的商業(yè)模式。在一些人看來(lái)，英偉達(dá)是想做「AI 領(lǐng)域的臺(tái)積電」：像晶圓廠(chǎng)一樣提供先進(jìn)生產(chǎn)力代工服務(wù)，幫助其他公司在其之上訓(xùn)練各自特定場(chǎng)景的 AI 算法。

用英偉達(dá)的超算訓(xùn)練，直接省去中間商賺差價(jià)，會(huì)是未來(lái) AI 發(fā)展的方向嗎？