「只需一張 GeForce 顯卡，每個(gè)學(xué)生都可以擁有一臺(tái)超級(jí)計(jì)算機(jī)，這正是 Alex Krizhevsky、Ilya 和 Hinton 當(dāng)年訓(xùn)練 AI 模型 AlexNet 的方式。通過(guò)搭載在超級(jí)計(jì)算機(jī)中的 GPU，我們現(xiàn)在能讓科學(xué)家們?cè)?youxian 的一生之中追逐無(wú)盡的科學(xué)事業(yè)，」英偉達(dá)創(chuàng)始人兼首席執(zhí)行官黃仁勛說(shuō)道。

4 月 12 日晚，英偉達(dá) GTC 2021 大會(huì)在線上開始了?；蛟S是因?yàn)殚L(zhǎng)期遠(yuǎn)程辦公不用出門，人們驚訝地看到在自家廚房講 Keynote 的黃老板居然留了一頭搖滾范的長(zhǎng)發(fā)：

[[392903]]

如果你只是對(duì)他的黑色皮衣印象深刻，先對(duì)比一下 2019、2020 和 2021 的 GTC，老黃氣質(zhì)越來(lái)越搖滾。如此氣質(zhì)，黃仁勛今天推出的新產(chǎn)品肯定將會(huì)與眾不同。

「這是世界第一款為 terabyte 級(jí)別計(jì)算設(shè)計(jì)的 CPU，」在 GTC 大會(huì)上，黃仁勛祭出了英偉達(dá)的首款中央處理器 Grace，其面向超大型 AI 模型的和高性能計(jì)算。

英偉達(dá)也要做 CPU 了

Grace 使用相對(duì)能耗較低的 Arm 核心，但它又可以為訓(xùn)練超大 AI 模型的系統(tǒng)提供 10 倍左右的性能提升。英偉達(dá)表示，它是超過(guò)一萬(wàn)名工程人員歷經(jīng)幾年的研發(fā)成果，旨在滿足當(dāng)前世界最先進(jìn)應(yīng)用程序的計(jì)算需求，其具備的計(jì)算性能和吞吐速率是以往任何架構(gòu)所無(wú)法比擬的。

「結(jié)合 GPU 和 DPU，Grace 為我們提供了第三種基礎(chǔ)計(jì)算能力，并具備重新定義數(shù)據(jù)中心架構(gòu)，推進(jìn) AI 前進(jìn)的能力，」黃仁勛說(shuō)道。

[[392905]]

Grace 的名字來(lái)自于計(jì)算機(jī)科學(xué)家、世界最早一批的程序員，也是最早的女性程序員之一的格蕾絲 · 赫柏（Grace Hopper）。她創(chuàng)造了現(xiàn)代第一個(gè)編譯器 A-0 系統(tǒng)，以及第一個(gè)高級(jí)商用計(jì)算機(jī)程序語(yǔ)言「COBOL」。計(jì)算機(jī)術(shù)語(yǔ)「Debug」（調(diào)試）便是她在受到從電腦中驅(qū)除蛾子的啟發(fā)而開始使用的，于是她也被冠以「Debug 之母」的稱號(hào)。

英偉達(dá)的 Grace 芯片利用 Arm 架構(gòu)的靈活性，是專為加速計(jì)算而設(shè)計(jì)的 CPU 和服務(wù)器架構(gòu)，可用于訓(xùn)練具有超過(guò) 1 萬(wàn)億參數(shù)的下一代深度學(xué)習(xí)預(yù)訓(xùn)練模型。在與英偉達(dá)的 GPU 結(jié)合使用時(shí)，整套系統(tǒng)可以提供相比當(dāng)今基于 x86 CPU 的最新 NVIDIA DGX 快 10 倍的性能。

目前英偉達(dá)自家的 DGX，使用的是 AMD 7 納米制程的 Rome 架構(gòu) CPU。

據(jù)介紹，Grace 采用了更為先進(jìn)的 5nm 制程，在內(nèi)部通信能力上，它使用了英偉達(dá)第四代 NVIDIA NVLink，在 CPU 和 GPU 之間提供高達(dá) 900 GB/s 的雙向帶寬，相比之前的產(chǎn)品提升了八倍。Grace 還是第一個(gè)通過(guò)錯(cuò)誤校正代碼（ECC）等機(jī)制利用 LPDDR5x 內(nèi)存系統(tǒng)提供服務(wù)器級(jí)可靠性的 CPU，同時(shí)提供 2 倍的內(nèi)存帶寬和高達(dá) 10 倍的能源效率。在架構(gòu)上，它使用下一代 Arm Neoverse 內(nèi)核，以高能效的設(shè)計(jì)提供高性能。

基于這款 CPU 和仍未發(fā)布的下一代 GPU，瑞士國(guó)家超級(jí)計(jì)算中心、蘇黎世聯(lián)邦理工大學(xué)將構(gòu)建一臺(tái)名為「阿爾卑斯」的超級(jí)計(jì)算機(jī)，算力 20Exaflops（目前全球第一超算「富岳」的算力約為 0.537Exaflops），將實(shí)現(xiàn)兩天訓(xùn)練一次 GPT-3 模型的能力，比目前基于英偉達(dá) GPU 打造的 Selene 超級(jí)計(jì)算機(jī)快 7 倍。

美國(guó)能源部下屬的洛斯阿拉莫斯國(guó)家實(shí)驗(yàn)室也將在 2023 年推出一臺(tái)基于 Grace 的超級(jí)計(jì)算機(jī)。

Grace 可以說(shuō)是英偉達(dá)在今年 GTC 上最引人關(guān)注的產(chǎn)品了，它高度特化的設(shè)計(jì)與通過(guò) PCIe 鏈接的 x86 版 CPU-GPU 系統(tǒng)大為不同，進(jìn)而可以實(shí)現(xiàn)更好的性能。

GPU+CPU+DPU，三管齊下

「簡(jiǎn)單說(shuō)來(lái)，目前市場(chǎng)上每年交付的 3000 萬(wàn)臺(tái)數(shù)據(jù)中心服務(wù)器中，有 1/3 用于運(yùn)行軟件定義的數(shù)據(jù)中心堆棧，其負(fù)載的增長(zhǎng)速度遠(yuǎn)遠(yuǎn)快于摩爾定律。除非我們找到加速的辦法，否則用于運(yùn)行應(yīng)用的算力將會(huì)越來(lái)越少，」黃仁勛說(shuō)道。「新時(shí)代的計(jì)算機(jī)需要新的芯片、新的系統(tǒng)架構(gòu)、新的網(wǎng)絡(luò)、新的軟件和工具?！?/p>

除了造 CPU 的大新聞以外，英偉達(dá)還在一個(gè)半小時(shí)的 Keynote 里陸續(xù)發(fā)布了大量重要軟硬件產(chǎn)品，覆蓋了 AI、汽車、機(jī)器人、5G、實(shí)時(shí)圖形、云端協(xié)作和數(shù)據(jù)中心等領(lǐng)域的最新進(jìn)展。英偉達(dá)的技術(shù)，為我們描繪出了一幅令人神往的未來(lái)愿景。

• 首先是用于訓(xùn)練 Transformers 的框架—— NVIDIA Megatron。Transformers 已幫助開發(fā)者在自然語(yǔ)言處理領(lǐng)域取得了突破性進(jìn)展。
• 面向醫(yī)藥領(lǐng)域，英偉達(dá)發(fā)布了一些用于計(jì)算藥物研發(fā)加速庫(kù) Clara Discovery 的新模型，并介紹了一個(gè)基于物理學(xué)和機(jī)器學(xué)習(xí)的頂尖藥物研發(fā)與材料科學(xué)計(jì)算平臺(tái) Schrodinger。
• 在量子計(jì)算領(lǐng)域中，英偉達(dá)發(fā)布了量子計(jì)算模擬環(huán)境 cuQUANTUM，其有助于加快有賴于量子位（或量子比特，能作為單個(gè)的 0 或 1 存在，也可以同時(shí)作為二者存在）的量子計(jì)算研究，為量子電路模擬器提供加速，從而助力研究人員設(shè)計(jì)出更完善的量子計(jì)算機(jī)。
• 為了保障現(xiàn)代化數(shù)據(jù)中心的安全，英偉達(dá)發(fā)布了 Morpheus 數(shù)據(jù)中心安全平臺(tái)，其基于 NVIDIA AI、NVIDIA BlueField、Net-Q 網(wǎng)絡(luò)遙測(cè)軟件和 EGX 而構(gòu)建，能夠?qū)ν暾臄?shù)據(jù)包進(jìn)行實(shí)時(shí)檢測(cè)。
• 為加快對(duì)話式 AI 的發(fā)展，英偉達(dá)發(fā)布了對(duì)話人工智能——NVIDIA Jarvis 的新版本，其能夠?qū)崿F(xiàn)語(yǔ)音識(shí)別、語(yǔ)言理解、翻譯和表達(dá)性語(yǔ)音，同時(shí)也支持了更多種類的語(yǔ)言。
• 推薦系統(tǒng)是用于搜索、廣告、在線購(gòu)物、音樂(lè)、書籍、電影、用戶生成內(nèi)容和新聞等領(lǐng)域的引擎，為加快推薦系統(tǒng)的速度，黃仁勛宣布 NVIDIA Merlin 現(xiàn)可通過(guò) NGC（NVIDIA 的深度學(xué)習(xí)框架容器目錄）獲取。
• 為幫助客戶將自身專業(yè)知識(shí)應(yīng)用于 AI 領(lǐng)域，同時(shí)保護(hù)數(shù)據(jù)隱私，英偉達(dá)發(fā)布了 NVIDIA TAO，其可以運(yùn)用客戶和合作伙伴的數(shù)據(jù)，對(duì) NVIDIA 預(yù)訓(xùn)練模型進(jìn)行微調(diào)和適配。
• 推理服務(wù)器 NVIDIA Triton，它可以從進(jìn)入客戶 EGX 服務(wù)器或云實(shí)例的連續(xù)數(shù)據(jù)流中獲取洞察。黃仁勛說(shuō)：「這包括任何在 cuDNN 上運(yùn)行的 AI 模型，也就是幾乎所有的 AI ，包括來(lái)自 TensorFlow、Pytorch、ONNX、OpenVINO、TensorRT 或自定義 C++/python 后臺(tái)等的任何框架?！?/li>
• 黃仁勛發(fā)布了 BlueField-3 DPU，其將為構(gòu)建超大規(guī)模數(shù)據(jù)中心、工作站和超級(jí)計(jì)算機(jī)所需的基礎(chǔ)設(shè)施提供進(jìn)一步的加速。這款新一代數(shù)據(jù)處理器將提供最強(qiáng)大的軟件定義網(wǎng)絡(luò)、存儲(chǔ)和網(wǎng)絡(luò)安全加速功能。據(jù)介紹，一個(gè) BlueField-2 能夠?qū)崿F(xiàn)相當(dāng)于 30 塊 CPU 核的工作負(fù)載，而 BlueField-3 在此基礎(chǔ)上又實(shí)現(xiàn)了 10 倍的性能飛躍，能夠替代 300 個(gè) CPU 核，以 400Gbps 的速率，對(duì)網(wǎng)絡(luò)流量進(jìn)行保護(hù)、卸載和加速。

黃仁勛表示，英偉達(dá)全新的數(shù)據(jù)中心路線圖已包括 CPU、GPU 和 DPU 三類芯片，而 Grace 和 BlueField 是其中必不可少的關(guān)鍵組成部分。投身 Arm 架構(gòu)的 CPU，并不意味著英偉達(dá)會(huì)放棄原有的 x86、Power 等架構(gòu)，黃仁勛將英偉達(dá)重新定義為「三芯片」公司，覆蓋 CPU、GPU 和 DPU。

對(duì)于未來(lái)的發(fā)展節(jié)奏，黃仁勛表示：「我們的發(fā)展將覆蓋三個(gè)產(chǎn)品線——CPU、GPU 和 DPU，以每?jī)赡暌淮胃碌墓?jié)奏進(jìn)行，第一年更新 x86，第二年就更新 Arm?！?/p>

最后是自動(dòng)駕駛?！笇?duì)于汽車而言，更高的算力意味著更加智能化，開發(fā)者們也能讓產(chǎn)品更快迭代。TOPS 就是新的馬力，」黃仁勛說(shuō)道。

英偉達(dá)將于 2022 年投產(chǎn)的 NVIDIA 自動(dòng)駕駛汽車計(jì)算系統(tǒng)級(jí)芯片——NVIDIA DRIVE Orin，旨在成為覆蓋自動(dòng)駕駛和智能車機(jī)的汽車中央電腦。搭載 Orin 的量產(chǎn)車現(xiàn)在還沒(méi)法買到，但英偉達(dá)已經(jīng)在為下一代，超過(guò) L5 駕駛能力的計(jì)算系統(tǒng)作出計(jì)劃了。

Atlan 是這家公司為汽車行業(yè)設(shè)計(jì)的下一代 SoC，其將采用 Grace 下一代 CPU 和下一代安培架構(gòu) GPU，同時(shí)也集成數(shù)據(jù)處理單元 (DPU)。如此一來(lái)，Atlan 可以達(dá)到每秒超過(guò) 1000 萬(wàn)億次（TOPS）運(yùn)算次數(shù)。如果一切順利的話，2025 年新生產(chǎn)的車型將會(huì)搭載 Atlan 芯片。

與此同時(shí)，英偉達(dá)還展示了 Hyperion 8 自動(dòng)駕駛汽車平臺(tái)，業(yè)內(nèi)算力最強(qiáng)的自動(dòng)駕駛汽車模板——搭載了 3 套 Orin 中心計(jì)算機(jī)。

不知這些更強(qiáng)的芯片和系統(tǒng)，能否應(yīng)付未來(lái)幾年里人們對(duì)于算力無(wú)窮無(wú)盡的需求。在 GTC 2021 上，英偉達(dá)對(duì)于深度學(xué)習(xí)模型的指數(shù)增長(zhǎng)圖又更新了。「三年間，大規(guī)模預(yù)訓(xùn)練模型的參數(shù)量增加了 3000 倍。我們估計(jì)在 2023 年會(huì)出現(xiàn) 100 萬(wàn)億參數(shù)的模型?！裹S仁勛說(shuō)道。

英偉達(dá)今天發(fā)布的一系列產(chǎn)品，讓這家公司在幾乎所有行業(yè)和領(lǐng)域都能為你提供最強(qiáng)大的機(jī)器學(xué)習(xí)算力。在黃仁勛的 Keynote 發(fā)表時(shí)，這家公司的股票一度突破了 600 美元大關(guān)。

「20 年前，這一切都只是科幻小說(shuō)的情節(jié)；10 年前，它們只是夢(mèng)想；今天，我們正在實(shí)現(xiàn)這些愿景。

英偉達(dá)每年在 GTC 大會(huì)上發(fā)布的新產(chǎn)品，已經(jīng)成為了行業(yè)發(fā)展的風(fēng)向。不知在 Grace 推出之后，未來(lái)我們的服務(wù)器和電腦是否會(huì)快速進(jìn)入 Arm 時(shí)代。