譯者 | 布加迪

審校 | 重樓

英偉達是AI熱潮的最大受益者，GPU銷售額帶來了大量現(xiàn)金?，F(xiàn)在，該公司正采取前所未有的計劃，在2027年之前每年發(fā)布一款GPU。

英偉達首席執(zhí)行官黃仁勛在今年6月的臺北國際電腦展上表示：“我們的基本理念非常簡單。構(gòu)建整個數(shù)據(jù)中心規(guī)模的架構(gòu)，并以一年為周期將部分產(chǎn)品出售給您。我們竭力將各項技術(shù)推向極限。”

微軟和Meta等公司正投資數(shù)十億美元新建數(shù)據(jù)中心，希望獲得最新最好的GPU。因此，英偉達正以更快的速度創(chuàng)新硬件技術(shù)。

金融分析師認為，英偉達的股價處于不可持續(xù)的價位。就像互聯(lián)網(wǎng)熱潮一樣，AI熱潮也將消退，英偉達的股價到時也將回落。但英偉達的GPU和技術(shù)進步對軟件開發(fā)的影響將是永久性的。

GPU路線圖

英偉達的目標(biāo)是讓GPU成為操作或運營中的必備硬件，就像過去幾年的CPU一樣。英偉達首席執(zhí)行官黃仁勛認為，CPU還不夠，需要GPU更快地處理數(shù)據(jù)。

黃仁勛在最近一次活動中說：“軟件惰性是計算機中最重要的因素。當(dāng)一臺電腦在架構(gòu)上與所有已經(jīng)創(chuàng)建的軟件向后兼容時，你就能以極快的速度進入市場?！?/span>

英偉達的旗艦GPU：Hopper為微軟、Meta和OpenAI支持AI項目。OpenAI和微軟在英偉達的Hopper H100及其前身A100 GPU上提供GPT-4和4.0。

微軟已經(jīng)訂購了下一代GPU：Blackwell，最早將于明年部署到其數(shù)據(jù)中心。但由于英偉達在制造Blackwell芯片時遇到了技術(shù)難題，因此這款芯片的發(fā)貨日期成了問題。

SemiAnalysis的分析師在一份報告中表示：“這是以前從未實現(xiàn)過的計算和功率密度，考慮到所需的系統(tǒng)級復(fù)雜性，這種提升已被證明頗具挑戰(zhàn)性。”

分析師表示，Blackwell面臨全面的挑戰(zhàn)，包括輸電、過熱、泄漏和復(fù)雜性。

Blackwell擁有2080億個晶體管，這使其成為有史以來最復(fù)雜的芯片之一。一臺機架式服務(wù)器可以容納多達72個Blackwell，英偉達正在提供通過以太網(wǎng)連接多達576個GPU的功能。這涉及龐大的AI算力。

英偉達正在將Blackwell GPU與其基于ARM的Grace CPU配對。英偉達現(xiàn)推出配備這些芯片的服務(wù)器，可以在云端享用。英偉達試圖終結(jié)將其GPU與英特爾或AMD的x86處理器配對的傳統(tǒng)編程模式。

英偉達明年將交付Blackwell Ultra，與Blackwell一樣，該芯片也將含有HBM3E，但容量更大。此后，英偉達在2026年將發(fā)布Rubin平臺，該平臺將包括全新的GPU和CPU，并支持HBM4內(nèi)存。2027年，英偉達將發(fā)布Rubin Ultra GPU。

所有新的GPU都配有更快的網(wǎng)絡(luò)芯片和互連技術(shù)，以實現(xiàn)更快的服務(wù)器和芯片通信。黃仁勛說：“這基本上就是英偉達在構(gòu)建的產(chǎn)品，所有豐富的軟件都建立在此基礎(chǔ)上。”

這對開發(fā)人員意味著什么？

英偉達未來的GPU預(yù)示著向混合精度計算轉(zhuǎn)變，這種計算結(jié)合了傳統(tǒng)計算和AI計算。

該公司的GPU正放棄對64位精度的專注，64位精度對精確計算至關(guān)重要。相反，它在開發(fā)硬件功能，以提升概率AI計算中使用的低精度4位、8位和16位數(shù)據(jù)類型。

英偉達在其GPU中加入了更多用于矩陣乘法的Tensor Cores（張量核心）。一種名為GEMM的算法是英偉達AI模型的核心，它充分利用了張量核心，并與CUDA中的庫兼容，以便程序員與GPU核心進行交互。

首先，英偉達想要拉攏更多的開發(fā)人員。開發(fā)人員需要了解C++和Fortran以便GPU編程，但英偉達希望支持更多的編程語言，包括Rust和Julia。

英偉達正在將Python打造成CUDA并行編程框架中的優(yōu)先者，包括擴展SDK和框架對Python的訪問。該公司不會停止為其C++庫搖旗吶喊，這些庫是解鎖英偉達的部分GPU功能所必需的。

不過要注意：一旦開人員深陷CUDA，就很難脫身了。

電源效率

英偉達聲稱其GPU綠色節(jié)能，但芯片業(yè)內(nèi)人士一直開玩笑稱，英偉達唯一綠色的地方就是它的徽標(biāo)。英偉達的Blackwell GPU耗電1200瓦，需要液冷。

即將推出的GPU耗電量會很大，但也提供最快的運算結(jié)果。Blackwell將包括支持新的低精度數(shù)據(jù)類型：FP4和FP6這項功能，從而進一步提升每瓦特性能。

英偉達還在宣傳更高效的編程，以減少交付計算結(jié)果所需要的循環(huán)。即將推出的GPU將包括軟件層，可以將任務(wù)重定向到正確的核心。這也將減輕程序員的壓力。

AI超級模型

英偉達的GPU和軟件戰(zhàn)略正在并行開發(fā)。其目標(biāo)是建立龐大的GPU集群，能夠處理擁有數(shù)萬億個參數(shù)的AI模型。

與此同時，英偉達正在為“AI超級模型”制定一個框架。開發(fā)人員使用大語言模型后，通過插入定制模型、護欄、檢索增強生成（RAG）及其他工具對其進行優(yōu)化。

英偉達已為其A超級模型策略優(yōu)化了開源Llama 3.1。開發(fā)人員可以為Llama 3.1模型配備一系列適配器、大語言低階適應(yīng)（LoRA）模型和護欄，以創(chuàng)建自己的模型。

英偉達有一套復(fù)雜的流程來構(gòu)建AI超級模型。開發(fā)人員需要找出優(yōu)化模型的基本要素，輸入本地化數(shù)據(jù)，并確定適配器。開發(fā)人員需要實施提取相關(guān)數(shù)據(jù)并將其推送到矢量數(shù)據(jù)庫的程序，矢量數(shù)據(jù)庫評估信息，并向用戶發(fā)送響應(yīng)。

開發(fā)人員需要完善CUDA，并了解NIM（英偉達推理微服務(wù)），這是英偉達網(wǎng)站上的云原生AI容器。

競爭激烈

英偉達的競爭對手英特爾和AMD正想盡一切辦法讓開發(fā)人員遠離英偉達的CUDA。

包括英特爾和富士通在內(nèi)的眾多公司已組成了一個名為UXL基金會的聯(lián)盟，以開發(fā)CUDA的開源替代品。UXL的并行編程框架基于英特爾的OneAPI構(gòu)建。目標(biāo)很簡單：代碼方面的一些變化將允許程序在英偉達和非英偉達AI加速器上運行。

當(dāng)然，UXL還提供了一種工具來剝離CUDA代碼，以便程序在其他AI芯片上運行，包括FPGA和ASIC等。

AMD有ROCm，盡管大肆宣傳，但還遠未成熟。

所有競爭對手都使用開源工具，并不使用內(nèi)部工具在專有硬件上創(chuàng)建運行AI的神經(jīng)網(wǎng)絡(luò)。

但英偉達憑借CUDA領(lǐng)先競爭對手近10年。CUDA始于2006年，用于高性能計算，后來成為AI領(lǐng)域的一股強大力量。

原文標(biāo)題：Nvidia’s Hardware Roadmap and Its Impact on Developers，作者：Agam Shah