但若CPU雙雄能夠用好自己手中的渠道網(wǎng)絡(luò)，勝負仍在未定之天。

在瘋狂發(fā)掘生成式AI潛能的過程當中，英偉達仍是一馬當先的頭號玩家，僅今年第二季度的收入就較去年同期增長了一倍還多。為了確保這一領(lǐng)先地位，這位GPU巨頭顯然打算繼續(xù)加快新款加速器的開發(fā)速度。

對于過去幾代產(chǎn)品而言，兩年一更新的速度足以保持競爭優(yōu)勢。但根據(jù)本月早些時候投資者們看到的演示文稿，英偉達手中除了B100這張王牌，還有將Arm核心與Blackwell架構(gòu)匹配打造的全新“超級芯片”，外加L40及L40S的迭代產(chǎn)品。

這倒也不令人意外，畢竟整個行業(yè)都期待著英偉達能在2024年年內(nèi)公布下一代架構(gòu)及B100的各個型號。

可接下來的情況還是出乎所有人的預料。

根據(jù)本月發(fā)布的投資者演示文稿，英偉達計劃將新品發(fā)布節(jié)奏從兩年調(diào)整為一年。

從資料來看，英偉達即將轉(zhuǎn)向一年發(fā)布一次的新節(jié)奏。具體來講，基于Blackwell的B100及相關(guān)型號將于2025年替換為“X100”系列。這里我們姑且認為“X”只是個占位符，黃仁勛可能仍在考慮具體要用哪位數(shù)學家、計算機科學家或者工程師來命名新架構(gòu)。但重點在于：英偉達打算加快新GPU的迭代速度。

攻勢加快之下，英特爾與AMD該如何自處？

這種轉(zhuǎn)變無疑給AMD和英特爾等廠商帶來了潛在挑戰(zhàn)，畢竟他們的GPU和AI加速器發(fā)布周期仍然是兩年。

例如，AMD在英偉達A100推出的約一年之后發(fā)布了Instinct MI200系列加速器，聲稱除了英偉達的稀疏性支持優(yōu)勢之外，Instinct MI200的雙精度性能其實更強、FP16 FLOPS則基本相當。

與A100相比，Instinct MI200讓AMD在高性能計算應(yīng)用方面獲得了明顯優(yōu)勢，也因此成為歐洲Lumi及美國能源部Frontier超級計算機等大型系統(tǒng)中的核心組成部件。

如今，隨著市場對于生成式AI的需求不斷增長，AMD希望針對較低精度工作負載進行進一步調(diào)整，借此在GPU和APU兩條戰(zhàn)線上挑戰(zhàn)英偉達的AI主導地位。但是，如果技術(shù)媒體The Next Platform匯總的MI300A/X性能評估結(jié)果屬實，那么AMD的最新芯片最終可無法在FLOPS上與H100直接競爭，只是在內(nèi)存容量上略勝一籌。具體來講，該芯片預計將提供128 GB至192 GB的HBM3內(nèi)存，相較于H100具有微弱優(yōu)勢。

英特爾在今年9月的Innovation大會上著力宣傳了一波AI計劃，其處境也與AMD基本相當。芯片巨頭此前曾決定加快CPU和GPU的發(fā)布節(jié)奏，但經(jīng)過部門重組和成本削減規(guī)劃之后，最終決定放棄GPU業(yè)務(wù)。

這一決定直接導致XPU CPU-GPU架構(gòu)和Rialto Bridge胎死腹中。順帶一提，Rialto Bridge原本作為阿貢國家實驗室Aurora超級計算機所采用的Ponte Vecchio加速器的后續(xù)產(chǎn)品。隨后，英特爾公司又重新將Falcon Shores設(shè)計的發(fā)布時間從2024年推遲至2025年，理由是此舉“符合客戶對新產(chǎn)品的發(fā)布期望，并為開發(fā)生態(tài)系統(tǒng)留出時間”。

后面這條消息非常有趣，這意味著英特爾會將其GPU Max和Habana Labs架構(gòu)統(tǒng)一至同一平臺之下。也就是說，此前Gaudi2和GPU Max分屬兩個產(chǎn)品家族，但從Gaudi3開始將正式合兵一處。

與A100相比，Gaudi2表現(xiàn)出可觀的性能表現(xiàn)。但在其去年推出時，英偉達更加強大的H100已經(jīng)發(fā)布，距離正式出貨也只有幾個月時間。

Habana的下一代加速器Gaudi3看起來倒是很有前途，但它不僅需要超越H100和AMD MI300等同類競品，還得跟即將推出的英偉達B100加速器相抗衡。

SemiAnalysis創(chuàng)始人Dylan Patel是最早意識到這個問題的觀察者之一。這倒不是說MI300或者Gaudi3甫一面世就已過時，但從加速技術(shù)的發(fā)展路線圖來看，它們的機會窗口恐怕會比過去短得多。

在他看來，“在特定的窗口期內(nèi)，MI300仍會是市場上最好的芯片。”他還補充道，雖然我們對英特爾Gaudi3所知甚少，但如果繼續(xù)保持以往的擴展速度，那它應(yīng)該會比英偉達H100更強大。

從長遠來看，他預計英特爾和AMD將不得不跟上英偉達的節(jié)奏，加快自己的CPU和加速器開發(fā)路線圖。

正如我們之前所指出，即使英特爾和AMD的下一代加速器無法擊敗英偉達，它們最終也仍有望憑借更成熟的渠道網(wǎng)絡(luò)獲得市場認可。據(jù)報道，英偉達的H100受到臺積電先進封裝技術(shù)的限制，這種產(chǎn)能短缺預計要到2024年才能得到解決。雖然AMD的MI300系列產(chǎn)品可能也會遇到類似的挑戰(zhàn)（其同樣采用這些先進的封裝技術(shù)），但英特爾自身也擁有封裝能力，只是還沒有明確公示Gaudi3是否會使用這項技術(shù)，或者打算繼續(xù)像英偉達和AMD那樣依賴外部代工服務(wù)。

加快腳步的不只有加速器

更值得注意的是，英偉達加快的并不僅僅是加速器產(chǎn)品的發(fā)布節(jié)奏，同時也加快了Quantum Infiniband和Spectrum以太網(wǎng)交換產(chǎn)品組合的開發(fā)速度。

雖然單個GPU也能承載，但AI訓練和HPC應(yīng)用程序往往需要在大型加速器集群上才能高效運行，因此網(wǎng)絡(luò)功能也必須緊緊跟上其發(fā)展步伐。

隨著2020年收購長期合作伙伴Mellanox，英偉達目前也掌握了自己的網(wǎng)絡(luò)技術(shù)棧，包括Mellanox的交換與網(wǎng)卡產(chǎn)品組合。

目前，英偉達最快的交換機Infiniband最高可達25.6 Tbps，以太網(wǎng)最高則可達51.2 Tbps。這些帶寬被分配給多個200至400 Gbps端口。但在新的發(fā)布節(jié)奏之下，英偉達的目標是在2024年將端口速度提高至800 Gbps，在2025年將端口速度提高至1600 Gbps。

這不僅需要通過更強大的交換機芯片將帶寬提供至51.2至102.4 Tbps區(qū)間，還需要更快的200 Gbps串行器/解串器（SerDes）以支持1600 Gbps QSFP-DD模塊。

實現(xiàn)這種網(wǎng)絡(luò)性能的必要技術(shù)已經(jīng)存在，博通就演示了其200 Gbps SerDes。但我們還沒有在英偉達的宣傳內(nèi)容中看到它的身影。Patel指出，理想情況下，英偉達必須得依靠Infiniband和以太網(wǎng)達到102.4 Tbps傳輸帶寬，才能真正實現(xiàn)800 Gbps網(wǎng)卡。

PCIe的問題

這恐怕就是英偉達總體規(guī)劃中的最大軟肋，或者說技術(shù)難關(guān)。受到PCIe的限制，使用現(xiàn)有網(wǎng)卡恐怕無法及時提供如此恐怖的傳輸速率。目前，網(wǎng)卡的實際限制是單個端口400 Gbps。PCIe 6.0倒是有希望實現(xiàn)800 Gbps，但要想讓1600 Gbps這個恐怖的數(shù)字成為現(xiàn)實，我們恐怕需要的是PCIe 7.0。

我們已經(jīng)知道，英特爾的下一代至強在2024年推出時將不支持PCIe 6.0；至于 AMD即將推出的Turing Epycs，我們掌握的情報還不充分，無法判斷其是否支持PCIe 6.0。但樂觀的一面是，AMD在過去幾代產(chǎn)品中對PCIe新標準的支持一直領(lǐng)先于英特爾。

然而，x86也并不是英偉達的唯一選擇。該公司現(xiàn)在已經(jīng)擁有自己基于Arm的CPU。因此，英偉達可能計劃在Grace的后繼產(chǎn)品上支持PCIe 6.0。Arm處理器曾經(jīng)是首批在2022年初添加PCIe 5.0支持的處理器之一，所以我們同樣有理由相信類似的情況未來會再發(fā)生一次。

考慮到這個問題，Patel預計B100實際上將分為兩個版本。其一將采用PCIe 5.0，并具有與H100相同的700瓦熱設(shè)計功率（TDP），這樣客戶就能將新的HGX主板直接接入現(xiàn)有機箱設(shè)計當中。在他看來，第二個版本將擁有更高的功率、需要配合水冷設(shè)計，并能夠支持PCIe 6.0。

但對于英偉達打算在2025年實現(xiàn)的1600 Gbps端口傳輸帶寬，首選答案恐怕將是PCIe 7.0，但此項技術(shù)還未最終確定。Patel表示，“根據(jù)標準機構(gòu)透露的消息，搭載PCIe 7.0的產(chǎn)品最早也要到2026年才能落地。所以英偉達提出的這個時間表根本無法實現(xiàn)?！?/p>

而另一個選項則是繞過PCIe總線。正如Patel指出，英偉達其實并不需要在GPU和CPU之間實現(xiàn)PCIe 6.0或PCIe 7.0級別的帶寬，保證網(wǎng)卡和GPU間有此帶寬就足夠了。因此，他預計英偉達稻有可能會直接繞過CPU這個傳輸瓶頸。

事實上，英偉達已經(jīng)在某種程度上做到了這一點。在最近幾代產(chǎn)品中，英偉達通過使用PCIe交換機有效將GPU與ConnectX網(wǎng)卡連接了起來。Patel表示，英偉達可能會進一步擴展這種方法，從而實現(xiàn)比單個PCIe 5.0或PCIe 6.0 x16插槽更高的端口傳輸速度。

他表示，對于X100這代產(chǎn)品，有傳聞稱英偉達可能會在2025年放棄用PCIe在X100的網(wǎng)卡和GPU間進行通信，轉(zhuǎn)而采用其他專有互連技術(shù)。

說到這里，一直關(guān)注英偉達AI技術(shù)發(fā)展的朋友可能會好奇，這家芯片制造商手中的超高帶寬NVLinks結(jié)構(gòu)為什么不趕緊頂上。此項技術(shù)主要用于將多個GPU網(wǎng)格連接起來，使其在實效層面成為一個大型GPU。通過添加NVLink交換機，跨多節(jié)點擴展應(yīng)該不是什么難事。

然而，NVLink也存在一些重大局限，特別是在覆蓋范圍和可擴展性方面。雖然NVLink比之前提到的方案都快得多，但最多只能支持256個設(shè)備。要擴展到此范圍之外，就只能使用Infiniband或以太網(wǎng)將各個集群拼接在一起。

NVLink網(wǎng)格還只適用于GPU到GPU間的通信，而無法處理GPU系統(tǒng)上的數(shù)據(jù)傳入/傳出和工作負載協(xié)調(diào)需求。

因此，英偉達能否成功加快產(chǎn)品迭代速度，將在很大程度上取決于網(wǎng)絡(luò)傳輸速度跟不跟得上。如果不行，那么傳輸阻塞將大拖后腿、芯片性能升級也將無從談起。