英特爾突襲英偉達H100,新AI芯片訓(xùn)練快40%,推理快50%,CEO蹦迪慶祝
英特爾,開始正面硬剛英偉達了。
就在深夜,英特爾CEO帕特·基辛格手舞足蹈地亮出了最新AI芯片——Gaudi 3:
他為什么開心到現(xiàn)場直接蹦迪?
看下Gaudi 3的性能結(jié)果,就一目了然了:
- 訓(xùn)練大模型:比英偉達H100快40%
- 推理大模型:比英偉達H100快50%
不僅如此,雖然基辛格沒有在現(xiàn)場給出直接的數(shù)據(jù),但他還表示:
Gaudi 3的性能將與英偉達H200相當(dāng),在某些領(lǐng)域的性能甚至?xí)谩?/p>
如此直面對標(biāo)英偉達,到底效果如何,我們繼續(xù)往下看。
硬剛英偉達的Gaudi 3
英特爾表示,Gaudi 3已經(jīng)在Llama上做了測試,可以有效地訓(xùn)練或部署AI大模型,包括文生圖的Stable Diffusion和語音識別的Whisper等等。
在現(xiàn)場,基辛格也展示了集成最新英特爾芯片的AI PC,能夠快速處理的多項任務(wù),例如快速處理郵件:
再如語音處理:
以及圖像渲染:
英特爾演示操作的同事還非常調(diào)皮地展示了用AI PC生成的卡通版基辛格:
據(jù)了解,Gaudi 3采用5納米工藝制造,與歷代Gaudi其它性能上的具體對比,如下表所示:
英特爾表示,Gaudi 3芯片將在今年的第三季度向客戶大規(guī)模提供,包括戴爾、惠普和超微電腦在內(nèi)的公司將使用該芯片。
至于具體的價格,目前英特爾方面還并未透露。
不過更令人意外的是,Gaudi 3還只是在這次英特爾Vision活動中發(fā)布的產(chǎn)品之一。
Xeon,步入第六代
沒錯,去年年底英特爾剛剛上市第五代Xeon,僅時隔數(shù)個月,第六代Xeon又來了!
(英特爾這次還真沒有擠牙膏)
在現(xiàn)場,基辛格還親切地叫它“l(fā)ittle baby”:
第六代Xeon包含兩種架構(gòu),分別是Sierra Forest和Granite Rapids。
Sierra Forest基于英特爾更小、低功耗的E-cores,而Granite Rapids則由更大但性能更高的P-cores 組成。
基辛格在現(xiàn)場稱二者像雙胞胎:
更具體而言,Sierra Forest架構(gòu)的英特爾Xeon 6處理器,其機架密度提高2.7倍。
客戶能以近3:1的比例替換舊系統(tǒng),大幅降低能耗,幫助其實現(xiàn)可持續(xù)發(fā)展目標(biāo)。
而Sierra Forest架構(gòu)的英特爾Xeon 6處理器包含了對MXFP4數(shù)據(jù)格式的軟件支持。
與使用FP16的第四代Xeon處理器相比,可將下一個token的延遲時間最多縮短6.5倍,能夠運行700億參數(shù)的Llama-2模型。
至于英特爾Xeon 6處理大模型的速度到底有多快,基辛格做了更加直接的對比。
他將第四代、第五代和最新的第六代Xeon放到了一起,來了一個現(xiàn)場速度的大比拼。
從直觀的生成速度來看,第六代Xeon明顯要比“前任們”快上許多。
具體到精確的延時數(shù)值,第六代Xeon運行Llama 2 70B只有82ms。
同等條件下,第六代Xeon與“前任們”的延時數(shù)值對比如下:
據(jù)了解,Sierra Forest架構(gòu)的第六代Xeon處理器將于今年第二季度推出。
網(wǎng)友揭秘英特爾“秘方”
這場硬剛英偉達的發(fā)布會,同樣也激起了不少網(wǎng)友們的熱議。
例如Gaudi 3封裝的一處細節(jié),即使用HBM2e存儲芯片,有網(wǎng)友對此表示驚訝:
他們使用的是HBM2e,這是英偉達A100在2020年使用的。
而最先進的HBM3e英特爾原本也計劃采用,但很可能因為供應(yīng)不足,這次沒能搶到足夠的訂單。
對此,這位網(wǎng)友進一步表示:
這是英特爾的秘方之一。
他們總能靠舊技術(shù)趕上/超越新技術(shù),直到當(dāng)前的技術(shù)在生產(chǎn)、獲取和集成上變得更容易。
實際上,制造優(yōu)勢也是英特爾在半導(dǎo)體領(lǐng)域的關(guān)鍵優(yōu)勢之一,作為半導(dǎo)體產(chǎn)業(yè)的開創(chuàng)者之一,英特爾幾乎擁有芯片產(chǎn)業(yè)的所有資源和要素能力。
但何時能夠和英偉達全面一較高下?這也是不少網(wǎng)友關(guān)注的問題:
這次英特爾硬剛的是H100/H200,那什么時候可以對標(biāo)英偉達最新的“核彈”B200?
或許答案只有交給時間來回答。
但無論如何,英特爾此次的發(fā)布,確實是給AIGC時代的算力,多提供了一項“快好省”的選擇。