撰稿丨云昭
出品 | 51CTO技術(shù)棧（微信號：blog51cto）
英偉達(dá)飄了，野心膨脹到讓業(yè)界羨慕嫉妒恨。
就在今天深夜，GTC全場高潮迭起，黃仁勛“輕咬著舌頭、左手一個(gè)H100，右手一個(gè)B200”的照片，紛紛成為了業(yè)界媒體新聞的封面熱圖。
無須多問，黃教主手里拿的是什么，什么就是全場最靚的核彈！
一、沒人抄得了B200
1.大模型突破摩爾定律，萬億大模型少用6000塊H100
“隨著Transformer模型被發(fā)明，我們能以驚人的速度擴(kuò)展大型語言模型，實(shí)際上每六個(gè)月就能翻一番。而為了訓(xùn)練這些越來越大的模型，我們也需要更強(qiáng)的算力。"
B200 GPU ，采用了Blackwell架構(gòu)，與Hopper架構(gòu)相比，不管是支持的模型參數(shù)、還是訓(xùn)練功耗方面，都有著驚人的性能提升。
如黃教主展示的：
之前，如果要在90天內(nèi)訓(xùn)練一個(gè)1.8萬億參數(shù)的MoE架構(gòu)GPT模型，需要8000個(gè)Hopper架構(gòu)GPU，15兆瓦功率。
而現(xiàn)在，同樣給90天時(shí)間，在Blackwell架構(gòu)下只需要2000個(gè)GPU，同時(shí)，能源消耗大大縮減為1/4。
圖片
自然，推理生成的token成本也會(huì)隨之降低。（如此一來，用硬件的方法降低了大模型的訓(xùn)練推理成本，大模型市場落地的價(jià)格也會(huì)繼續(xù)降低，或許SOTA模型免費(fèi)Open給大眾，指日可待。）
2.讓友商完全抄得跟不上
英偉達(dá)顯卡的強(qiáng)大之處，就在于讓友商抄無可抄。黃教主現(xiàn)場展示Grace-Blackwell系統(tǒng)（兩個(gè)Blackwell GPU、四個(gè)die與一個(gè)Grace Cpu連接在一起）。
在黃教主現(xiàn)場演示中，GB200將兩個(gè)B200 Blackwell GPU與一個(gè)基于Arm的Grace CPU進(jìn)行配對。新芯片擁有2080億個(gè)晶體管，所有這些晶體管幾乎同時(shí)訪問與芯片連接的內(nèi)存。
圖片
不得不說，NVIDIA Blackwell B200 GPU 將是一款怪物芯片。它總共包含 160 個(gè) SM，20,480 個(gè)核心。GPU將采用最新的NVLINK互連技術(shù)，支持相同的8 GPU架構(gòu)和400 GbE網(wǎng)絡(luò)交換機(jī)。它也將非常耗電，峰值 TDP 為 700W，盡管這也與 H100 和 H200 芯片相同?？偨Y(jié)一下這個(gè)芯片：
圖片
1、20 PFLOPS FP8， 是Hopper的2.5倍
2、20 PFLOPS FP6，Hopper的2.5倍
3、40 PFLOPS FP4， 是Hopper的5倍
4、740B Parameters ，是Hopper的6倍
5、34T Parameters/s，是Hopper的5倍
6、7.2 TB/s NVLINK，是Hopper的4倍
值得注意的是，第五代NVLINK高速互聯(lián)：為每個(gè)GPU 提供了1.8TB/s雙向吞吐量，確保多達(dá)576個(gè)GPU之間的無縫高速通信。這樣一下子解決了大規(guī)模數(shù)據(jù)中心的GPU交互問題。
圖片
此外，Blackwell 不止步于芯片性能參數(shù)的提升，更在AI能力和安全方面下了一番“硬功夫”：
比如Ras Engine（可靠性、可用性和可維護(hù)性引擎），可以基于AI的預(yù)防性維護(hù)來運(yùn)行診斷和預(yù)測可靠性問題；再比如：Secure AI，這是一項(xiàng)先進(jìn)的加密計(jì)算功能，在不影響性能的情況下保護(hù)AI模型和客戶數(shù)據(jù)，對于醫(yī)療保健和金融服務(wù)等隱私敏感行業(yè)至關(guān)重要。
不得不說，在GPU領(lǐng)域，英偉達(dá)絕對是業(yè)界的天花板，壓力不止給到了AMD和英特爾，更給到了OpenAI，因?yàn)橛ミ_(dá)推出的一個(gè)GB200 NVL72就最高支持27萬億參數(shù)的模型，這瞬間就能裝下15個(gè)GPT-4模型（據(jù)透露，GPT-4模型參數(shù)高達(dá)1.75萬億參數(shù)）。
二、B200價(jià)格預(yù)測，3W美元一塊
讓人好奇的是，英偉達(dá)尚未公布 B200 整套方案的成本和售價(jià)。
作為參考，Blackwell的前身 Hopper ,其旗艦款 H100 作為科技界最珍貴的商品之一，每顆芯片售價(jià)一度飆至4萬美金。而 B200 只會(huì)更加昂貴，這個(gè)價(jià)格恐怕只有科技巨頭們才能考慮入手。
根據(jù)分析師預(yù)測， B200 GPU 售價(jià)為 30,000 美元至 35,000 美元，而GB200 芯片的平均售價(jià)將達(dá)到驚人的 60,000 美元至 70,000 美元。
三、復(fù)刻很難國內(nèi)GPU要跟上，希望在哪？
簡單分析一下跟不上的原因：
1.要承認(rèn)復(fù)刻的確很難，短期基本不可能。這方面技術(shù)受地緣限制，從光刻機(jī)、到設(shè)計(jì)軟件、再到供應(yīng)鏈的突圍，層層關(guān)卡，想要實(shí)現(xiàn)性能上的突破，先進(jìn)的設(shè)備和技術(shù)都有待攻克。
圖片
2.缺乏生成式AI相應(yīng)的軟件配套服務(wù)。事實(shí)上，單一層面講國產(chǎn)算力匱乏并不客觀，中科曙光、紫光、浪潮等一直在顯卡方面取得了相當(dāng)顯著的效果。然而，即便有了硬件算力，與之相匹配的軟件配套能力與英偉達(dá)比起來，似乎就相形見絀了。
3.即便有了，面對強(qiáng)大的競爭環(huán)境，自身盈利的要求也是非常大的挑戰(zhàn)。英偉達(dá)等生態(tài)布局很早，氣候已經(jīng)大成，虹吸效應(yīng)。
圖片
從頭搭建一套的成本花費(fèi)巨大，即便“造出火箭”來，也沒有好的買家買單，這也是為什么國內(nèi)廠商難以跟進(jìn)的客觀原因。
攻堅(jiān)克難，需要持之以恒的投入和決心。國內(nèi)的GPU市場規(guī)模很大，也不是英偉達(dá)一家能通吃的天下。根據(jù)Verified Market Research的預(yù)測，到2027年，中國大陸的GPU市場規(guī)模預(yù)計(jì)將增長至345.57億美元。
那英偉達(dá)的對手在哪里？沒錯(cuò)，華為。
被英偉達(dá)列為最大競爭對手之一的華為，也走上了自研國產(chǎn)GPU的道路。華為推出的最強(qiáng)芯片「昇騰 910」,主要面向 AI 數(shù)據(jù)科學(xué)家和工程師，算力可達(dá)256TFOPS，超過了谷歌的 TPU v3 及英偉達(dá)的 GPU Tesla V100芯片。
不過值得注意的是，國內(nèi)看，即便硬件性能追上英偉達(dá)，在軟件框架層、模型層、生態(tài)層也亟需追趕。
四、通用計(jì)算過時(shí)了面向GPU編程已來
英偉達(dá)成立于1993年，馬上即將迎來31周年，黃仁勛帶領(lǐng)下的“GPU”如今早已不止是“游戲”發(fā)燒友的硬件配置，而是正在成為新一輪技術(shù)變革的“超級充電廠”。
關(guān)注本次GTC的朋友，不難注意到英偉達(dá)重磅推出的AI微服務(wù)網(wǎng)站NIM，AI生產(chǎn)力的編程時(shí)代已經(jīng)到來。
圖片
之前，整個(gè)PC互聯(lián)網(wǎng)都在面向CPU編程，而如今，黃教主認(rèn)為AI時(shí)代下，面向GPU的開發(fā)技術(shù)棧更為被業(yè)界迫切需要。
面向外界，黃仁勛給出了一個(gè)堅(jiān)定的信號：“加速計(jì)算到達(dá)了臨界點(diǎn)，通用計(jì)算已經(jīng)過時(shí)了?！?nbsp;
參考：https://techovedas.com/5-major-highlights-from-nvidia-gtc-2024/
