出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）

編輯 | 伊風(fēng)

老黃也太凡爾賽了！竟然在播客中喊話客戶少買(mǎi)英偉達(dá)，“每年買(mǎi)一點(diǎn)”就好。

上述發(fā)言就在黃仁勛做客的科技節(jié)目Bg2 Pod，在與主持人Brad、Clark對(duì)談時(shí)，老黃非常投機(jī)，話匣子一開(kāi)就收不住了！

上圖：播客開(kāi)場(chǎng)，黃仁勛與Brad戴了搞怪的眼鏡

主持人一開(kāi)始還緊張地打斷，并表示自己還有不少問(wèn)題。

而黃仁勛一直慷慨地表示：沒(méi)事，我的時(shí)間多的是！

最終，這場(chǎng)酣暢淋漓的對(duì)話持續(xù)了一個(gè)半小時(shí)之久，黃教主從英偉達(dá)的護(hù)城河、AI向AGI的發(fā)展、AI推理的未來(lái)，一直聊到 OpenAI 和 xAI 的最新進(jìn)展。

那先給大家畫(huà)個(gè)重點(diǎn)：

1.摩爾定律已經(jīng)被突破，十年內(nèi)英偉達(dá)將計(jì)算的邊際成本降低了十萬(wàn)倍。

2.黃仁勛認(rèn)為，AGI個(gè)人助手很快會(huì)以某種形式出現(xiàn)。

3.黃仁勛認(rèn)為，機(jī)器學(xué)習(xí)的飛輪是最重要的東西，需要有更智能的AI來(lái)處理數(shù)據(jù)，以支持研究人員在這個(gè)飛輪中高效工作。

4.黃仁勛表示，英偉達(dá)在推理方面的護(hù)城河只會(huì)比訓(xùn)練更強(qiáng)，英偉達(dá)重視舊設(shè)備從訓(xùn)練轉(zhuǎn)向推理的兼容性，并且持續(xù)創(chuàng)新算法，提升推理體驗(yàn)。

5.技術(shù)更迭很快，每年的產(chǎn)品在性能、成本和能源效率上都有巨大飛升。黃仁勛建議，用戶不要做一次性購(gòu)買(mǎi)，“每年買(mǎi)一點(diǎn)”。

6.Nvidia是一家市場(chǎng)創(chuàng)造者，唯一關(guān)心的是如何創(chuàng)造下一個(gè)產(chǎn)品，公司的PPT從來(lái)不討論市場(chǎng)份額。

7.分析師曾預(yù)言Nvidia 2023 年將實(shí)現(xiàn) 260 億美元的收入，但他們最終實(shí)現(xiàn)了 600 億。黃仁勛認(rèn)為，重塑計(jì)算這件事使得英偉達(dá)注定會(huì)取得巨大成功。

8.AI是基礎(chǔ)設(shè)施。黃仁勛估計(jì)，有一萬(wàn)億美元的舊系統(tǒng)需要現(xiàn)代化，至少還有一萬(wàn)億的新AI工作負(fù)載即將出現(xiàn)，預(yù)計(jì)今年的收入大概是1250億美元。

9.黃仁勛不認(rèn)為，AGI實(shí)現(xiàn)的節(jié)點(diǎn)特別重要?！癆I將在未來(lái)?yè)碛幸粭l充滿能力的路線圖，沿著這條路線，它的能力將會(huì)非常驚人?！?/span>

10.在談AI技術(shù)和商業(yè)化時(shí)，黃仁勛提到，模型能力和人工智能之間存在根本的區(qū)別，就像GPU與加速計(jì)算之間的關(guān)系，一些非常擅長(zhǎng)構(gòu)建GPU的人可能完全不知道如何成為一家加速計(jì)算公司。AI初創(chuàng)公司的管理者應(yīng)該厘清這些概念，并意識(shí)到“哪些部分能被商品化”。

11.黃仁勛爆料，馬斯克的超級(jí)集群從開(kāi)始到投入訓(xùn)練僅用19天，稱贊馬斯克“是超人的成就，我認(rèn)為，世界上只有一個(gè)人能夠做到這一點(diǎn)。Elon 對(duì)工程、建設(shè)、大型系統(tǒng)和資源調(diào)配的理解是獨(dú)一無(wú)二的?！?/span>

12.隨著需求的增長(zhǎng)，未來(lái)集群會(huì)需要數(shù)百萬(wàn)個(gè)GPU。

13.談?wù)揂I行業(yè)，就是談?wù)摴I(yè)革命，推理及智能的生產(chǎn)還將增長(zhǎng)千億倍。

14.黃仁勛說(shuō)，未來(lái)英偉達(dá)可能會(huì)有5萬(wàn)員工，和1億AI助手。未來(lái)，每個(gè)人都會(huì)是AI Agents 的CEO。

15.英偉達(dá)之所以做Nemotron，是為了生成合成數(shù)據(jù)。

以下是經(jīng)過(guò)整理的完整播客內(nèi)容，enjoy：

Brad Gerstner：Jensen 的眼鏡很好看。

圖片

黃仁勛：嘿嘿，是啊。

Brad Gerstner：很高興和你在一起。

黃仁勛：是的，我戴的是丑眼鏡。

Brad Gerstner：別這樣，那不丑，挺不錯(cuò)的。你更喜歡紅色的那副嗎？

黃仁勛：那是只有你家里人才能喜歡的東西。

Brad Gerstner：好吧，現(xiàn)在是10月4日星期五，我們?cè)贜vidia總部，離Altimeter（編者注：風(fēng)投公司，Brad是這家公司的創(chuàng)始人兼 CEO ）很近。

黃仁勛：歡迎！

Brad Gerstner：感謝你，感謝你。我們將在周一舉行年度投資者會(huì)議，討論AI的所有影響，以及我們擴(kuò)展智能（scaling intelligence）的速度。我真的找不到比你更合適的人來(lái)開(kāi)啟這個(gè)討論了，作為股東和想法伙伴，你和我們一起探討，讓我們更能看到更多。我們非常感激這段友誼。所以謝謝你來(lái)這里。

黃仁勛：很高興來(lái)這里。

所需算力每年增4倍，見(jiàn)證職業(yè)生涯最大“變局”

Brad Gerstner：你知道，今年的主題是擴(kuò)展智能到AGI（通用人工智能）。想想兩年前我們討論的是AI的時(shí)代，那時(shí)距離ChatGPT發(fā)布還有兩個(gè)月，想想這一切變化多么令人驚訝。所以我想我們可以通過(guò)一個(gè)思想實(shí)驗(yàn)和預(yù)測(cè)開(kāi)始。如果我將AGI視作口袋里的個(gè)人助手，如果我把AGI看作那個(gè)能了解我所有信息、擁有我完美記憶的助手，它可以幫我訂酒店，或者幫我預(yù)約醫(yī)生。當(dāng)你看到當(dāng)今世界的變化速度，你認(rèn)為我們什么時(shí)候會(huì)擁有這種個(gè)人助手？

黃仁勛：很快就會(huì)以某種形式出現(xiàn)，對(duì)，很快會(huì)以某種形式出現(xiàn)。而且這個(gè)助手會(huì)隨著時(shí)間變得越來(lái)越好。這就是我們熟知的科技的美妙之處。所以我認(rèn)為一開(kāi)始，它會(huì)相當(dāng)有用，但并不完美，然后隨著時(shí)間的推移會(huì)越來(lái)越完美，就像所有科技一樣。

Brad Gerstner：當(dāng)我們看變化的速度時(shí)，我想Elon曾經(jīng)說(shuō)過(guò)，唯一重要的事情就是變化的速度。對(duì)我們來(lái)說(shuō)，這確實(shí)感覺(jué)像是變化速度大幅加快了，是我們見(jiàn)過(guò)的最快的變化速度。因?yàn)槲覀円呀?jīng)在AI領(lǐng)域摸索了十年，你甚至比我們更久。這是你職業(yè)生涯中見(jiàn)過(guò)的最快的變化速度嗎？

黃仁勛：是的，因?yàn)槲覀冎匦掳l(fā)明了計(jì)算。你知道，很多事情之所以發(fā)生，是因?yàn)槲覀冊(cè)谑陜?nèi)將計(jì)算的邊際成本降低了十萬(wàn)倍。摩爾定律預(yù)測(cè)的提升大約是100倍，但我們通過(guò)多種方式達(dá)到了更大的突破。我們通過(guò)引入加速計(jì)算，將在CPU上效果不佳的工作轉(zhuǎn)移到GPU上。我們發(fā)明了新的數(shù)值精度，我們發(fā)明了新的架構(gòu)，發(fā)明了Tensor核心，系統(tǒng)的構(gòu)建方式，NVLink加上了極快的HBM內(nèi)存，以及通過(guò)NVLink Infiniband擴(kuò)展整個(gè)堆棧。基本上，我描述的所有Nvidia做的事情都導(dǎo)致了一個(gè)超級(jí)摩爾定律的創(chuàng)新速度。

現(xiàn)在，真正令人驚訝的是，結(jié)果是我們從人類編程轉(zhuǎn)向了機(jī)器學(xué)習(xí)。令人驚訝的是，事實(shí)證明，機(jī)器學(xué)習(xí)可以學(xué)得很快。因此，隨著我們重新設(shè)計(jì)了計(jì)算的分配方式，我們進(jìn)行了各種各樣的并行處理，Tensor并行處理，流水線并行處理，各種并行處理方法，并且我們變得擅長(zhǎng)在這些新訓(xùn)練方法的基礎(chǔ)上發(fā)明新算法。所有這些發(fā)明都在彼此疊加，結(jié)果非常顯著，對(duì)吧？

回到過(guò)去，如果你看看摩爾定律的運(yùn)作方式，軟件是靜態(tài)的。它是預(yù)編譯的，包裝好，放到商店里，它是靜態(tài)的，而底下的硬件則按照摩爾定律的速度增長(zhǎng)?，F(xiàn)在，我們的整個(gè)堆棧都在增長(zhǎng)，在整個(gè)堆棧上進(jìn)行創(chuàng)新。所以我認(rèn)為這是現(xiàn)在的情況。

突然之間，我們看到了非凡的擴(kuò)展。當(dāng)然，我們過(guò)去談?wù)摰氖穷A(yù)訓(xùn)練模型的擴(kuò)展，如何在那個(gè)層面擴(kuò)展，以及我們?nèi)绾蚊磕陮⒛Ｐ痛笮》叮虼诉m當(dāng)?shù)貙?shù)據(jù)大小翻倍。因此，所需的計(jì)算能力每年增加4倍，這是一件大事。

但現(xiàn)在我們看到了后訓(xùn)練的擴(kuò)展，我們?cè)谕评黼A段也看到了擴(kuò)展，不是嗎？以前人們認(rèn)為預(yù)訓(xùn)練很難，推理很容易?，F(xiàn)在一切都很難，人類思維是一擊即中的想法有點(diǎn)荒謬。所以一定有快速思考和慢速思考的概念，推理、反思、迭代和模擬這些，現(xiàn)在都在進(jìn)入。

英偉達(dá)的護(hù)城河繼續(xù)加深：重視機(jī)器學(xué)習(xí)的飛輪

Clark Tang：我認(rèn)為，在這個(gè)點(diǎn)上，你知道，有關(guān)Nvidia最被誤解的事情之一就是Nvidia的真正護(hù)城河有多深，對(duì)吧？我認(rèn)為外界有一種觀念，認(rèn)為只要有人發(fā)明了一個(gè)新的芯片，一個(gè)更好的芯片，他們就贏了。但事實(shí)是，你們?cè)谶^(guò)去十年里一直在構(gòu)建從GPU到CPU到網(wǎng)絡(luò)的整個(gè)堆棧，特別是支持應(yīng)用程序在Nvidia上運(yùn)行的軟件和庫(kù)。

所以我認(rèn)為你已經(jīng)講到了這一點(diǎn)。當(dāng)你想到今天的Nvidia護(hù)城河時(shí)，對(duì)吧？你認(rèn)為今天的Nvidia護(hù)城河比三四年前更大還是更小？

黃仁勛：我很感激你認(rèn)同計(jì)算的改變。事實(shí)上，之所以人們認(rèn)為，也許你仍然認(rèn)為，設(shè)計(jì)一個(gè)更好的芯片，它擁有更多的浮點(diǎn)運(yùn)算能力，有更多的翻轉(zhuǎn)操作和洛杉磯比特，你懂我的意思嗎？你會(huì)在他們的主題演講幻燈片上看到這些，有所有這些翻轉(zhuǎn)操作和浮點(diǎn)運(yùn)算條形圖，之類的東西。這些都很好，我的意思是，性能確實(shí)很重要，所以這些事情從根本上說(shuō)是重要的。然而，不幸的是，這是舊思維，這種舊思維認(rèn)為軟件是運(yùn)行在Windows上的某個(gè)應(yīng)用程序，而軟件是靜態(tài)的，這意味著你改進(jìn)系統(tǒng)的最佳方式就是讓芯片越來(lái)越快。

但我們意識(shí)到，機(jī)器學(xué)習(xí)不是人類編程。機(jī)器學(xué)習(xí)不僅僅是軟件，它涉及整個(gè)數(shù)據(jù)管道，事實(shí)上，機(jī)器學(xué)習(xí)的飛輪是最重要的東西。那么，你如何思考如何支持這個(gè)飛輪，一方面，支持?jǐn)?shù)據(jù)科學(xué)家和研究人員在這個(gè)飛輪中高效工作？這個(gè)飛輪從最開(kāi)始就開(kāi)始了。

很多人甚至不知道需要AI來(lái)策劃數(shù)據(jù)，以教會(huì)另一個(gè)AI。而僅僅是那個(gè)AI本身就相當(dāng)復(fù)雜。

Brad Gerstner：而且那個(gè)AI本身也在改進(jìn)，也在加速，對(duì)嗎？當(dāng)我們?cè)俅慰紤]競(jìng)爭(zhēng)優(yōu)勢(shì)時(shí)，對(duì)吧？它是所有這些系統(tǒng)的組合。

黃仁勛：完全正確，完全正確，這正是我要說(shuō)的。因?yàn)橛懈悄艿腁I來(lái)策劃數(shù)據(jù)。我們現(xiàn)在甚至有合成數(shù)據(jù)生成和各種策劃數(shù)據(jù)的方法，呈現(xiàn)數(shù)據(jù)。因此，在你進(jìn)行訓(xùn)練之前，已經(jīng)有大量的數(shù)據(jù)處理在進(jìn)行。人們認(rèn)為，哦，PyTorch就是一切的開(kāi)始和結(jié)束，它確實(shí)很重要。但不要忘記，在PyTorch之前有很多工作，在PyTorch之后也有很多工作。而關(guān)于飛輪的思考方式確實(shí)是你應(yīng)該思考的方式，如何思考整個(gè)飛輪？

你如何設(shè)計(jì)一個(gè)計(jì)算系統(tǒng)，一個(gè)計(jì)算架構(gòu)，幫助你讓這個(gè)飛輪盡可能高效？它不是一個(gè)應(yīng)用程序訓(xùn)練的某個(gè)片段，對(duì)吧？

這只是其中一步，每一步都不容易。所以首先你應(yīng)該做的不是思考如何讓Excel更快，如何讓《毀滅戰(zhàn)士》更快，那是過(guò)去的日子，對(duì)嗎？現(xiàn)在你要思考的是如何讓這個(gè)飛輪更快，這個(gè)飛輪有很多不同的步驟，而且機(jī)器學(xué)習(xí)沒(méi)有任何容易的地方，你們都知道，OpenAI或X或Gemini和DeepMind團(tuán)隊(duì)做的事情都不容易。所以我們決定，這才是你真正應(yīng)該思考的東西。

這是整個(gè)過(guò)程，你要加速每一部分。你要尊重Amdahl法則（編者注：計(jì)算機(jī)科學(xué)中的一個(gè)基本定律，主要描述了在多處理器系統(tǒng)中并行計(jì)算的加速比如何受到串行部分的限制），Amdahl法則會(huì)建議，如果這個(gè)步驟占了30%的時(shí)間，我通過(guò)3倍的速度加速它，我并沒(méi)有真的顯著加速整個(gè)過(guò)程，對(duì)吧？你真的想創(chuàng)建一個(gè)系統(tǒng)，加速每一步，因?yàn)橹挥羞@樣做，你才能真正實(shí)質(zhì)性地改善循環(huán)時(shí)間，而那個(gè)飛輪的學(xué)習(xí)速度最終就是導(dǎo)致指數(shù)增長(zhǎng)的原因。因此，我想說(shuō)的是，一個(gè)公司的視角決定了他們的產(chǎn)品表現(xiàn)方式。我一直在談?wù)撨@個(gè)飛輪，你知道的，整個(gè)過(guò)程，對(duì)吧？我們現(xiàn)在正在加速一切，對(duì)，現(xiàn)在主要關(guān)注的是加速推理，但我們也關(guān)注加速訓(xùn)練的所有步驟。

想象一下前端系統(tǒng)每秒鐘攝取的數(shù)據(jù)量是以TB計(jì)算的。給我舉個(gè)例子，說(shuō)明數(shù)據(jù)管道是如何攝取這些數(shù)據(jù)的，并為訓(xùn)練做準(zhǔn)備的，而這一切都是由CUDA加速的。

Clark Tang：人們現(xiàn)在只考慮文本模型，但未來(lái)還會(huì)有視頻模型。還有，你知道，像o1的這些文本模型能處理大量數(shù)據(jù)，這都是在我們真正到達(dá)未來(lái)之前的過(guò)程。

黃仁勛：語(yǔ)言模型將涉及到每一個(gè)步驟。行業(yè)為訓(xùn)練這些大型語(yǔ)言模型投入了巨大的技術(shù)和努力?，F(xiàn)在我們每一步都在使用大型語(yǔ)言模型，真的很了不起。

談競(jìng)爭(zhēng)對(duì)手：我們和英特爾的想法相反

Brad Gerstner：我不想過(guò)于簡(jiǎn)化這個(gè)問(wèn)題，但你知道，投資者們經(jīng)常問(wèn)：“是的，但定制ASIC呢？是的，但他們的競(jìng)爭(zhēng)優(yōu)勢(shì)會(huì)被打破?！蔽衣?tīng)你說(shuō)的意思是，在組合系統(tǒng)中，優(yōu)勢(shì)隨著時(shí)間的推移而增長(zhǎng)。所以我聽(tīng)到你說(shuō)我們今天的優(yōu)勢(shì)比三到四年前更大，因?yàn)槲覀冊(cè)诟倪M(jìn)每個(gè)組件，而這就是組合優(yōu)勢(shì)。例如，如果作為商業(yè)案例研究來(lái)考慮英特爾，他們?cè)诙褩Ｖ械闹鲗?dǎo)地位相對(duì)于今天的位置如何？你能不能稍微簡(jiǎn)化一下，比較一下你們的競(jìng)爭(zhēng)優(yōu)勢(shì)與英特爾在其巔峰時(shí)期的競(jìng)爭(zhēng)優(yōu)勢(shì)？

黃仁勛：英特爾是非凡的，因?yàn)樗麄兛赡苁堑谝患以谥圃旃に嚬こ毯椭圃旆矫娣浅３錾墓?，此外，他們?cè)谥圃熘线€有一層，那就是設(shè)計(jì)和架構(gòu)x86芯片，并不斷推出更快的x86芯片。這是他們的聰明之處。他們將這一點(diǎn)與制造結(jié)合了起來(lái)。

我們的公司有點(diǎn)不同，我們認(rèn)識(shí)到并行處理不需要每個(gè)晶體管都表現(xiàn)優(yōu)異，而串行處理卻要求每個(gè)晶體管都要表現(xiàn)優(yōu)異。并行處理需要大量晶體管，并且要更加具有成本效益。我寧愿擁有速度慢20%卻多10倍的晶體管，也不愿擁有速度快20%但數(shù)量少10倍的晶體管。英特爾則是相反的想法。單線程處理和并行處理是非常不同的。因此，我們發(fā)現(xiàn)，在我們的世界中，不是為了變得更好而向下優(yōu)化，我們希望盡可能優(yōu)秀，但我們的世界實(shí)際上是為了通過(guò)并行計(jì)算變得更好而向上發(fā)展。

并行處理很難，因?yàn)槊總€(gè)算法都需要根據(jù)架構(gòu)進(jìn)行重新設(shè)計(jì)和重新架構(gòu)。人們沒(méi)有意識(shí)到的是，在三種不同的CPU ISA中，每種都有自己的C編譯器。你可以將軟件編譯到ISA中。但在加速計(jì)算中，并行計(jì)算中，這是不可能的。

提出架構(gòu)的公司還必須提供自己的OpenGL。所以我們因?yàn)閷Ｓ脦?kù) cuDNN而徹底改變了深度學(xué)習(xí)。沒(méi)有人討論 cuDNN，因?yàn)樗窃赑yTorch和TensorFlow之下的一層，早期的Caffe和Theano也是如此，現(xiàn)在還有Triton和許多不同的框架。專用庫(kù)cuDNN，專用庫(kù)OptiX，還有叫 Quantum Rapids的專用庫(kù)。還有其他很多，比如ArrayFire。

Brad Gerstner：行業(yè)特定的算法位于所有人都關(guān)注的PyTorch層之下。

黃仁勛：如果我們沒(méi)有發(fā)明那個(gè)，沒(méi)有任何應(yīng)用程序能在上層運(yùn)行。你們理解我的意思嗎？Nvidia擅長(zhǎng)的是算法和架構(gòu)之間的數(shù)學(xué)融合，這就是我們真正擅長(zhǎng)的。

推理其實(shí)就是大規(guī)模的訓(xùn)練，Nvlink功不可沒(méi)

Clark Tang：現(xiàn)在終于有很多關(guān)注推理的目光了。但我記得兩年前，Brad和我和你共進(jìn)晚餐時(shí)，我們問(wèn)你，你認(rèn)為你們?cè)谕评碇械淖o(hù)城河會(huì)和在訓(xùn)練中一樣強(qiáng)嗎？

黃仁勛：我肯定當(dāng)時(shí)說(shuō)了，會(huì)的。

Clark Tang：更強(qiáng)。你剛才提到了很多相關(guān)的元素，比如我們對(duì)某些組合的靈活性。對(duì)于客戶來(lái)說(shuō)，靈活性是非常重要的。能不能談?wù)劕F(xiàn)在我們處于推理時(shí)代的情況？

黃仁勛：推理其實(shí)就是大規(guī)模的訓(xùn)練。如果你訓(xùn)練得好，你很可能推理得也好。如果你在這個(gè)架構(gòu)上進(jìn)行了訓(xùn)練，它就會(huì)在這個(gè)架構(gòu)上運(yùn)行。你仍然可以為其他架構(gòu)進(jìn)行優(yōu)化，但至少在最小的情況下，它會(huì)在Nvidia上運(yùn)行。

當(dāng)然，另一個(gè)方面就是資本投資的考慮。當(dāng)你訓(xùn)練新模型時(shí)，你會(huì)希望使用最新的設(shè)備，這意味著之前的設(shè)備可以用于推理。因此，舊設(shè)備其實(shí)非常適合推理。而我們非常注重兼容性，確保舊設(shè)備依然能很好地工作。

我們還投入了很多精力持續(xù)創(chuàng)新新算法，使得當(dāng)Hopper架構(gòu)推出時(shí)，它比以前的版本好2到4倍，這樣基礎(chǔ)設(shè)施仍然非常高效。我們對(duì)新算法和新框架的改進(jìn)不僅僅幫助了Hopper，也幫助了Ampere，甚至是Vault。最近，Sam告訴我他們剛剛在OpenAI退役了他們的Volta基礎(chǔ)設(shè)施。所以，這種舊設(shè)備的遺留就像所有計(jì)算基礎(chǔ)設(shè)施一樣重要，Nvidia的設(shè)備遍布所有云端、本地，甚至到邊緣設(shè)備。因此，在云端創(chuàng)建的Vila語(yǔ)言模型可以無(wú)縫運(yùn)行在機(jī)器人上，而無(wú)需修改。

這一切都是由CUDA驅(qū)動(dòng)的。所以我認(rèn)為架構(gòu)兼容性對(duì)大型模型來(lái)說(shuō)非常重要。

我認(rèn)為推理中，基礎(chǔ)安裝的影響非常重要。但我們真正受益的是，由于我們?cè)谟?xùn)練這些大型語(yǔ)言模型的新架構(gòu)上進(jìn)行工作，我們能夠考慮如何為未來(lái)設(shè)計(jì)出優(yōu)秀的推理架構(gòu)。因此，我們一直在思考迭代模型的推理方式，以及如何為你的個(gè)人代理創(chuàng)建非?；?dòng)的推理體驗(yàn)。比如，當(dāng)你和它對(duì)話時(shí)，它需要去思考一會(huì)兒，然后迅速與你互動(dòng)。所以我們一直在想，如何才能實(shí)現(xiàn)這樣的事情？

于是，我們發(fā)明了Nvlink。你知道，Nvlink使我們能夠把這些系統(tǒng)用在訓(xùn)練上，訓(xùn)練完成后，其推理性能同樣非常卓越。你想要優(yōu)化的其實(shí)是從訓(xùn)練到第一個(gè)Token輸出的時(shí)間，這非常難做到。因?yàn)榈谝粋€(gè)Token輸出時(shí)間需要大量帶寬，如果你的上下文很豐富，你還需要大量計(jì)算能力。因此，為了在幾毫秒內(nèi)響應(yīng)，你需要無(wú)限的帶寬和無(wú)限的計(jì)算能力同時(shí)具備，這種架構(gòu)非常難設(shè)計(jì)。為了實(shí)現(xiàn)這一目標(biāo)，我們發(fā)明了Grace、Hopper Blackwell的Nvlink。

Brad Gerstner：為了節(jié)省時(shí)間，我還有更多的問(wèn)題。

黃仁勛： 別擔(dān)心，別擔(dān)心時(shí)間。各位，聽(tīng)我說(shuō)，Janine，讓我們做到最好。

Nvidia是一家市場(chǎng)創(chuàng)造者，而不是市場(chǎng)份額的搶奪者

Brad Gerstner：太棒了，我喜歡這種感覺(jué)。上周我和Andy Jassy（編者注：亞馬遜CEO）共進(jìn)晚餐時(shí)，（現(xiàn)在我們不用再擔(dān)心時(shí)間了）。Andy說(shuō)：“我們有Trainium，還有Inferentia來(lái)了?！蔽艺J(rèn)為大多數(shù)人會(huì)覺(jué)得這些對(duì)Nvidia是個(gè)問(wèn)題。但他接著說(shuō)：“Nvidia是我們重要的合作伙伴，并且會(huì)繼續(xù)是未來(lái)的重要伙伴?！?這個(gè)世界運(yùn)行在Nvidia上，對(duì)吧？當(dāng)你想到那些專門(mén)為特定應(yīng)用構(gòu)建的定制ASIC （編者注：Application-Specific Integrated Circuit，專用集成電路）可能是Meta的推理加速器，或者是Amazon的Trainium，或者是Google的TPU ISS，再結(jié)合你目前的供應(yīng)短缺情況，這些會(huì)改變動(dòng)態(tài)或?qū)λ麄儚哪氵@里購(gòu)買(mǎi)的系統(tǒng)產(chǎn)生影響嗎？

黃仁勛：我們?cè)谧霾煌氖虑?，追求不同的目?biāo)。Nvidia在做的是為這個(gè)新世界——這個(gè)機(jī)器學(xué)習(xí)、生成式AI、代理式AI的世界——構(gòu)建一個(gè)計(jì)算平臺(tái)。令人深刻的是，在計(jì)算發(fā)展的60年后，我們重新發(fā)明了整個(gè)計(jì)算棧。從編程到機(jī)器學(xué)習(xí)的寫(xiě)軟件方式，從CPU到GPU的處理方式，以及從軟件到人工智能的應(yīng)用程序方式——每一個(gè)計(jì)算棧和技術(shù)棧的方面都發(fā)生了變化。

我們想要做的是創(chuàng)建一個(gè)隨處可用的計(jì)算平臺(tái)。這就是我們所做事情的復(fù)雜性。

我們?cè)谧龅氖虑楹軓?fù)雜，如果你思考我們?cè)谧鍪裁?，我們正在?gòu)建整個(gè)AI基礎(chǔ)設(shè)施，我們將其視為一個(gè)計(jì)算機(jī)。我以前說(shuō)過(guò)，數(shù)據(jù)中心現(xiàn)在是計(jì)算單元。當(dāng)我想到一臺(tái)計(jì)算機(jī)時(shí)，我不會(huì)只想到芯片，而是整個(gè)軟件、所有編排系統(tǒng)、所有內(nèi)部的機(jī)器設(shè)備，這是我的使命，這是我的計(jì)算機(jī)，我們每年都試圖構(gòu)建一個(gè)全新的版本。

是的，這太瘋狂了，沒(méi)人之前做過(guò)這樣的事。我們每年構(gòu)建一個(gè)全新的計(jì)算機(jī)，每年性能提高兩到三倍，成本降低兩到三倍，能源效率提高兩到三倍。所以我們建議客戶不要一次性購(gòu)買(mǎi)所有東西，每年買(mǎi)一點(diǎn)，好嗎？

我們希望他們隨著時(shí)間推進(jìn)，而不是一次性買(mǎi)完。現(xiàn)在我們所有的架構(gòu)都是兼容的，在這個(gè)速度下單獨(dú)構(gòu)建這些就已經(jīng)非常困難了。更加復(fù)雜的是，我們將所有這些基礎(chǔ)設(shè)施分解開(kāi)來(lái)，不是作為一個(gè)基礎(chǔ)設(shè)施賣(mài)出，而是作為一個(gè)服務(wù)銷售。我們將其分解并集成到GCP、AWS、Azure、X中，每一個(gè)集成都不同。我們需要將所有的架構(gòu)庫(kù)、算法、框架與他們集成起來(lái)。我們將安全系統(tǒng)、網(wǎng)絡(luò)集成到他們的系統(tǒng)中。每年我們進(jìn)行10個(gè)這樣的集成，這就是奇跡。

Brad Gerstner：這的確是個(gè)奇跡！這太瘋狂了。是什么驅(qū)使你每年去做這件事的？另外，你們的合作伙伴在（中國(guó)）臺(tái)灣、韓國(guó)、日本見(jiàn)面時(shí)，這些長(zhǎng)期合作關(guān)系在構(gòu)建這個(gè)競(jìng)爭(zhēng)壁壘時(shí)有多重要？

黃仁勛：當(dāng)你系統(tǒng)性地分解這些問(wèn)題時(shí)，你會(huì)發(fā)現(xiàn)整個(gè)電子生態(tài)系統(tǒng)今天都在與我們合作，最終要構(gòu)建這個(gè)整合到各個(gè)生態(tài)系統(tǒng)中的超級(jí)計(jì)算機(jī)。這種無(wú)縫的協(xié)調(diào)非常驚人。有API、方法論、業(yè)務(wù)流程、設(shè)計(jì)規(guī)則，這些都是我們?cè)谙蚯昂拖蚝髠鞑サ摹?/span>

Brad Gerstner：這些方法已經(jīng)經(jīng)過(guò)了幾十年的打磨。

黃仁勛：是的，幾十年磨練的同時(shí)也在不斷演進(jìn)。這些API到時(shí)都會(huì)整合在一起，所有在臺(tái)灣和全球制造的東西，最后都會(huì)落到Azure的數(shù)據(jù)中心中，然后一切都會(huì)融合，“咔咔咔咔”，一切都配合得天衣無(wú)縫。

Clark Tang：有人只需要調(diào)用OpenAI的API，它就能立即工作。

黃仁勛：沒(méi)錯(cuò)，正是這種瘋狂的整合。我們發(fā)明了這個(gè)全球性的計(jì)算基礎(chǔ)設(shè)施，整個(gè)星球都在和我們一起構(gòu)建這個(gè)體系，集成到各個(gè)地方。你可以通過(guò)Dell銷售，通過(guò)HPE銷售，它在云中托管，甚至已經(jīng)延伸到邊緣計(jì)算，很多人在機(jī)器人系統(tǒng)中使用它，包括人形機(jī)器人、自動(dòng)駕駛汽車(chē)等，所有這些都在架構(gòu)上兼容，非常瘋狂的整合。

Brad Gerstner：的確是瘋狂。

黃仁勛：Clark，我不想讓你覺(jué)得我沒(méi)有回答你的問(wèn)題。事實(shí)上，我已經(jīng)回答了。對(duì)于你提到的ASIC問(wèn)題，我們公司在做的是完全不同的事情。作為一家公司，我們必須對(duì)周?chē)沫h(huán)境保持敏銳的感知。我非常清楚我們公司和生態(tài)系統(tǒng)的所有動(dòng)態(tài)。我知道很多公司在做一些不同的事情，有時(shí)候是競(jìng)爭(zhēng)的，有時(shí)候不是。我非常清楚這些，但這并不改變我們公司的使命。公司的唯一使命是構(gòu)建一個(gè)可以無(wú)處不在的架構(gòu)和平臺(tái)，這就是我們的目標(biāo)。

我們并不試圖從任何人那里搶占市場(chǎng)份額。Nvidia是一家市場(chǎng)創(chuàng)造者，而不是市場(chǎng)份額的搶奪者?？纯次覀兊墓綪PT，從來(lái)沒(méi)有一天我們?cè)谟懻撌袌?chǎng)份額。

我們唯一關(guān)心的是如何創(chuàng)造下一個(gè)產(chǎn)品？下一個(gè)問(wèn)題是什么？如何為用戶做得更好？如何加速我們?cè)拘枰荒甑娘w輪效應(yīng)，縮短到一個(gè)月？這些都是我們?cè)谒伎嫉氖虑?。但唯一確定的是，我們對(duì)使命非常堅(jiān)定。

唯一的問(wèn)題是產(chǎn)品對(duì)我們的這個(gè)使命是否必要，是否有意義，你知道嗎？所有公司，所有偉大的公司都應(yīng)該有這樣的使命。

核心問(wèn)題是你在做什么，對(duì)吧？唯一的問(wèn)題是它是否必要、是否有價(jià)值、是否有影響力、是否幫助了人們？我確信你是開(kāi)發(fā)者，是一家生成式 AI 初創(chuàng)公司，你正要決定如何成為一家公司，唯一不需要做的決定就是選擇支持哪個(gè) A6。如果你僅支持 CUDA，你就可以走遍全球，你以后隨時(shí)可以改變主意，但我們是進(jìn)入 AI 世界的入口，不是嗎？一旦你決定進(jìn)入我們的平臺(tái)，其他決定可以延后做，你以后隨時(shí)可以自己構(gòu)建 ASIC。我們不反對(duì)，也不會(huì)因此感到冒犯。

當(dāng)我與所有 GCP 合作時(shí)，無(wú)論是 GCP 還是 Azure，我們會(huì)提前多年向他們展示我們的路線圖。他們從不會(huì)向我們展示他們的 ASIC 路線圖，但這從未冒犯到我們。明白了嗎？如果你的目標(biāo)明確，且目標(biāo)對(duì)你和其他人都非常重要，那么你可以透明化。注意，我在 GTC 會(huì)議上展示的路線圖是透明的。我們的路線圖會(huì)更深入地展示給 Azure 和 AWS 的朋友們。即使他們?cè)跇?gòu)建自己的 ASIC，我們也毫無(wú)問(wèn)題。

從第一性原則分析，英偉達(dá)注定會(huì)“起飛”

Brad Gerstner：我認(rèn)為，當(dāng)人們觀察商業(yè)時(shí)。你最近說(shuō)過(guò)對(duì) Blackwell 的需求非常瘋狂，你還說(shuō)你工作中最難的部分是面對(duì)世界缺乏計(jì)算能力時(shí)，拒絕人們的情感負(fù)擔(dān)。但批評(píng)者說(shuō)這只是暫時(shí)的，對(duì)吧？他們說(shuō)這就像 2000 年的 Cisco（編者注： Cisco 在 2000 年左右在光纖建設(shè)方面過(guò)度投資，直到互聯(lián)網(wǎng)泡沫破裂），我們過(guò)度建設(shè)光纖，最終將是繁榮與衰退。我記得 23 年初我們共進(jìn)晚餐時(shí)，當(dāng)時(shí)對(duì) Nvidia 的預(yù)測(cè)是 2023 年將實(shí)現(xiàn) 260 億美元的收入，而你們最終實(shí)現(xiàn)了 600 億，對(duì)吧？

黃仁勛：讓真相大白，這是歷史上最大的一次預(yù)測(cè)失敗，大家能否承認(rèn)這一點(diǎn)？

Brad Gerstner：對(duì)我來(lái)說(shuō)（是的）。

當(dāng)時(shí)我們?cè)?22 年 11 月非常興奮，因?yàn)橄?Mustafa（來(lái)自 Inflection）等人，以及 Character AI 的 Noam 來(lái)到我們辦公室討論投資他們的公司。他們說(shuō)，如果你不能投資我們的公司，那就買(mǎi) Nvidia，因?yàn)槿澜绲娜硕荚谂Λ@取 Nvidia 芯片來(lái)構(gòu)建這些將改變世界的應(yīng)用。當(dāng)然，ChatGPT 的誕生帶來(lái)了坎勃里時(shí)刻（編者注：源自寒武紀(jì)大爆發(fā)，指飛躍性突破），盡管如此，那些 25 位分析師過(guò)于關(guān)注加密貨幣寒冬，以至于無(wú)法想象當(dāng)時(shí)世界上正在發(fā)生的事情。所以最終規(guī)模遠(yuǎn)超預(yù)期。你用非常直接的語(yǔ)言說(shuō)，對(duì) Blackwell 的需求是瘋狂的，并且在你所能預(yù)見(jiàn)的未來(lái)都會(huì)如此。當(dāng)然，未來(lái)是未知的，但批評(píng)者為什么錯(cuò)了？這不會(huì)像 Cisco 在 2000 年的過(guò)度建設(shè)那樣嗎？

思考未來(lái)的最佳方式是從第一性原理推理（編者注：通過(guò)將復(fù)雜問(wèn)題分解為最基本的真理（或者最基本的已知事實(shí)）來(lái)進(jìn)行推理和解決問(wèn)題的思維方式）。那么問(wèn)題是，我們的第一性原理是什么？

首先，我們?cè)谧鍪裁矗课覀冏龅牡谝患率俏覀冋谥匦露x計(jì)算，對(duì)吧？我們剛剛說(shuō)過(guò)，未來(lái)的計(jì)算將高度依賴機(jī)器學(xué)習(xí)，幾乎我們做的每一個(gè)應(yīng)用，無(wú)論是 Word、Excel、PowerPoint、Photoshop、Premiere、 AutoCAD，你隨便挑一個(gè)你最喜歡的應(yīng)用，過(guò)去都是手工工程化的，我向你保證未來(lái)它們都會(huì)高度依賴機(jī)器學(xué)習(xí)，對(duì)吧？所以這些工具都會(huì)如此，除此之外，還會(huì)有機(jī)器、代理來(lái)幫助你使用這些工具，對(duì)吧？所以我們現(xiàn)在已經(jīng)知道這是事實(shí)，對(duì)吧？

我們已經(jīng)重新定義了計(jì)算，不會(huì)回頭了，整個(gè)計(jì)算技術(shù)堆棧正在被重新構(gòu)建。所以我們已經(jīng)完成了這一點(diǎn)，現(xiàn)在軟件也會(huì)有所不同，軟件能寫(xiě)的東西會(huì)不同，我們使用軟件的方式也會(huì)不同。所以讓我們承認(rèn)這些是我的基礎(chǔ)事實(shí)?，F(xiàn)在的問(wèn)題是接下來(lái)會(huì)發(fā)生什么？

讓我們回顧過(guò)去的計(jì)算方式。過(guò)去我們有價(jià)值數(shù)萬(wàn)億美元的計(jì)算機(jī)。你看看數(shù)據(jù)中心，問(wèn)問(wèn)自己：這些計(jì)算機(jī)是你想用來(lái)做未來(lái)的計(jì)算機(jī)嗎？答案是否定的，后面有那么多 CPU，我們知道它們能做什么，不能做什么，我們有價(jià)值數(shù)萬(wàn)億美元的數(shù)據(jù)中心需要現(xiàn)代化。所以現(xiàn)在，如果我們?cè)O(shè)定一個(gè)未來(lái)四到五年的軌跡來(lái)現(xiàn)代化這些舊設(shè)備，這是合理的，不是嗎？

Brad Gerstner：所以你和那些需要現(xiàn)代化的人有這些對(duì)話，他們正在用 GPU 進(jìn)行現(xiàn)代化，對(duì)吧？

黃仁勛：讓我們?cè)僮鲆粋€(gè)測(cè)試。你有 500 億美元的資本支出，你有兩個(gè)選項(xiàng)：A 選項(xiàng)，未來(lái)的資本支出，B 選項(xiàng)，過(guò)去的資本支出。你已經(jīng)有了過(guò)去的資本支出，它就在那里，不會(huì)再有大的改進(jìn)了。

摩爾定律幾乎已經(jīng)終結(jié)了，那為什么還要重建那些呢？讓我們拿 500 億美元投資到生成式 AI 上，對(duì)吧？你的公司因此變得更好了，對(duì)吧？你會(huì)把多少 500 億投入到其中？我會(huì)全部投入，因?yàn)槲乙呀?jīng)有四年的舊基礎(chǔ)設(shè)施了。所以現(xiàn)在，我只是從第一性原理的角度進(jìn)行推理。這就是聰明人在做聰明的事。

第二部分是，現(xiàn)在我們有價(jià)值數(shù)萬(wàn)億美元的容量需要構(gòu)建，對(duì)吧？我們要投入約 1500 億美元。我們有價(jià)值數(shù)萬(wàn)億美元的基礎(chǔ)設(shè)施要在未來(lái)四到五年內(nèi)構(gòu)建。

其次，我們觀察到，軟件的編寫(xiě)方式變了，未來(lái)使用軟件的方式也會(huì)變。我們將擁有代理，對(duì)吧？我們將有數(shù)字員工。在你的收件箱中，你會(huì)看到這些小點(diǎn)和小臉。未來(lái)，它們將是 AI 的小圖標(biāo)，對(duì)吧？我會(huì)發(fā)送它們。我將不再用 C++ 編寫(xiě)程序，而是用提示詞編寫(xiě) AI，對(duì)吧？

這跟我早上給團(tuán)隊(duì)寫(xiě)郵件沒(méi)有什么不同，對(duì)吧？我會(huì)描述背景，說(shuō)明我所知道的基本限制，還會(huì)講清楚他們的任務(wù)。我會(huì)給出足夠明確的方向，讓他們明白我的需求，同時(shí)也留出足夠的模糊空間，讓他們?cè)趧?chuàng)造力方面給我驚喜，對(duì)吧？ 

這跟我今天如何提示AI是一樣的，完全一樣。所以在我們即將現(xiàn)代化的基礎(chǔ)設(shè)施之上，還會(huì)有一個(gè)新的基礎(chǔ)設(shè)施。這新的一層將是運(yùn)行這些數(shù)字人類的AI工廠，它們會(huì)全天候24小時(shí)不停運(yùn)作。我們將在全球所有的公司、工廠和自主系統(tǒng)中使用這些AI。對(duì)吧？所以這是一整層的計(jì)算架構(gòu)，我稱之為AI工廠，這層基礎(chǔ)設(shè)施目前還不存在。問(wèn)題是，它的規(guī)模有多大？現(xiàn)在還無(wú)法知道，也許幾萬(wàn)億美元，但現(xiàn)在我們所構(gòu)建的美妙之處在于，現(xiàn)代化這個(gè)新數(shù)據(jù)中心的架構(gòu)和AI工廠的架構(gòu)是一樣的。

Brad Gerstner：這很棒。你已經(jīng)明確說(shuō)明了：有一萬(wàn)億美元的舊系統(tǒng)需要現(xiàn)代化，至少還有一萬(wàn)億的新AI工作負(fù)載即將出現(xiàn)，預(yù)計(jì)今年的收入大概是1250億美元。你知道，曾有人對(duì)你說(shuō)公司市值永遠(yuǎn)不會(huì)超過(guò)十億。現(xiàn)在，你坐在這里，有什么理由認(rèn)為你的收入不會(huì)翻倍、三倍增長(zhǎng)？有沒(méi)有什么理由會(huì)阻礙你的收入增長(zhǎng)？

黃仁勛：沒(méi)有，對(duì)，你知道，問(wèn)題不在于一切。公司的規(guī)模受限于市場(chǎng)的大小。金魚(yú)只能在魚(yú)缸里長(zhǎng)到一定程度，問(wèn)題是我們的‘魚(yú)塘’有多大？這需要很大的想象力。這也是為什么市場(chǎng)締造者會(huì)考慮未來(lái)，而不是單純?nèi)?zhēng)取市場(chǎng)份額。

回頭看很難弄清楚，只靠爭(zhēng)市場(chǎng)份額只能做到一定程度，但市場(chǎng)締造者的潛力是非常大的。我認(rèn)為我們公司一直以來(lái)的幸運(yùn)之處在于，自成立之初，我們就不得不為自己創(chuàng)造市場(chǎng)來(lái)發(fā)展。人們也許現(xiàn)在不記得了，但我們幾乎從零開(kāi)始創(chuàng)建了3D游戲PC市場(chǎng)。我們發(fā)明了這個(gè)市場(chǎng)和所有的生態(tài)系統(tǒng)，所有的顯卡生態(tài)系統(tǒng)，都是我們發(fā)明的。因此，創(chuàng)造新市場(chǎng)并在未來(lái)為其服務(wù)，這對(duì)我們來(lái)說(shuō)是很自然的事。  

談OpenAI：我們這個(gè)時(shí)代最具影響力的公司之一

Brad Gerstner：確實(shí)如此，作為一位市場(chǎng)創(chuàng)造者，我們來(lái)談?wù)勀Ｐ秃蚈penAI。你知道，OpenAI本周融資了65億美元，估值達(dá)到了1500億美元。我們都參與了。 

黃仁勛：真的為他們感到高興，這件事最終得以實(shí)現(xiàn)。他們做得很棒，團(tuán)隊(duì)表現(xiàn)得非常出色。  

Brad Gerstner：有報(bào)道稱他們今年的年化收入大概是50億美元，明年可能達(dá)到100億。如果你看看這家公司，收入是谷歌IPO時(shí)的兩倍。他們擁有2.5億的每周活躍用戶，是谷歌當(dāng)年IPO時(shí)的兩倍。如果你相信他們明年的收入將達(dá)100億美元，那么它的前瞻市盈率約為15倍，和谷歌與Meta在IPO時(shí)的市盈率相當(dāng)。你怎么看待一家22個(gè)月前還沒(méi)有收入、沒(méi)有每周活躍用戶的公司？  

黃仁勛：Brad對(duì)歷史的掌控非常驚人。

Brad Gerstner：對(duì)此你怎么看？跟我們談?wù)凮penAI作為你們的合作伙伴的重要性，以及它在推動(dòng)公眾對(duì)AI的認(rèn)識(shí)和使用方面的重要性。  

黃仁勛：這是我們這個(gè)時(shí)代最具影響力的公司之一。

一家純粹的AI公司，追求AGI（通用人工智能）的愿景，無(wú)論它的定義如何，我?guī)缀跽J(rèn)為定義本身并不重要，我也不認(rèn)為時(shí)間節(jié)點(diǎn)特別重要。我唯一知道的是，AI將在未來(lái)?yè)碛幸粭l充滿能力的路線圖，沿著這條路線，它的能力將會(huì)非常驚人。而且在到達(dá)任何人定義的AGI之前，我們會(huì)充分利用它。

現(xiàn)在，只要你去找數(shù)字生物學(xué)家、氣候科技研究者、材料研究者、物理學(xué)家、天體物理學(xué)家、量子化學(xué)家，你去問(wèn)問(wèn)視頻游戲設(shè)計(jì)師、制造工程師、機(jī)器人專家，隨便你挑選一個(gè)行業(yè)，深入其中，問(wèn)問(wèn)那些重要的人，問(wèn)他們：AI是否已經(jīng)徹底改變了他們的工作方式？你收集這些數(shù)據(jù)點(diǎn)，再回來(lái)問(wèn)問(wèn)自己，你還是否懷疑AI。  

“因?yàn)樗麄儸F(xiàn)在談?wù)揂I時(shí)，不是在說(shuō)未來(lái)某一天的概念性的好處，而是在談?wù)摦?dāng)下的實(shí)際應(yīng)用?，F(xiàn)在就有農(nóng)業(yè)科技、材料科技、氣候科技，你挑一個(gè)科技領(lǐng)域或科學(xué)領(lǐng)域，他們都在前進(jìn)，而AI正在幫助他們，推進(jìn)他們的工作。此時(shí)此刻，每一個(gè)行業(yè)、每一家公司、每一所大學(xué)都在使用AI，不可思議，對(duì)吧？它必然會(huì)以某種方式改變商業(yè)，我們知道這一點(diǎn)，對(duì)吧？我意思是，我們知道這已經(jīng)如此具象化了，你可以看到它正在發(fā)生。所以，我認(rèn)為AI的覺(jué)醒，由ChatGPT引發(fā)，完全令人難以置信。我也非常欣賞他們推進(jìn)這一領(lǐng)域的速度和專一目標(biāo)，因此，這真的非常重要?！?nbsp;

Brad Gerstner：他們構(gòu)建了一個(gè)可以為下一代模型提供資金的引擎，對(duì)吧？我認(rèn)為在硅谷，關(guān)于整個(gè)模型層面正在商品化的共識(shí)在不斷增長(zhǎng)，LLaMA正在讓很多人以非常低的成本構(gòu)建模型。所以，早期我們有很多模型公司，比如 Character AI、Inflection、Cohere 和 Mistral，名單可以列得很長(zhǎng)。很多人質(zhì)疑這些公司是否能建立起能夠?yàn)橄乱淮Ｐ统掷m(xù)提供資金的經(jīng)濟(jì)引擎。我個(gè)人的看法是，這就是你看到整合的原因，對(duì)吧？OpenAI顯然已經(jīng)達(dá)到了逃逸速度（指公司有足夠的資源持續(xù)發(fā)展），他們可以為自己的未來(lái)提供資金。而我不確定其他許多公司能否做到這一點(diǎn)。這是否是對(duì)模型層現(xiàn)狀的合理評(píng)估，即我們將看到像許多其他市場(chǎng)一樣的整合，形成可以負(fù)擔(dān)得起、擁有經(jīng)濟(jì)引擎的市場(chǎng)領(lǐng)導(dǎo)者，并且可以繼續(xù)投資？

黃仁勛：首先，模型和人工智能之間存在根本的區(qū)別，對(duì)吧？模型是人工智能的一個(gè)基本要素，這是必要但不充分的，對(duì)吧？所以人工智能是一種能力，但它的應(yīng)用是什么呢？汽車(chē)駕駛軟件的人工智能與人形機(jī)器人使用的人工智能相關(guān)，但并不相同，它又與聊天機(jī)器人的人工智能相關(guān)，但也不相同，對(duì)吧？所以你必須理解技術(shù)堆棧的分類，在堆棧的每一層都會(huì)有機(jī)會(huì)，但并不是每一層堆棧上都有無(wú)限的機(jī)會(huì)。

我剛才說(shuō)了一些話，你只需要把“模型”這個(gè)詞替換為“GPU”。事實(shí)上，這是我們公司32年前的一個(gè)重大觀察，即GPU（圖形處理器）與加速計(jì)算之間存在根本區(qū)別。而加速計(jì)算與我們?cè)谌斯ぶ悄芑A(chǔ)設(shè)施中所做的工作又是不同的，它們是相關(guān)的，但并不完全相同，它們是建立在彼此之上的。每一層抽象都需要不同的基本技能。

一些非常擅長(zhǎng)構(gòu)建GPU的人可能完全不知道如何成為一家加速計(jì)算公司。有很多公司制造GPU，我不知道哪個(gè)是第一個(gè)，我們發(fā)明了GPU，但你知道的，現(xiàn)在不止我們一家公司制造GPU。而且到處都有GPU，但它們不是加速計(jì)算公司。還有很多公司做應(yīng)用加速器，但這與加速計(jì)算公司又不同。例如，一個(gè)非常專業(yè)的AI應(yīng)用程序可能會(huì)非常成功。

Brad Gerstner：確實(shí)如此。

黃仁勛：但是它可能不是那種具有廣泛覆蓋面和能力的公司。所以你得決定你想要在哪里立足。可能在所有這些不同領(lǐng)域都有機(jī)會(huì)，但像構(gòu)建公司一樣，你必須意識(shí)到生態(tài)系統(tǒng)的變化以及隨著時(shí)間推移哪些部分被商品化，認(rèn)識(shí)到什么是功能、什么是產(chǎn)品、什么是公司。

馬斯克是超人，超級(jí)集群投產(chǎn)只用19天

Brad Gerstner：當(dāng)然，有一個(gè)新的進(jìn)入者擁有資金、智慧和野心，那就是 xAI，對(duì)吧？有報(bào)道稱你和 Larry（編者注：甲骨文公司 CEO） 以及 Elon 共進(jìn)晚餐。他們向你要了10萬(wàn)臺(tái) H100 GPU。他們?nèi)チ嗣戏扑?，并在幾個(gè)月內(nèi)建立了一個(gè)大型的超級(jí)計(jì)算集群，你知道，這真是一個(gè)奇跡。

黃仁勛：（慌張打斷）首先……三個(gè)點(diǎn)連不成一條線（編者注：three points don't make a line，這里指主持人列舉的細(xì)節(jié)是事實(shí)，但之間的邏輯或連貫關(guān)系不是這樣），好嗎？是的，我的確和他們共進(jìn)了晚餐。但這個(gè)因果關(guān)系……

Brad Gerstner：你怎么看他們構(gòu)建這個(gè)超級(jí)集群的能力？外界有傳言說(shuō)他們還要再要10萬(wàn)臺(tái) H100，對(duì)吧？以擴(kuò)大那個(gè)超級(jí)集群的規(guī)模。首先，和我們聊聊 X 及其野心，以及他們已經(jīng)取得的成就。其次，我們已經(jīng)進(jìn)入擁有20萬(wàn)或30萬(wàn)臺(tái)GPU的集群時(shí)代了嗎？

黃仁勛：答案是肯定的。首先，（xAI）成就應(yīng)該得到應(yīng)有的認(rèn)可，從概念的提出，到準(zhǔn)備好讓 Nvidia 的設(shè)備進(jìn)入數(shù)據(jù)中心，再到我們啟動(dòng)電源、連接好所有設(shè)備，并進(jìn)行首次訓(xùn)練。

僅僅是建立一個(gè)大型工廠、液冷系統(tǒng)、供電、獲得許可，并在如此短的時(shí)間內(nèi)完成。這是超人的成就，我認(rèn)為，世界上只有一個(gè)人能夠做到這一點(diǎn)。Elon 對(duì)工程、建設(shè)、大型系統(tǒng)和資源調(diào)配的理解是獨(dú)一無(wú)二的。真的太不可思議了。

當(dāng)然，他的工程團(tuán)隊(duì)也是非凡的。

軟件團(tuán)隊(duì)很棒，網(wǎng)絡(luò)團(tuán)隊(duì)很棒，基礎(chǔ)設(shè)施團(tuán)隊(duì)也很棒。Elon 對(duì)此有著深刻的理解。從我們與他們的工程團(tuán)隊(duì)、網(wǎng)絡(luò)團(tuán)隊(duì)、基礎(chǔ)設(shè)施計(jì)算團(tuán)隊(duì)和軟件團(tuán)隊(duì)開(kāi)始規(guī)劃，到所有的準(zhǔn)備工作，再到基礎(chǔ)設(shè)施、物流以及當(dāng)天涌入的大量技術(shù)和設(shè)備，Nvidia 的基礎(chǔ)設(shè)施、計(jì)算設(shè)備，所有這些技術(shù)到訓(xùn)練僅用了19天。

你知道嗎？沒(méi)人睡覺(jué)，全天候工作。當(dāng)然，19天非常了不起，但也讓我們稍微停下來(lái)想一想，19天有多長(zhǎng)？也就幾個(gè)星期。而如果你看到現(xiàn)場(chǎng)的技術(shù)數(shù)量，那真是令人難以置信。

所有的布線和網(wǎng)絡(luò)連接，Nvidia 的設(shè)備網(wǎng)絡(luò)與超大規(guī)模數(shù)據(jù)中心的網(wǎng)絡(luò)非常不同。一個(gè)節(jié)點(diǎn)的背后全是電纜。只是把這座技術(shù)山整合起來(lái)并安裝好所有的軟件，簡(jiǎn)直令人驚嘆。所以我認(rèn)為 Elon 和 X 團(tuán)隊(duì)所做的事情非常了不起，我也非常感謝他對(duì)我們工程工作、規(guī)劃工作的認(rèn)可。但他們的成就是獨(dú)一無(wú)二的，前所未有的。

為了更好地理解，10萬(wàn)個(gè)GPU就是目前地球上最快的超級(jí)計(jì)算機(jī)，這只是一個(gè)集群。你要建造一臺(tái)這樣的超級(jí)計(jì)算機(jī)，通常需要三年的規(guī)劃時(shí)間，對(duì)吧？然后交付設(shè)備，花一年時(shí)間讓它全部運(yùn)行。是的，我們說(shuō)的是19天。

Clark Tang：哇，這要?dú)w功于Nvidia的平臺(tái)，對(duì)吧？整個(gè)流程已經(jīng)非常完善了。

黃仁勛：沒(méi)錯(cuò)，一切都已經(jīng)準(zhǔn)備就緒。當(dāng)然，還有很多 X 算法、X 框架和 X 堆棧之類的東西，所以我們要做大量的集成工作。但規(guī)劃的部分真的很了不起，所有的預(yù)規(guī)劃都非常出色。

Brad Gerstner：萬(wàn)里挑一是對(duì)的。Elon 是一個(gè)萬(wàn)里挑一的存在。但是你一開(kāi)始回答時(shí)就說(shuō)，是的，20萬(wàn)到30萬(wàn)個(gè)GPU的集群已經(jīng)出現(xiàn)了，對(duì)吧？那么這個(gè)規(guī)模會(huì)擴(kuò)大到50萬(wàn)個(gè)嗎？會(huì)擴(kuò)大到100萬(wàn)個(gè)嗎？你們的產(chǎn)品需求是否依賴于規(guī)模將擴(kuò)大到數(shù)百萬(wàn)？

黃仁勛： 最后這個(gè)問(wèn)題的答案是否定的。我的感覺(jué)是，分布式訓(xùn)練必須得可行，我認(rèn)為分布式計(jì)算將會(huì)被發(fā)明出來(lái)，某種形式的聯(lián)邦學(xué)習(xí)和異步分布式計(jì)算會(huì)被發(fā)現(xiàn)，我對(duì)此非常樂(lè)觀。當(dāng)然，值得注意的是，擴(kuò)展法則以前只適用于預(yù)訓(xùn)練?，F(xiàn)在我們已經(jīng)進(jìn)入了多模態(tài)，我們進(jìn)入了合成數(shù)據(jù)生成，后訓(xùn)練已經(jīng)大規(guī)模發(fā)展，合成數(shù)據(jù)生成、基于獎(jiǎng)勵(lì)系統(tǒng)的強(qiáng)化學(xué)習(xí)也隨之增加，推理擴(kuò)展現(xiàn)在也達(dá)到了前所未有的高度。

在模型給你答案之前，可能已經(jīng)進(jìn)行了1萬(wàn)次內(nèi)部推理，這并不夸張。它可能已經(jīng)進(jìn)行了樹(shù)搜索，可能進(jìn)行了強(qiáng)化學(xué)習(xí)，可能進(jìn)行了某些模擬，肯定也進(jìn)行了大量反思，它可能查找了某些數(shù)據(jù)或信息，對(duì)吧？因此，這種情境可能相當(dāng)龐大。

這種類型的智能就是我們所做的工作，不是嗎？這就是我們做的事情，對(duì)吧？因此，考慮到這一擴(kuò)展，如果你做了這些計(jì)算，并且結(jié)合每年模型規(guī)模和計(jì)算規(guī)模的4倍增長(zhǎng)，而另一方面，需求還在繼續(xù)增長(zhǎng)。

我們是否認(rèn)為需要數(shù)百萬(wàn)個(gè)GPU？毫無(wú)疑問(wèn)，是的。這現(xiàn)在是一個(gè)確定的事實(shí)。

問(wèn)題在于如何從數(shù)據(jù)中心的角度進(jìn)行架構(gòu)設(shè)計(jì)，而這很大程度上取決于數(shù)據(jù)中心是每次提供千兆瓦的電力，還是每次提供250兆瓦的電力。我的感覺(jué)是你會(huì)同時(shí)看到這兩種情況。

Clark Tang：我認(rèn)為分析師們總是關(guān)注當(dāng)前的架構(gòu)賭注。但我覺(jué)得這次對(duì)話的最大收獲之一是，我們是在考慮整個(gè)生態(tài)系統(tǒng)，并且是在展望許多年后的未來(lái)。所以，Nvidia的擴(kuò)展上升或擴(kuò)展外展是為了適應(yīng)未來(lái)，而不是僅僅依賴于一個(gè)擁有50萬(wàn)或100萬(wàn)個(gè)GPU集群的世界。到那時(shí)，分布式訓(xùn)練的軟件已經(jīng)被寫(xiě)好了。

黃仁勛： 沒(méi)錯(cuò)，記得沒(méi)有我們七年前開(kāi)發(fā)的Megatron，這些大型訓(xùn)練作業(yè)的擴(kuò)展就不會(huì)發(fā)生。所以我們發(fā)明了Megatron，發(fā)明了NCCL GPU direct，所有的工作都與我們的DMA（編者注：Direct Memory Access）有關(guān)，這使得流水線并行化變得輕而易舉。所有的模型并行化工作現(xiàn)在都在進(jìn)行，所有分布式訓(xùn)練的拆解和批處理都在發(fā)生，所有這些工作都是因?yàn)槲覀冏隽嗽缙诘墓ぷ鳎F(xiàn)在我們也在為未來(lái)的下一代做早期的工作。

談 o1：今天，我的導(dǎo)師是AI

Brad Gerstner：那么我們來(lái)談?wù)?Strawberry 和 o1。我想尊重你的時(shí)間。

黃仁勛：我有的是時(shí)間。

Brad Gerstner：你非?？犊?/span>

黃仁勛：我有的是時(shí)間。

Brad Gerstner：首先，我覺(jué)得他們用 o1 來(lái)命名這個(gè)項(xiàng)目真的很酷，這與 o1 簽證（編者注：美國(guó)非移民簽證，專門(mén)為具有特殊才能的人提供）有關(guān)，簽證是為了招募世界上最優(yōu)秀和最聰明的人，將他們帶到美國(guó)。這是我們兩人都非常關(guān)心的話題。因此，我喜歡這種構(gòu)建能夠思考并將我們帶到下一層智能擴(kuò)展的新模型的想法，它向那些通過(guò)移民來(lái)到美國(guó)的人致敬，是他們的集體智慧造就了今天的我們。

黃仁勛：向外星智慧致敬。

Brad Gerstner：當(dāng)然，這個(gè)項(xiàng)目是由我們的朋友Noah Brown領(lǐng)導(dǎo)的。他曾在Pluribus和Cicero工作，后來(lái)加入了Meta。推理時(shí)間的推斷作為一個(gè)全新的智能擴(kuò)展向量有多重要？它是否與構(gòu)建更大模型的方式完全不同？

黃仁勛：模型？這是個(gè)大問(wèn)題。它是個(gè)大問(wèn)題。很多智能是無(wú)法預(yù)先完成的，你知道嗎？而且很多計(jì)算，即使是很多計(jì)算，也無(wú)法重新排序。我知道，亂序執(zhí)行是可以預(yù)先完成的，你知道嗎？所以很多事情只能在運(yùn)行時(shí)完成。無(wú)論你是從計(jì)算機(jī)科學(xué)的角度看，還是從智能的角度看，很多事情都需要上下文。  

情況、你想要的答案類型。有時(shí)候，快速的回答就足夠了，取決于答案的后果，取決于答案的使用性質(zhì)。所以，有些答案，可能需要一晚時(shí)間，有些答案需要一周時(shí)間。是吧？  

我完全可以想象我把一個(gè)提示發(fā)給我的AI，告訴它，你知道嗎，想一想吧，想一晚上，別馬上告訴我，我希望你一整晚思考，明天回來(lái)告訴我你最好的答案，幫我推理一下。

所以，我認(rèn)為智能的質(zhì)量和分段現(xiàn)在，從產(chǎn)品的角度來(lái)看，會(huì)有一種一錘子買(mǎi)賣(mài)的版本。是的，然后有些可能需要五分鐘。  

Brad Gerstner：那個(gè)智能層會(huì)將這些問(wèn)題引導(dǎo)到適合的模型，用于正確的用例。我是昨晚在使用先進(jìn)的語(yǔ)音模型和o1預(yù)覽版時(shí)，我在輔導(dǎo)我兒子的AP歷史考試，就像擁有世界上最棒的AP歷史老師坐在你旁邊思考這些問(wèn)題一樣，真的是太不可思議了。 

黃仁勛：今天，我的導(dǎo)師是AI。 

Brad Gerstner：當(dāng)然，他們現(xiàn)在就在這里，這又回到了這個(gè)問(wèn)題，你們今天超過(guò)40%的收入來(lái)自推理。而推理正在因?yàn)橥评礞湹某霈F(xiàn)而迅速增長(zhǎng)，對(duì)嗎？

黃仁勛：它即將增長(zhǎng)一千億倍。 

Brad Gerstner：一千億倍。  

黃仁勛：是的。這部分大多數(shù)人還沒(méi)有完全理解。我們談?wù)摰哪莻€(gè)行業(yè)，但這就是工業(yè)革命。  

Brad Gerstner：這就是智能的生產(chǎn)。對(duì)吧？  

黃仁勛：它將增長(zhǎng)一千億倍。

Brad Gerstner：每個(gè)人都過(guò)于專注于Nvidia，認(rèn)為它僅僅是在做更大模型的訓(xùn)練。難道不應(yīng)該是你們的收入——如果今天是50美元——未來(lái)將會(huì)有更多推理，而不是說(shuō)訓(xùn)練永遠(yuǎn)重要，但推理的增長(zhǎng)將比我們希望的訓(xùn)練增長(zhǎng)要大得多。我們幾乎無(wú)法想象別的方式。  

黃仁勛：我們希望是對(duì)的。是的，去上學(xué)是好事，但目標(biāo)是讓你能在社會(huì)中更有生產(chǎn)力，所以訓(xùn)練這些模型是好事，但目標(biāo)是推理。

Brad Gerstner：你們現(xiàn)在已經(jīng)在使用推理鏈和像 o1 這樣的工具來(lái)改善你們自己的業(yè)務(wù)了嗎？  

黃仁勛：我們今天的網(wǎng)絡(luò)安全系統(tǒng)沒(méi)有我們的Agents就無(wú)法運(yùn)行。我們有Agents幫助設(shè)計(jì)芯片，沒(méi)有它們，Hopper不可能存在，Blackwell 不可能存在，Ruben（下一代架構(gòu)）連想都別想，根本不可能有數(shù)字化。我們有AI芯片設(shè)計(jì)師，AI軟件工程師，AI驗(yàn)證工程師，我們?cè)诂F(xiàn)場(chǎng)建立了這些，因?yàn)槲覀冇心芰?，也更愿意使用它，利用這個(gè)機(jī)會(huì)自己探索技術(shù)。  

英偉達(dá)的未來(lái)：5萬(wàn)名員工，1億個(gè)AI

Brad Gerstner：今天走進(jìn)大樓時(shí)，有人走過(guò)來(lái)對(duì)我說(shuō)，知道你們的文化嗎？一切都關(guān)乎文化，我看著這個(gè)公司，有很多關(guān)于健身、效率、扁平化的組織結(jié)構(gòu)，可以快速執(zhí)行的小團(tuán)隊(duì)。

你知道，Nvidia真的處于一個(gè)獨(dú)特的地位，每名員工帶來(lái)的收入為400萬(wàn)美元，每名員工對(duì)公司的凈利潤(rùn)或自由現(xiàn)金流貢獻(xiàn)約為200萬(wàn)美元。你們建立了一個(gè)高效的文化，真正釋放了創(chuàng)造力、創(chuàng)新、所有權(quán)和責(zé)任感。你們打破了職能管理的模式。每個(gè)人都喜歡談?wù)撃銈兯械闹苯酉聦?。是利用AI繼續(xù)保持高創(chuàng)造力的事情嗎，同時(shí)保持效率呢？  

黃仁勛：毫無(wú)疑問(wèn)，我希望有一天Nvidia有32000名員工，我們?cè)谝陨杏?000個(gè)家庭。我希望他們能想念你們。我希望有一天，Nvidia會(huì)是一個(gè)擁有50000名員工的公司，配有1億個(gè)AI助手。  

在每個(gè)小組里，我們都會(huì)有一個(gè)AI目錄，它們非常擅長(zhǎng)做事情。我們的收件箱將充滿我們與之合作的AI目錄，這些AI非常擅長(zhǎng)特定的技能。因此，AI將招募其他AI來(lái)解決問(wèn)題。AI將與彼此、與人類一起在Slack頻道（編者注：企業(yè)通信工具）中工作。所以我們將是一個(gè)龐大的團(tuán)隊(duì)，你可以說(shuō)有些是數(shù)字的、有些是AI的、有些是生物的，我希望有些甚至是機(jī)電一體化的。  而且…  

Brad Gerstner：我覺(jué)得從商業(yè)角度看，這是一件被極大誤解的事情。你剛剛描述了一個(gè)公司，它的輸出相當(dāng)于擁有15萬(wàn)人，但你們做到了只有50000人?，F(xiàn)在，你并沒(méi)有說(shuō)我要去掉所有員工，你們?nèi)匀辉谠鲩L(zhǎng)員工的數(shù)量，但這個(gè)組織的產(chǎn)出將比現(xiàn)在大得多。  

黃仁勛：這常常被誤解。AI不是，AI不會(huì)改變每一份工作。AI將對(duì)人們思考工作的方式產(chǎn)生巨大影響。讓我們承認(rèn)這一點(diǎn)，AI有可能帶來(lái)巨大的好處，也有可能帶來(lái)傷害，我們必須建立安全的AI，讓這一點(diǎn)成為基礎(chǔ)。好吧？被忽視的一部分是，當(dāng)公司通過(guò)人工智能提高生產(chǎn)力時(shí)，它通常會(huì)轉(zhuǎn)化為更好的收益、更好的增長(zhǎng)，或者兩者兼有。當(dāng)發(fā)生這種情況時(shí)，下一封來(lái)自CEO的郵件很可能不是裁員通知。  

Brad Gerstner：當(dāng)然，因?yàn)槟銈冊(cè)谠鲩L(zhǎng)。

黃仁勛：是的，原因在于我們有更多的想法可以探索，但我們需要人們幫助我們思考這些問(wèn)題，然后再自動(dòng)化。所以，自動(dòng)化部分AI可以幫助我們做，顯然，它也會(huì)幫助我們思考，但它仍然需要我們?nèi)ヅ宄蚁虢鉀Q什么問(wèn)題？有無(wú)數(shù)問(wèn)題我們可以去解決。公司需要解決哪些問(wèn)題？從中選出那些想法，找到方法來(lái)自動(dòng)化和擴(kuò)展。因此，結(jié)果是，當(dāng)我們變得更加高效時(shí)，我們將雇傭更多的人。人們常常忘記這一點(diǎn)。如果你回顧過(guò)去，顯然我們今天的想法比200年前要多。這就是為什么GDP增長(zhǎng)的原因，雖然我們?cè)诏偪竦剡M(jìn)行自動(dòng)化。

Brad Gerstner：這是我們即將進(jìn)入的時(shí)期的一個(gè)非常重要的點(diǎn)，幾乎所有的人類生產(chǎn)力，幾乎所有的人類繁榮，都是過(guò)去200年自動(dòng)化技術(shù)的副產(chǎn)品。你可以看看，從亞當(dāng)·斯密到熊彼特的創(chuàng)造性毀滅，你可以看到過(guò)去200年人均GDP的增長(zhǎng)，它只是加速了，這引出了這個(gè)問(wèn)題，如果你看看90年代，美國(guó)的生產(chǎn)力增長(zhǎng)大約是每年2.5%到3%，然后到了2000年代，下降到了大約1.8%。而過(guò)去10年是生產(chǎn)力增長(zhǎng)最慢的時(shí)期。也就是說(shuō)，勞動(dòng)和資本的總產(chǎn)出增長(zhǎng)最慢，實(shí)際上創(chuàng)下了歷史紀(jì)錄。很多人都在爭(zhēng)論這個(gè)原因。但是如果世界如你所描述的那樣，我們將利用并制造智能，那是不是意味著我們即將迎來(lái)人類生產(chǎn)力的戲劇性擴(kuò)展？

黃仁勛：這是我們的希望，當(dāng)然，你知道，我們生活在這個(gè)世界中，所以我們有直接證據(jù)。我們有直接的證據(jù)，無(wú)論是作為一個(gè)孤立的案例，比如一個(gè)研究人員，能夠利用AI以如此不可思議的規(guī)模探索科學(xué)，這是生產(chǎn)力的一個(gè)衡量標(biāo)準(zhǔn)，或者我們?cè)谠O(shè)計(jì)芯片時(shí)，以如此高的速度構(gòu)建的芯片復(fù)雜度和計(jì)算機(jī)復(fù)雜度不斷上升，而公司員工數(shù)量并沒(méi)有像生產(chǎn)力那樣增長(zhǎng)，正確嗎？我們正在開(kāi)發(fā)的軟件越來(lái)越好，因?yàn)槲覀兪褂肁I和超級(jí)計(jì)算機(jī)來(lái)幫助我們，而員工數(shù)量幾乎是線性增長(zhǎng)的。

好吧，另一個(gè)生產(chǎn)力的展示，無(wú)論是我可以進(jìn)入，我可以在許多不同的行業(yè)中進(jìn)行抽查。我自己可以進(jìn)行驗(yàn)證。對(duì)，商業(yè)上就是這樣。毫無(wú)疑問(wèn)，智能是世界上最有價(jià)值的商品，而現(xiàn)在我們將大規(guī)模生產(chǎn)它。我們所有人都必須變得擅長(zhǎng)于AI，如果你被這些AI包圍，而它們做的事情非常出色，比你做得好得多，那么會(huì)發(fā)生什么呢？

反思這一點(diǎn)，這就是我的生活。我有60個(gè)直接下屬。之所以他們?cè)诟吖軋F(tuán)隊(duì)，是因?yàn)樗麄冊(cè)谧约荷瞄L(zhǎng)的領(lǐng)域世界級(jí)，比我做得好得多。我和他們互動(dòng)毫無(wú)困難，且我也不難對(duì)他們進(jìn)行提示工程，因?yàn)槲也浑y編程他們。所以，我認(rèn)為人們將會(huì)學(xué)到的是，每個(gè)人都會(huì)成為CEO，每個(gè)人都會(huì)是AI Agents 的CEO。他們的創(chuàng)造力、意志力和一些知識(shí)，以及如何進(jìn)行推理、分解問(wèn)題的能力，將使得你可以編程這些AI幫助你實(shí)現(xiàn)像我一樣的目標(biāo)。這就是經(jīng)營(yíng)公司。

AI不是閉源和開(kāi)源的零和博弈，而是兩者的結(jié)合

Brad Gerstner：你提到了這個(gè)對(duì)齊問(wèn)題，安全AI，你提到了中東正在發(fā)生的悲劇。你知道，世界各地有很多AI正在被濫用。我們來(lái)談?wù)凙I的負(fù)面影響、安全AI、與官方的協(xié)調(diào)問(wèn)題。

你今天的感覺(jué)如何？我們走在正確的道路上嗎？我們有足夠的協(xié)調(diào)嗎？你知道，馬克·扎克伯格曾說(shuō)過(guò)，我們打敗壞AI的方法就是讓好的AI變得更好。你如何看待確保這對(duì)人類來(lái)說(shuō)是積極的凈收益，而不是讓我們陷入一個(gè)沒(méi)有目的的反烏托邦世界？

黃仁勛：關(guān)于安全的討論非常重要，而且好的。抽象的看法，即將AI看作一個(gè)龐大的神經(jīng)網(wǎng)絡(luò)，這種看法不好。原因在于，我們知道人工智能和大語(yǔ)言模型是相關(guān)的，但并不相同。許多正在做的事情我認(rèn)為是非常優(yōu)秀的。首先，開(kāi)源模型，這樣整個(gè)研究者社區(qū)、各個(gè)行業(yè)和公司都可以參與AI并學(xué)習(xí)如何在他們的應(yīng)用中利用這種能力。非常好。第二，致力于AI安全的技術(shù)數(shù)量也在增加。

AI用于整理數(shù)據(jù)、傳遞信息、訓(xùn)練AI。AI創(chuàng)建它，來(lái)使AI對(duì)齊，生成合成數(shù)據(jù)以擴(kuò)展AI的知識(shí)，減少其幻覺(jué)，所有這些AI的創(chuàng)造，都是為了向AI提供保護(hù)的邊界。AI之間互相監(jiān)控，系統(tǒng)中的AI用于創(chuàng)建安全的AI，這是被低估的。

我們已經(jīng)建立了這樣的系統(tǒng)。

我們正在構(gòu)建的所有這些東西，行業(yè)中每一個(gè)人都在進(jìn)行方法論、紅隊(duì)測(cè)試、過(guò)程、模型卡、評(píng)估系統(tǒng)、基準(zhǔn)測(cè)試系統(tǒng)，所有這些以驚人的速度進(jìn)行建設(shè)，真的是被低估的。你們理解嗎？

Brad Gerstner：沒(méi)有政府規(guī)定你必須這樣做。今天在這個(gè)領(lǐng)域中創(chuàng)建這些AI的參與者們，認(rèn)真地協(xié)調(diào)著最佳實(shí)踐，尊重這些關(guān)鍵問(wèn)題。

黃仁勛：所以這是被低估和誤解的。有人需要，也應(yīng)該說(shuō)每個(gè)人都需要開(kāi)始討論人工智能作為一種AI系統(tǒng)和工程化系統(tǒng)的系統(tǒng)，這些系統(tǒng)是經(jīng)過(guò)良好設(shè)計(jì)的，從基本原理構(gòu)建，經(jīng)過(guò)充分測(cè)試等等。

監(jiān)管。記住，人工智能是一項(xiàng)可以應(yīng)用的能力，并且不...需要對(duì)重要技術(shù)進(jìn)行監(jiān)管，但也不要過(guò)度干預(yù)到某些監(jiān)管應(yīng)該進(jìn)行的領(lǐng)域，大部分的監(jiān)管應(yīng)該在應(yīng)用層面進(jìn)行，比如FAA、NIH、FDA等等，對(duì)吧？所有現(xiàn)在已經(jīng)對(duì)技術(shù)應(yīng)用進(jìn)行監(jiān)管的不同生態(tài)系統(tǒng)，現(xiàn)在必須對(duì)融入AI的技術(shù)應(yīng)用進(jìn)行監(jiān)管。我認(rèn)為...不要誤解，也不要忽視世界上那種需要為人工智能激活的、龐大的監(jiān)管量，不要僅僅依賴于一個(gè)可能能夠做這件事的普遍的銀河級(jí)別的AI委員會(huì)，因?yàn)檫@些不同的監(jiān)管機(jī)構(gòu)之所以被創(chuàng)建，是有原因的。

這些不同的監(jiān)管機(jī)構(gòu)之所以被創(chuàng)建，是有原因的。再回到基本原理。

Brad Gerstner：如果我不提開(kāi)源問(wèn)題，我會(huì)被我的合作伙伴Bill Gurley批評(píng)。你們最近發(fā)布了一個(gè)非常重要、非常大的、非常有能力的開(kāi)源模型，顯然Meta也在開(kāi)源方面做出了重要貢獻(xiàn)。我發(fā)現(xiàn)當(dāng)我讀推特時(shí)，關(guān)于開(kāi)源與閉源有很多討論。你如何看待開(kāi)源，尤其是你自己的開(kāi)源模型在與前沿保持同步方面的能力？這是第一個(gè)問(wèn)題。第二個(gè)問(wèn)題是，擁有開(kāi)源模型同時(shí)也有閉源模型，驅(qū)動(dòng)商業(yè)運(yùn)作，你認(rèn)為這是未來(lái)的趨勢(shì)嗎？這兩者是否能夠創(chuàng)造出有益的安全張力？

黃仁勛：開(kāi)源與閉源涉及安全，但不僅僅是關(guān)于安全。例如，完全沒(méi)有問(wèn)題的是擁有作為經(jīng)濟(jì)模型引擎的閉源模型，這對(duì)維持創(chuàng)新是必要的。我全力支持這一點(diǎn)。我認(rèn)為封閉與開(kāi)放之間的爭(zhēng)論是錯(cuò)誤的，它不應(yīng)該是封閉或開(kāi)放，應(yīng)該是封閉和開(kāi)放的結(jié)合。是的，因?yàn)殚_(kāi)放對(duì)許多行業(yè)的激活是必要的。

如果沒(méi)有開(kāi)源，所有這些不同領(lǐng)域的科學(xué)怎么能夠在人工智能上得到應(yīng)用？因?yàn)樗麄儽仨氶_(kāi)發(fā)自己的領(lǐng)域特定的AI，并且必須使用開(kāi)源模型來(lái)創(chuàng)建領(lǐng)域特定的AI。這是相關(guān)的，但并不相同。僅僅擁有開(kāi)源模型并不意味著你擁有人工智能。所以你必須擁有這些開(kāi)源模型，才能啟用AI的創(chuàng)建。金融服務(wù)、醫(yī)療保健、交通等行業(yè)，科學(xué)領(lǐng)域的所有工作都是由于開(kāi)源的啟用而得以實(shí)現(xiàn)。

Brad Gerstner：不可思議。你們的開(kāi)源模型是否有大量需求？

黃仁勛：開(kāi)源模型？首先是Llama下載量（就能說(shuō)明），顯然，是的。馬克和他們所做的工作，令人難以置信，完全激活并參與了每一個(gè)行業(yè)，每一個(gè)科學(xué)領(lǐng)域。

我們之所以做Nemotron，是為了生成合成數(shù)據(jù)。直觀地說(shuō)，一個(gè)AI坐在那里不斷循環(huán)生成數(shù)據(jù)來(lái)學(xué)習(xí)自己，這聽(tīng)起來(lái)很脆弱，你能在那個(gè)無(wú)限循環(huán)中繞多少次呢？那樣的循環(huán)是有問(wèn)題的。我的內(nèi)心圖像就像是把一個(gè)超級(jí)聰明的人放進(jìn)一個(gè)房間，關(guān)上門(mén)待上一個(gè)月，出來(lái)的可能并不會(huì)更聰明。但是，假設(shè)你可以有兩三個(gè)不同的AI，擁有不同的知識(shí)分布，大家可以互相QA。我們?nèi)齻€(gè)都能變得更聰明。因此，AI模型交換、互動(dòng)、辯論、強(qiáng)化學(xué)習(xí)、合成數(shù)據(jù)生成等方面的想法，直覺(jué)上是合理的。

是的，所以我們的模型Nemotron 340B是世界上最好的獎(jiǎng)勵(lì)系統(tǒng)模型，它是最好的批判模型。好吧，有趣，嗯，所以，這是一個(gè)出色的模型，用來(lái)提升別人的模型，不管別人模型有多好，我建議使用Nemotron 340B來(lái)增強(qiáng)和改進(jìn)它。我們已經(jīng)看到LMA的效果，更好地讓所有其他模型變得更好。

工作并不總是有趣，但始終充滿熱愛(ài)

Brad Gerstner：好了，我們快到結(jié)尾了。

黃仁勛：謝天謝地。（小編注：謝天謝地）

Brad Gerstner：作為2016年交付DGX-1的人，這真是一次非凡的旅程。你的旅程既不可能又非凡，感謝你一直都在。像我們?cè)?016年交付了第一個(gè)DGX-1，我們?cè)?022年經(jīng)歷了一個(gè)Cambrian（小編注：寒武紀(jì)，物種大爆發(fā)）時(shí)刻。我將問(wèn)你一個(gè)我常被問(wèn)到的問(wèn)題，如何在有60名直接下屬的情況下維持你今天所做的工作？你無(wú)所不在，推動(dòng)著這場(chǎng)革命。你開(kāi)心嗎？有沒(méi)有想做別的事情？

黃仁勛：這個(gè)問(wèn)題關(guān)于過(guò)去一個(gè)半小時(shí)的討論。答案是：很好，我度過(guò)了一段美好時(shí)光，真的是非常開(kāi)心，我不能想象有比這更好的事情做了。讓我看看，我不認(rèn)為應(yīng)該給人留下這樣的印象，認(rèn)為我們的工作一直很有趣。我的工作并不是總是有趣的，我也不期望它總是有趣。是不是每時(shí)每刻都應(yīng)該有趣？我認(rèn)為很重要的是，我不把自己看得太重，我非常認(rèn)真地對(duì)待工作，對(duì)待我們的責(zé)任，對(duì)待我們的貢獻(xiàn)和我們所處的時(shí)刻。

那總是有趣嗎？不，但我總是熱愛(ài)它。就像所有的事情一樣，不管是家庭、朋友、孩子，是不是每時(shí)每刻都很有趣？不，但我們總是深深愛(ài)著它。所以，我認(rèn)為...

我能做多久？真正的問(wèn)題是我能保持多久的相關(guān)性？這個(gè)問(wèn)題只能通過(guò)我如何繼續(xù)學(xué)習(xí)來(lái)回答。我今天比以前更樂(lè)觀。我今天這樣說(shuō)并不是因?yàn)槲覀兘裉斓脑掝}，而是因?yàn)槿斯ぶ悄?。每天我都?huì)使用它。我不確定你們是否也在使用，但我可以說(shuō)，我每天都在使用它。

沒(méi)有一項(xiàng)研究我不涉及人工智能，沒(méi)有一個(gè)問(wèn)題，即使我知道答案，我都會(huì)用人工智能再檢查一下，令人驚訝的是，我接下來(lái)的兩三次提問(wèn)，居然會(huì)揭示我之前不知道的事情。你選擇任何一個(gè)話題，我認(rèn)為AI作為一個(gè)導(dǎo)師、AI作為一個(gè)助手、AI作為一個(gè)合作伙伴來(lái)進(jìn)行頭腦風(fēng)暴、檢查我的工作，哇，簡(jiǎn)直是革命性的。你知道，我是一個(gè)信息工作者，我的輸出就是信息。所以，我認(rèn)為所有對(duì)社會(huì)的貢獻(xiàn)都是非凡的。如果是這樣，如果我能保持相關(guān)性，并繼續(xù)做出貢獻(xiàn)，我知道這份工作足夠重要，值得我繼續(xù)追求。而且我的生活質(zhì)量非常好。所以我會(huì)說(shuō)...

Brad Gerstner：我無(wú)法想象，你和我已經(jīng)做了幾十年，我們不能錯(cuò)過(guò)這個(gè)時(shí)刻，這是我們職業(yè)生涯中最有意義的時(shí)刻，我們深深感激這段合作。

黃仁勛：不要錯(cuò)過(guò)未來(lái)十年。

Brad Gerstner：感謝你的思維分享，你讓我們變得更聰明。謝謝，我認(rèn)為你真的是那個(gè)領(lǐng)導(dǎo)團(tuán)隊(duì)中的重要一員，能夠樂(lè)觀、安全地推動(dòng)這一切向前發(fā)展。

黃仁勛：感謝大家陪伴，真的很開(kāi)心，感謝Brad，謝謝Clark。

Brad Gerstner：提醒大家，這只是我們的個(gè)人觀點(diǎn)，不構(gòu)成投資建議。

想了解更多AIGC的內(nèi)容，請(qǐng)?jiān)L問(wèn)：

51CTO AI.x社區(qū)

http://www.scjtxx.cn/aigc/