從神經(jīng)網(wǎng)絡AlexNet、到ChatGPT，再到生成式AI的大爆發(fā)，英偉達的GPU功不可沒。

在這場AI淘金熱中，英偉達的市值水漲船高，成功進入萬億美元俱樂部，成為全球第6大市值最高的公司。

若說英偉達的成功背后，一定離不開這位靈魂人物——黃仁勛。

人人皆知喬布斯、蓋茨等科技巨人的故事，而一直不愿意拋頭露面的老黃，除了一身皮衣，更多的經(jīng)歷鮮有人知。

這次，紐約客的最新采訪深挖了老黃創(chuàng)業(yè)歷程、管理方式、以及如何帶領英偉達走向成功的過程。

老黃早年那些事

黃仁勛出生于1963年的臺灣，九歲時，他和哥哥被送往美國，在肯塔基州的奧奈達浸信會學院（ Oneida Baptist Institute, in Kentucky）學習。

黃仁勛和一個17歲的室友住在一起，他教室友識字，作為交換，室友教他臥推。每天晚上睡覺前，黃仁勛都要做一百個俯臥撐。

由于年齡太小，黃仁勛不能在這所學校上課，于是他去了附近的一所公立學校。

當時，校長向大家介紹了這位身材矮小、留著長發(fā)、操著濃重口音的亞洲移民。然而，也正因為這些特質(zhì)，讓黃仁勛飽受同學的霸凌。

幾年后，黃仁勛的父母獲準進入美國，定居在俄勒岡州，兄弟倆與父母團聚。

黃仁勛高中時成績優(yōu)異，是全國排名靠前的乒乓球運動員。他參加了學校的數(shù)學、計算機和科學俱樂部，跳了兩級，16歲就畢業(yè)了。——但是他也表示「我沒有女朋友?！?/span>

后來，黃仁勛進入俄勒岡州立大學，主修電子工程。

在入門課上，他的實驗搭檔是Lori Mills，認真、呆萌、有著一頭棕色卷發(fā)。

據(jù)黃仁勛回憶，當時電子工程專業(yè)有250個學生，大概只有三個女生。男生們爭相吸引Mills的注意，黃仁勛覺得自己處于劣勢?！肝沂前嗬镒钅贻p的孩子，看上去只有12歲左右」。

——然而，每個周末，黃仁勛都會給Mills打電話，纏著她一起做作業(yè)。

「我想給她留下深刻印象，不是因為我的長相，而是因為我完成作業(yè)的能力很強?！?/span>

做了六個月的功課后，黃仁勛鼓起勇氣約她出去。她接受了邀請。

畢業(yè)后，黃仁勛和Mills在硅谷找到了一份微芯片設計師的工作——「她實際上比我掙的多」。

后來兩人結(jié)婚了，幾年后，Mills離開了工作崗位，去撫養(yǎng)他們的孩子。那時，黃仁勛已經(jīng)開始經(jīng)營自己的部門，晚上則在斯坦福大學讀研究生。

3人創(chuàng)業(yè)，緣起一家餐廳

1993年，他與Chris Malachowsky和Curtis Priem兩位資深微芯片設計師共同創(chuàng)立了英偉達公司。

Malachowsky和Priem希望設計出一種圖形芯片。最初他們給公司起名叫NVision，但后來得知這個名字已經(jīng)被一家衛(wèi)生紙制造商使用。

黃仁勛建議使用英偉達，取自拉丁文i英偉達，意為「嫉妒」。他選擇丹尼餐廳（Denny's）作為組織業(yè)務的場所，是因為這里比家里安靜，而且有便宜的咖啡。

他曾于1980年代在俄勒岡州的連鎖餐廳工作過?！肝野l(fā)現(xiàn)，在逆境中我的思維最活躍。」

黃仁勛喜歡電子游戲，他認為市場需要更好的圖形芯片。那時，藝術(shù)家們開始用被稱為「基元」的形狀來組裝三維多邊形，而不是手工繪制像素，這樣做省時省力，但需要新的芯片。

英偉達的競爭對手使用三角形作為基元，但黃仁勛和同伴決定改用四邊形?！贿^后來證明這是一個錯誤，差點毀了公司。因為在英偉達發(fā)布第一款產(chǎn)品后不久，微軟宣布其圖形軟件將只支持三角形。

由于資金短缺，黃仁勛決定回到傳統(tǒng)的三角形方法。1996年，他裁掉了英偉達一百多名員工中的一半，然后把公司剩余的資金押在了未經(jīng)測試的微芯片生產(chǎn)上，他不確定這些微芯片是否能成功。

——「成功和失敗的概率五五開，但無論如何我們都要倒閉了」。

當這款名為RIVA 128的產(chǎn)品上市時，英偉達的資金僅夠支付一個月的工資。但這場賭博得到了回報，英偉達在四個月內(nèi)賣出了一百萬臺RIVA。

黃仁勛鼓勵他的員工帶著絕望的情緒繼續(xù)出貨，在以后的日子里，每逢面對員工演講，他的開場白就是「我們公司還有三十天就要倒閉了」。這句話至今仍是公司的非正式座右銘。

位于圣克拉拉（ Santa Clara）的英偉達總部中心有兩座巨大的建筑，每座建筑都呈三角形。從沙發(fā)、地毯到小便池的防濺罩，整個大樓內(nèi)部都是這種形狀的縮影。

每棟大樓的頂層都有一個酒吧，公司鼓勵員工把辦公室當作靈活的空間，在這里用餐、編碼和社交。如果員工在會議桌上用餐，AI可以在一小時內(nèi)派遣清潔工進行清理。在股價上漲之前，英偉達就被評為美國最佳工作場所之一。

在標準計算機體系結(jié)構(gòu)中，大部分工作由被稱為中央處理器（CPU）的微型芯片完成。幾十年來，CPU的主要制造商一直是英特爾，英特爾曾多次試圖迫使英偉達退出市場。

黃仁勛描述英偉達與英特爾之間的關系是「Tom and Jerry relationship」——每當他們靠近，我們就拿起芯片跑路。

對此，英偉達采用了另一種方法。1999年，公司在上市后不久就推出了名為GeForce的圖形卡。

與通用CPU不同的是，GPU把復雜的數(shù)學任務分解成小的計算，然后用并行計算的方法一次處理完。CPU的功能就像一輛送貨卡車，一次送一個包裹；而GPU則更像一支摩托車隊，在城市中穿梭。

GeForce系列取得了成功?！禥uake》（《雷神之錘》）系列視頻游戲推動了它的流行，該游戲使用并行計算來渲染玩家可以用榴彈發(fā)射器射擊的怪物。

《Quake》系列還推出了多人對戰(zhàn)的模式，PC游戲玩家為了獲得優(yōu)勢，每次升級都會購買新的GeForce顯卡。

2000年，斯坦福大學計算機圖形學的研究生Ian Buck將32塊GeForce顯卡連接在一起，使用8臺投影儀玩Quake?！@是第一臺8K分辨率的游戲機，它占據(jù)了整面墻。 「It was beautiful.」

GeForce顯卡附帶了一種叫做「著色器」的原始編程工具。在美國研究機構(gòu)darpa的資助下，Ian Buck黑進了著色器，訪問了下面的并行計算電路，將GeForce變成了一臺低成本的超級計算機。

隨后不久，Ian Buck就開始在英偉達上班了。

自2004年以來，Buck一直負責英偉達超級計算軟件包（CUDA）的開發(fā)工作。黃仁勛的愿景是讓CUDA能夠在每一塊GeForce顯卡上運行。

在Buck開發(fā)軟件的同時，英偉達的硬件團隊開始在微芯片上為超算分配空間。英偉達的首席芯片工程師Arjun Prabhu將微芯片設計比作城市規(guī)劃，芯片的不同區(qū)域?qū)ｉT用于執(zhí)行不同的任務。

2006年底，當CUDA發(fā)布時，華爾街的反應是驚愕。黃仁勛將超級計算帶給了大眾，但大眾并沒有表現(xiàn)出他們需要這樣的東西。

硅谷流行播客《Acquired》的主持人Ben Gilbert表示，英偉達花了數(shù)十億美元瞄準學術(shù)和科學計算的一個不起眼的角落，而這在當時并不是一個大市場。

到2008年底，英偉達的股價下跌了70%。

黃仁勛認為，CUDA的存在將擴大超級計算領域。但這一觀點并未得到廣泛認同。

2張英偉達顯卡，1個CUDA架構(gòu)，引爆神經(jīng)網(wǎng)絡

20世紀初，提起AI，完全是一個冷門的學科。人工智能在圖像識別、語音識別等領域的進展一直止步不前。

在這個不受歡迎的學術(shù)領域中，使用「神經(jīng)網(wǎng)絡」（受人腦啟發(fā)的計算結(jié)構(gòu)）來解決問題，更是沒有得到許多計算機科學家的青睞。

當時，深度學習研究員Bryan Catanzaro勸阻老黃，「不要研究神經(jīng)網(wǎng)絡。因為當時人們認為，這已經(jīng)過時了，而且不起作用」。

Catanzaro還將繼續(xù)研究神經(jīng)網(wǎng)絡的研究人員，統(tǒng)一稱為「荒野中的先知」。

這其中的一位先知，便指的是從多倫多大學教授退休、有AI教父之稱的Geoffrey Hinton。

2009年，Hinton的研究小組使用英偉達的CUDA平臺，訓練了一個神經(jīng)網(wǎng)絡來識別語音。

沒想到，這項研究結(jié)果的質(zhì)量，讓Hinton本人感到非常驚訝，并在當年的一次會議上匯報了結(jié)果。然后，他主動聯(lián)系了英偉達。

「我發(fā)了一封電子郵件說：『聽著，我剛剛告訴上千名機器學習研究人員，他們應該去購買英偉達顯卡。你能免費送我一塊嗎？』」。

然而，英偉達最后的回復只有一個字「No」。

盡管受到了冷落，Hinton還是鼓勵自己的學生使用CUDA，包括自己引以為傲的高徒Alex Krizhevsky。

2012年，Krizhevsky和研究伙伴Ilya Sutskever在預算緊張的情況下，購買了2張GeForce顯卡——GTX 580 GPU。

然后，Krizhevsky開始在英偉達的并行計算平臺上，訓練視覺識別神經(jīng)網(wǎng)絡——AlexNet，一周內(nèi)就向其輸入了數(shù)千萬張圖像。

Hinton回憶道，「他的臥室里那兩塊GPU一直嗡嗡運轉(zhuǎn)不停，可想而知，他父母一定支付了相當可觀的電費」。

隨后，Krizhevsky和小伙伴一起帶著AlexNet參加了一年一度的ImageNet大賽，一舉奪得冠軍，第一個深度卷積網(wǎng)絡模型就此誕生了。

GeForce顯卡的能力，讓Ilya和Krizhevsky雙雙感到驚訝。

其實，2012年早些時候，谷歌研究人員吳恩達、Jeff Dean曾訓練了一個可以「識別貓」的神經(jīng)網(wǎng)絡。

谷歌這項工作使用了大約1.6萬個CPU，而Sutskever和Krizhevsky僅用2塊英偉達電路板就產(chǎn)生了「世界級」的效果。

AlexNet正確識別了滑板車、豹子和集裝箱船等物品的圖片

然而，AlexNet在比賽中得分如此之高，以至于組織者最初懷疑Krizhevsky是否以某種方式作弊。因為神經(jīng)網(wǎng)絡在當時并不受歡迎，Ilya和Krizhevsky是唯一一個使用這種技術(shù)的參賽團隊。

Hinton稱，「那是一種大爆炸的時刻。這就是范式的轉(zhuǎn)變」。

這篇「ImageNet Classification with Deep Convolutional Neural Networks」9頁神作自2021年誕生以來，至今已被引用了了14萬+次，成為計算機史上重要的里程碑。

Krizhevsky開創(chuàng)了許多重要的編程技術(shù)，但他的主要發(fā)現(xiàn)是，「專用的GPU可以訓練神經(jīng)網(wǎng)絡，速度比通用CPU快100倍」。

Hinton補充道，「如果沒有CUDA，做機器學習就會非常麻煩」。

隨后幾年內(nèi)，ImageNet競賽的每個參賽者都在用上了「神經(jīng)網(wǎng)絡」。到20世紀20年代中期，在GPU上訓練的神經(jīng)網(wǎng)絡識別圖像的準確率達到了96%，遠遠超過了人類。

過去十年來，黃仁勛在推動超級計算和GPU的普及上取得了巨大的成功。

他表示，「事實上，它們現(xiàn)在可以解決完全非結(jié)構(gòu)化的計算機視覺問題，那么接下來，你還能教它做什么？」

英偉達從圖形公司，升級「AI公司」

答案似乎是：什么都可以！

黃仁勛總結(jié)說，神經(jīng)網(wǎng)絡將徹底改變社會，他可以利用CUDA占領必要的硬件市場。

當時，他宣布再次押注公司。

他在周五晚上發(fā)出一封郵件，「一切都將轉(zhuǎn)向深度學習，我們不再是一家圖形公司。從下周一早上開始，我們是一家人工智能公司」。

英偉達的蛻變，從字面上看，就是這么快。

就在黃仁勛發(fā)送那封電子郵件之時，他找到了英偉達首席人工智能研究員Catanzaro，進行了一次思想實驗。

Catanzaro表示，「他讓我想象，把英偉達的8000名員工都帶進停車場，然后我可以自由地從停車場選擇任何人加入自己的團隊」。

H100，成大模型掘金鏟

在AlexNet成功之后，風險投資人開始向AI投入大筆資金。

Andreessen Horowitz公司的Marc Andreessen在2016年表示，「我們一直在投資許多將深度學習應用于許多領域的初創(chuàng)公司，每一家公司都有效地建立在英偉達的平臺之上」。

大約在那個時候，英偉達向OpenAI的研究小組，交付了第一臺專用的人工智能超級計算機DGX-1。

黃仁勛親自把DGX-1帶到了OpenAI的辦公室，是由時任董事長的馬斯克開箱。

2017年，谷歌的研究人員提出了Transforme的神經(jīng)網(wǎng)絡架構(gòu)。

次年，OpenAI的研究人員便使用谷歌的框架構(gòu)建了第一個「生成式預訓練Transformer」。

GPT模型在英偉達超級計算機上進行訓練，使用了大量的文本語料庫，并學習如何建立類似人類的聯(lián)系。

2022年底，經(jīng)過多年迭代，當紅炸子雞ChatGPT終于面向公眾發(fā)布。

也就是從那時起，英偉達顯卡需求爆單。

其中，最強悍的DGX H100，一個重達160多公斤的金屬盒子，價格高達50萬美元，已經(jīng)缺貨了數(shù)月。

DGX H100的運行速度是訓練ChatGPT的硬件的5倍，并且可以在不到1分鐘的時間內(nèi)訓練AlexNet。

英偉達預計，將在23年年底前售出50萬臺DGX H100。

應用于神經(jīng)網(wǎng)絡的處理能力越強，其輸出就越復雜。對于最先進的AI系統(tǒng)，或許需要數(shù)十個英偉達DGX H100。

如果這還不夠，英偉達將把這些計算機像圖書館堆棧一樣排列，用價值數(shù)千萬美元的超級計算設備填滿數(shù)據(jù)中心。

顯然，人工智能的能力沒有明顯的限制。

在接下來的幾年里，英偉達的硬件將加速進化到計算機時鐘周期的速度，從而訓練出各種類似的人工智能模型。

據(jù)介紹，英偉達賣出的設備毛利率接近70%。

巨大的利潤讓所有開發(fā)AI訓練硬件的谷歌、特斯拉，以及初創(chuàng)公司都垂涎欲滴。

說起來，英偉達最激烈的競爭對手是AMD。

自2014年以來，AMD一直由另一位才華橫溢的工程師蘇姿豐（Lisa Su）經(jīng)營。自她成為公司負責人以來的幾年里，AMD的股價上漲了30倍，使她成為這個時代最成功的半導體CEO，僅次于黃仁勛。

值得一提的是，老黃和蘇姿豐還是親戚關系。

黃氏管理法

老黃本人很少接受采訪。他表示，「我并沒有做什么特別的事，主要是我的團隊的努力，我也不確定為什么我被選為首席執(zhí)行官，我并沒有任何特別的驅(qū)動力」。

當老黃下定決心在30歲經(jīng)營一家企業(yè)的時候，他的聯(lián)創(chuàng)Chris Malachowsky說，「你真的不是一個好演講者，因為你比較內(nèi)向」。

老黃表示，「我只有一個超能力——做作業(yè)」。英偉達軟件主管Dwight Diercks稱老黃可以在一個周末掌握任何課題。

黃仁勛更喜歡敏捷的公司結(jié)構(gòu)，沒有固定的部門或等級制度。取而代之的是，員工每周提交一份清單，列出他們正在做的5件最重要的事情。

而他自己，每天也要寫幾百封回復的郵件，與員工聊天，通常僅有幾句話。一位高管將這些郵件比作俳句，另一位還比作贖金票據(jù)。

老黃自己還制定了一套自己經(jīng)常引用的管理格言。

在安排任務時，老黃會要求員工考慮「光速」。這不僅意味著快速行動;相反，員工應該考慮一項任務可以完成的絕對速度，然后朝著可實現(xiàn)的目標逆向努力。

也許老黃最激進的信念是「失敗必須分享」。

2000年初，英偉達曾出貨了一款有故障的顯卡，風扇聲音過大、過度活躍。

然而，黃仁勛沒有解雇該顯卡的產(chǎn)品經(jīng)理，而是安排了一次會議，讓經(jīng)理們向幾百人介紹了，他們做出的每一個導致慘敗的決定。

英偉達的員工們有時也會抱怨，老黃的性格反復無常。

黃仁勛表示，「這其實是我腦子里想的和嘴里說的不一致。當錯位很嚴重時，就會表現(xiàn)為憤怒」。

即便在他很冷靜的時候，黃仁勛的強勢也可能是壓倒性的。一名員工形容，「與他交流就像把手指插進電插座里」。

盡管如此，英偉達員工流失率很低。

GPU的銷量暴漲，也讓英偉達成為了世界算力霸主，成功進入萬億美元俱樂部。這背后離不開領導人黃仁勛的「瘋狂式」的管理策略。

老黃曾表示，當你創(chuàng)立一家公司時，很自然地從第一性原理開始。