為了訓(xùn)練ChatGPT，微軟可謂下了足夠多的血本。

ChatGPT消耗的總算力約為3640PF-days，假如每秒計(jì)算一千萬億次，需要計(jì)算3640天。

微軟將3萬多個(gè)英偉達(dá)A100芯片連起來，為OpenAI耗資數(shù)億美元量身打造了超算。

要是這么耗下去，微軟腰包恐怕也吃不消。

其實(shí)，取代英偉達(dá)芯片的計(jì)劃，已經(jīng)從2019年起，就開始在公司內(nèi)部秘密展開了。

The Information報(bào)道稱，大約在5年前，微軟就開始研發(fā)一種芯片，內(nèi)部代號(hào)「雅典娜」（Athena），300人共同研發(fā)。

而最初的計(jì)劃，是用臺(tái)積電的5nm工藝打造。

自研Athena，挑戰(zhàn)英偉達(dá)

不用多說，「雅典娜」是專為訓(xùn)練大型語言模型（LLM）而設(shè)計(jì)的。

而現(xiàn)在，微軟想要把GPT-4能力全部裝進(jìn)包括Bing、Microsoft 365和GitHub在內(nèi)的全家桶中，必定需要大量的算力支持。

讓人震驚的是，開發(fā)類似于Athena這種芯片的成本，可能約為每年1億美元。

在訓(xùn)練模型時(shí)，研究人員可以借助「雅典娜」的功能來處理新數(shù)據(jù)，同時(shí)，還能進(jìn)行推理。

這樣一來，以前處理人工智能軟件必須使用專用計(jì)算機(jī)的局面就得到緩解了，畢竟，專門用來跑AI的計(jì)算機(jī)從來都不夠用。

因?yàn)?，之前只有英偉達(dá)才生產(chǎn)這種芯片，而供貨量的缺少也就使得整個(gè)科技行業(yè)都感受到了這種短缺。

也正因如此，微軟才不得不專門為一部分內(nèi)部團(tuán)隊(duì)提供專用芯片。

此前，研究公司SemiAnalysis曾估算，ChatGPT每日燒70萬美元，每查詢一次，就需要0.36美分。

如果「雅典娜」具有競(jìng)爭(zhēng)力，就能夠?qū)⒚款w芯片的成本降低1/3。

Forrester Research的高級(jí)云分析師Tracy Woo表示，AI的爆火讓各大公司都涌入其中，而芯片的缺乏不僅給供貨商帶來壓力，還給AI科技公司帶來了壓力。

像谷歌和亞馬遜這樣大體量的科技公司有足夠的資本設(shè)計(jì)和開發(fā)屬于自己的芯片，其它的公司也得眸足勁兒緊跟步伐。

說回到微軟的「雅典娜」。

其實(shí)微軟的AI芯片項(xiàng)目發(fā)布的時(shí)機(jī)純屬偶然，并不是蓄謀已久。

今年年初，OpenAI和微軟對(duì)于LLM的訓(xùn)練有了質(zhì)的飛躍。知情人士表示，ChatGPT的發(fā)布引爆了網(wǎng)絡(luò)，也正因如此，微軟才急匆匆地加快了「雅典娜」的問世。

要知道，ChatGPT的用戶已經(jīng)超過1億了。

據(jù)預(yù)測(cè)，微軟可能最早在明年大面積應(yīng)用「雅典娜」，范圍包括微軟內(nèi)部和OpenAI。他們還在猶豫的是，要不要把「雅典娜」提供給Azure云計(jì)算服務(wù)的客戶。

微軟方面表示，大多數(shù)客戶不需要訓(xùn)練自己的LLM，因此也就不需要芯片加持。

然而如果真要給的話，微軟可得干過英偉達(dá)。畢竟，英偉達(dá)的芯片已經(jīng)辛勤耕耘十五載，暢銷所有開發(fā)者。

研究公司SemiAnalysis的首席分析師Dylan Patel表示，ChatGPT的運(yùn)營(yíng)成本大概是每天70萬美元，大概每次查詢0.36美分。而這些成本的主要來源，就是服務(wù)器，實(shí)在是太貴了。

但如果OpenAI用上自己研發(fā)的「雅典娜」，還能pk過英偉達(dá)的話，那么成本能直降三分之一。

他進(jìn)一步表示，微軟未來還希望在所有旗下的應(yīng)用程序中都使用LLM，比如Bing、Office 365、GitHub等等。而如果繼續(xù)使用目前的硬件進(jìn)行部署，那每年得花數(shù)百億美元。

此外，微軟自研芯片還有另一個(gè)數(shù)據(jù)支撐。

微軟的高層預(yù)測(cè)了究竟需要多少圖形處理單元來支撐AI工作。而其中一位知情者表示，完全依賴英偉達(dá)的芯片的話，成本高的嚇人。

雖說去年微軟和英偉達(dá)剛剛達(dá)成了一個(gè)建設(shè)超算的合作項(xiàng)目，但在芯片這方面，「雅典娜」還是和英偉達(dá)的產(chǎn)品存在競(jìng)爭(zhēng)關(guān)系。

不過，對(duì)于這一敏感話題，英偉達(dá)拒絕置評(píng)。