語言模型競(jìng)技場(chǎng)LM Arena，新的「全能冠軍」誕生了！

這次是「地球上最聰明的AI」——Grok 3。

Grok 3證明了Scaling Law的確有效，OpenAI技術(shù)護(hù)城河被攻破！

此前，DeepSeek證明不用Scaling Law也能達(dá)到OpenAI o1水平。

真是「一根筋，兩頭堵」：無論Scaling Law有用沒用，OpenAI的技術(shù)「窗戶紙」被捅破了。

這不得不懷疑OpenAI到底行不行？OpenAI的盈利模式有可持續(xù)性嗎？xAI+DeepSeek又能帶來什么？

Atreides Management的管理合伙人和首席投資官Gavin S. Baker，分享了自己對(duì)AI競(jìng)爭(zhēng)的見解。

OpenAI時(shí)代結(jié)束

從2022年夏季到2024年春季，OpenAI在GPT-4上領(lǐng)先，直到谷歌和Anthropic追上了GPT-4。

OpenAI是首個(gè)積極采用傳統(tǒng)「Scaling Law」進(jìn)行預(yù)訓(xùn)練的公司，享受了大約7個(gè)季度的主導(dǎo)地位。

首次實(shí)現(xiàn)o1推理只帶來了幾個(gè)月的優(yōu)勢(shì)。

如今，DeepSeek、谷歌和xAI與OpenAI大致處于同一水平，其中xAI可能稍占優(yōu)勢(shì)。

谷歌和xAI預(yù)計(jì)很快會(huì)憑借其更好的基礎(chǔ)模型，顯著超越o3。

因此，OpenAI迫切需要推出GPT-5，作為未來「o5」推理模型的基礎(chǔ)。

奧特曼都承認(rèn)，OpenAI未來的領(lǐng)先優(yōu)勢(shì)將會(huì)縮小。

而微軟CEO納德拉則明確表示，在模型能力上，OpenAI一度擁有獨(dú)特的優(yōu)勢(shì)，而這一即將結(jié)束。

OpenAI沒有獨(dú)門秘籍

谷歌和xAI都擁有獨(dú)特且有價(jià)值的數(shù)據(jù)源，這些數(shù)據(jù)源使它們逐漸區(qū)別于DeepSeek、OpenAI和Anthropic。

如果Meta在模型能力方面趕上，也會(huì)如此。

Gavin S. Baker認(rèn)為：沒有訪問獨(dú)特且有價(jià)值數(shù)據(jù)的頂級(jí)AI模型，是有史以來貶值最快的資產(chǎn)。

蒸餾只會(huì)加劇這一現(xiàn)象。

微軟似乎也認(rèn)同這一觀點(diǎn)：選擇了不再給OpenAI投入1600億美元進(jìn)行預(yù)訓(xùn)練，并取消了傳聞中的數(shù)據(jù)中心建設(shè)。

如果沒有訪問YouTube、X、TeslaVision、Instagram和Facebook等獨(dú)有數(shù)據(jù)，未來的尖端模型可能不會(huì)有投資回報(bào)（ROI）。

從這個(gè)角度看，扎克伯格的戰(zhàn)略似乎更加合理。

最終，獨(dú)有的數(shù)據(jù)可能是唯一能夠帶來差異化，并對(duì)預(yù)訓(xùn)練萬億甚至千萬億級(jí)別參數(shù)模型的投資回報(bào)的基礎(chǔ)。

OpenAI難以一家獨(dú)大

經(jīng)濟(jì)學(xué)家Ethan Mollick，則認(rèn)為AI的確進(jìn)入了新時(shí)代，OpenAI時(shí)代落幕了。

左圖是訓(xùn)練Scaling Law，也就就是說模型規(guī)模越大，性能越強(qiáng)。訓(xùn)練更大的模型需要增加計(jì)算能力、數(shù)據(jù)和能源的使用量。

通常，需要將計(jì)算能力增加10倍以獲得性能的線性增長(zhǎng)。計(jì)算能力以FLOPs（浮點(diǎn)運(yùn)算）衡量，這是計(jì)算機(jī)執(zhí)行的基本數(shù)學(xué)運(yùn)算的數(shù)量，如加法或乘法。

右圖是推理Scaling Law，也就就是說模型思考越久，它表現(xiàn)越好。

如果讓模型花更多計(jì)算能力去處理問題，就能得到更好的結(jié)果——

就像給聰明人幾分鐘額外時(shí)間來解決謎題一樣。

這稱之為測(cè)試時(shí)或推理時(shí)計(jì)算

第二個(gè)規(guī)模法則誕生了推理模型（Reasoner）。

在需要時(shí)，第三代模型都將作為Reasoners運(yùn)行，因?yàn)橛袃蓚€(gè)優(yōu)勢(shì)：更大的訓(xùn)練規(guī)模，以及在解決問題時(shí)具有可擴(kuò)展性。

這兩個(gè)Scaling Law正在極大地提升AI的數(shù)學(xué)能力，并且還在增加其他方面的能力。

如果有一個(gè)大型、智能的AI模型，就可以用它來創(chuàng)建更小、更快、更便宜的模型，這些模型的智能程度雖然不如母模型，但仍然相當(dāng)高。

即使是小型模型，但加入了推理能力，它們會(huì)變得更加智能。這意味著AI的能力在提升，而成本卻在下降。

下圖展示了這一趨勢(shì)的迅速發(fā)展，y軸上表示AI的能力，x軸上表示成本的對(duì)數(shù)下降。

GPT-4剛發(fā)布時(shí)，每百token大約需要50美元（大約相當(dāng)于一個(gè)單詞）。

而現(xiàn)在使用比比原始GPT-4更強(qiáng)大的Gemini 1.5 Flash，每百萬token的成本大約只有12美分，成本下降了99%+。

GPQA是一系列非常難的多項(xiàng)選擇題，旨在測(cè)試高級(jí)知識(shí)。擁有互聯(lián)網(wǎng)訪問權(quán)限的博士在其專業(yè)領(lǐng)域外的正確率為34%，在其專業(yè)領(lǐng)域內(nèi)的正確率為81%。每百萬token的成本是使用模型的成本（Gemini Flash Thinking的成本是估算的）。

OpenAI內(nèi)憂外患

Gavin S. Baker認(rèn)為微軟之所以不給OpenAI提供1600億美元的預(yù)訓(xùn)練資金，就是因?yàn)锳I的預(yù)訓(xùn)練是前期成本，并不能帶來利潤(rùn)。

相反，微軟將提供OpenAI推理服務(wù)來賺錢。

The information估計(jì)軟銀今年將在OpenAI產(chǎn)品上投入超過20億美元，約占OpenAI收入的20%。25-30年，OpenAI在算力上的花費(fèi)為3200億美元。2027年現(xiàn)金消耗達(dá)200億美元。

而在2023年，納德拉一度公開表示無法想象沒有AI的生活，要全力押注AI。

現(xiàn)在微軟和OpenAI的裂痕在持續(xù)加大。最近，納德拉的采訪更是被解讀為微軟與OpenAI不和，引起股價(jià)下跌。

去年，微軟就表示將非OpenAI的模型接入到Copilot中。

在未來某個(gè)時(shí)刻，微軟甚至可能使用開源模型來支持Copilot。

Copilot已有多家AI供應(yīng)商

除了最大的外部合作伙伴，一些高管和重要員工也紛紛另立門戶。

前CTO，Mira Murati，與OpenAI的老同事聯(lián)合創(chuàng)立了Thinking Machines Lab，目標(biāo)是AI研究和產(chǎn)品。

前首席科學(xué)家，Ilya Sutskever，創(chuàng)立了Safe Superintelligence，目標(biāo)是AI安全。

創(chuàng)始員工，Andrej Karpathy，兩度加入OpenAI，最后選擇離開，創(chuàng)立Eureka Labs，主營(yíng)業(yè)務(wù)為AI教育。

副總裁，Dario Amodei，創(chuàng)立Anthropic，最近剛剛推出了AI模型Claude 3.7 Sonnet。

更不要提，馬斯克還在法院提起訴訟，竭力阻止奧特曼將OpenAI轉(zhuǎn)為非營(yíng)利公司。

AI的收入來自推理

如果Scaling Law還有效，訓(xùn)練數(shù)據(jù)決定了未來大模型的投資回報(bào)，那么只有2到3家公司，會(huì)進(jìn)行尖端模型的預(yù)訓(xùn)練。

只要少數(shù)幾個(gè)巨型數(shù)據(jù)中心，就足以讓它們進(jìn)行所需的連續(xù)集群預(yù)訓(xùn)練。

其余的AI計(jì)算只需要一些較小的數(shù)據(jù)中心，這些數(shù)據(jù)中心經(jīng)過地理優(yōu)化，從而實(shí)現(xiàn)了低延遲和/或高成本效益的推理。

Gavin S. Baker認(rèn)為：「經(jīng)濟(jì)高效的推理 = 更便宜、質(zhì)量較低的電力」。

現(xiàn)在，全世界有6-10家公司會(huì)預(yù)訓(xùn)練尖端模型，但到那時(shí)，一切將截然不同。

請(qǐng)注意，推理模型的計(jì)算量非常大。測(cè)試時(shí)的計(jì)算意味著計(jì)算就是智能。

因此，與2023-2024年整個(gè)市場(chǎng)的「以預(yù)訓(xùn)練為中心」相比，這種情況所需的計(jì)算量可能還要大。

這和目前的算力分布，完全不同：

不再是預(yù)訓(xùn)練和推理各占50%的情況。

而可能變成預(yù)訓(xùn)練只占5%，推理占95%。

很多硬件將針對(duì)推理進(jìn)行優(yōu)化，而很少針對(duì)預(yù)訓(xùn)練優(yōu)化。

卓越的基礎(chǔ)設(shè)施將至關(guān)重要。

所有這些都沒有考慮到設(shè)備上（on-device）推理和/或完全量化的影響。

而超級(jí)智能（ASI）的經(jīng)濟(jì)效益，本質(zhì)上是未知的。

Gavin S. Baker希望它們很高，但一個(gè)擁有140智商的模型，在設(shè)備上運(yùn)行并訪問關(guān)于世界的獨(dú)特?cái)?shù)據(jù)，對(duì)于大多數(shù)用例來說可能已經(jīng)足夠。

ASI（超級(jí)智能）并不需要用來預(yù)訂旅行等任務(wù)。

到2030年，推理成本（即運(yùn)行AI模型的成本）預(yù)計(jì)將超過訓(xùn)練成本，因此OpenAI需要一個(gè)長(zhǎng)期可持續(xù)的解決方案。

如果Stargate項(xiàng)目未能提供與微軟云服務(wù)相同的穩(wěn)定性和效率，這可能會(huì)帶來重大風(fēng)險(xiǎn)。

時(shí)間會(huì)證明一切。

DeepSeek效應(yīng)

即便是DeepSeek梁文峰公開表示，業(yè)內(nèi)對(duì)DeepSeek-R1反應(yīng)過度。他表示這只是一次一般的普通的創(chuàng)新，世界每天都有類似這樣的創(chuàng)新。

不妨假設(shè)一下，DeepSeek來自美國(guó)中西部某個(gè)實(shí)驗(yàn)室。

比如，某個(gè)計(jì)算機(jī)科學(xué)實(shí)驗(yàn)室買不起最新的英偉達(dá)芯片，只能使用舊硬件。

但他們有一個(gè)很棒的算法和系統(tǒng)部門，用幾百萬美元訓(xùn)練了一個(gè)模型：

瞧，這個(gè)模型與o1大致相當(dāng)?？?，我們找到了一個(gè)新的訓(xùn)練方法，我們優(yōu)化了很多算法！

每個(gè)人都像「哦哇」一樣開始嘗試同樣的方法，然后歡呼：這是AI進(jìn)步的一周！

美國(guó)股市也不會(huì)因此蒸發(fā)一萬億美元。

DeepSeek的確在大模型訓(xùn)練上，取得了一些創(chuàng)新。但和其他從業(yè)人員一樣研究同樣的問題。

不僅如此，他們還發(fā)表了論文，并開源了模型。

在開源AI界，甚至出現(xiàn)了用最經(jīng)濟(jì)的方法，復(fù)刻DeepSeek-R1「頓悟時(shí)刻」的競(jìng)賽。

這一切就像是2004年的谷歌。

在2004年，谷歌在上市招股書S-1文件中，向世界透露他們使用分布式算法，在計(jì)算機(jī)網(wǎng)絡(luò)中將商品連接在一起，實(shí)現(xiàn)了最佳的性價(jià)比，從而構(gòu)建了最大的超級(jí)計(jì)算機(jī)集群。

谷歌S-1文件鏈接：https://www.sec.gov/Archives/edgar/data/1288776/000119312504073639/ds1.htm

這與當(dāng)時(shí)其他所有科技公司都不同，它們只是購(gòu)買越來越大的大型機(jī)。

為了跟上不斷上升的交易量，一些大公司會(huì)從甲骨文購(gòu)買越來越大的數(shù)據(jù)庫服務(wù)器。

谷歌的S-1描述了如何能夠超越大型機(jī)的可伸縮性限制。

后來，谷歌發(fā)表了MapReduce和BigTable論文，描述了用于管理和控制這個(gè)成本效益更高、功能更強(qiáng)大的超級(jí)計(jì)算機(jī)的算法。

谷歌在取得如此巨大成功之后，并沒有馬上發(fā)表論文，公開他們的做法。

相比之下，在與模型發(fā)布的同時(shí)，DeepSeek發(fā)表了論文。

DeepSeek的發(fā)展軌跡，與2004年谷歌展示自己的能力并沒有什么本質(zhì)不同。

競(jìng)爭(zhēng)對(duì)手仍然需要調(diào)整并實(shí)際去做這件事，但DeepSeek推動(dòng)了這一領(lǐng)域的發(fā)展。

認(rèn)為英偉達(dá)、OpenAI、Meta、微軟、谷歌等公司已經(jīng)完蛋了，這種想法也沒什么理由。

當(dāng)然，DeepSeek是一個(gè)新的、強(qiáng)大的新興公司，但AI領(lǐng)域不是每周都會(huì)出現(xiàn)這樣的情況嗎？

每個(gè)人都會(huì)在幾個(gè)月內(nèi)復(fù)制這一成就，一切都會(huì)變得更便宜。

唯一的真正后果是，AI烏托邦/末日現(xiàn)在比以往任何時(shí)候都要近。