在Ilya探討完「預(yù)訓(xùn)練即將終結(jié)」之后，關(guān)于Scaling Law的討論再次引發(fā)熱議。

這屆NeurIPS將被銘記成預(yù)訓(xùn)練終結(jié)的一屆會(huì)議。

在最新研討會(huì)上，OpenAI大神，o1核心成員Noam Brown表示，o1代表的是一種全新的，以推理計(jì)算為代表的Scaling。

網(wǎng)友們表示：好好好，Scaling Law還沒(méi)有死！Scaling Law還在繼續(xù)。

演講實(shí)錄：Is Scaling is All you Need？

Noam Brown，OpenAI大神一枚，去年7月從Meta離職，曾開(kāi)發(fā)首個(gè)在戰(zhàn)略游戲中達(dá)到人類(lèi)水平的AI，此前在游戲AI領(lǐng)域相關(guān)研究成果曾登上Science封面。

如今在OpenAI致力于多步推理、自我博弈以及多智能體AI相關(guān)的研究。

此前在o1發(fā)布的直播時(shí)候露過(guò)面。

據(jù)網(wǎng)友@swyx分享，Noam Brown首先談到Scaling Law的過(guò)去演進(jìn)。

AI從2019年到現(xiàn)在，GPT-2演進(jìn)到GPT-4，這難以置信的成就都來(lái)自于數(shù)據(jù)和算力規(guī)模的擴(kuò)大。

但大語(yǔ)言模型仍然無(wú)法解決像井字棋這樣的簡(jiǎn)單問(wèn)題。

那么隨之而來(lái)的一個(gè)問(wèn)題是，Is Scaling is All you Need？我們真的還需要再消耗更高的成本來(lái)訓(xùn)練更好的AI嗎？

這當(dāng)中被低估的其實(shí)是推理的成本，它在過(guò)去的擴(kuò)展（Scaling）要少得多。o1帶來(lái)了Scaling的新的維度。

隨后，他追溯了過(guò)去模型展現(xiàn)出來(lái)的類(lèi)似規(guī)律。

比如在2012年-2015年間撲克模型的擴(kuò)展。模型規(guī)模每年擴(kuò)展5倍，但收效不大。但依照「人類(lèi)需要更長(zhǎng)時(shí)間思考更難問(wèn)題」這一見(jiàn)解，增加了模型20 秒的搜索時(shí)間，效果大致相當(dāng)于將模型規(guī)模擴(kuò)大了100000倍。

還有在棋牌中擴(kuò)展推理的歷史，backgammon- 國(guó)際象棋 - 圍棋。AlphaGo Zero在原始NN基礎(chǔ)上實(shí)現(xiàn)了從3000到5200 Elo增長(zhǎng)，都是因?yàn)閠est-time search（推理時(shí)間搜索）。

此外，他還引用了Andy L.Jones關(guān)于Scaling Laws of games的圖表——可以用10倍的預(yù)訓(xùn)練計(jì)算量換取15倍的測(cè)試時(shí)間計(jì)算量。

如果游戲結(jié)果擴(kuò)展到 LLMs，是不是也會(huì)是如此？

那么關(guān)于o1接下來(lái)，會(huì)有更高的推理計(jì)算能力。在過(guò)去 5 年里，LLM概念就是聊天機(jī)器人。那么他們可以做得更好”

最后他還打了個(gè)小廣告，目前他的多智能體團(tuán)隊(duì)還在招人ing。

網(wǎng)友評(píng)論

如果再結(jié)合昨天Ilya談到「預(yù)訓(xùn)練時(shí)代即將終結(jié)」。那么對(duì)于市場(chǎng)來(lái)說(shuō)，這一波可不是利好英偉達(dá)了（Doge）。

不過(guò)也有從業(yè)者站出來(lái)反對(duì)他的看法：推理時(shí)間計(jì)算（Inference Time Computation）并不新鮮，本來(lái)還想把它去掉，但出于需要又讓它回來(lái)了。

他還糾正說(shuō)，里面關(guān)于諸多游戲時(shí)間順序是錯(cuò)誤的，許多游戲（包括國(guó)際象棋和圍棋）一開(kāi)始都只專(zhuān)注于推理時(shí)間計(jì)算。但后來(lái)大家都傾向于離線(xiàn)學(xué)習(xí)策略，這樣省去了大量的在線(xiàn)計(jì)算時(shí)間。

因此，減少面向用戶(hù)的推理時(shí)間計(jì)算是一個(gè)深思熟慮的選擇，甚至導(dǎo)致該領(lǐng)域開(kāi)始改變對(duì)計(jì)算復(fù)雜性考慮的方式。

這一趨勢(shì)在 LLMs 中也得到了延續(xù)——所有的重點(diǎn)都放在預(yù)訓(xùn)練上，因此推理時(shí)間的計(jì)算量可以忽略不計(jì)。這樣對(duì)終端用戶(hù)來(lái)說(shuō)成本極低，甚至可以在本地的邊緣設(shè)備上完成。

Ilya在談到未來(lái)超級(jí)智能的暢想時(shí)，也提及了當(dāng)前推理的不可預(yù)測(cè)性：

推理越多，系統(tǒng)變得越不可預(yù)測(cè)，這一點(diǎn)在一些復(fù)雜任務(wù)中表現(xiàn)得尤為突出。

他還提到：

目前的AI系統(tǒng)還不能真正理解和推理，雖然它們能模擬人類(lèi)的直覺(jué)，但未來(lái)的AI將會(huì)在推理和決策方面展現(xiàn)出更加不可預(yù)測(cè)的能力。

不過(guò)大模型到底會(huì)朝著哪些能力上擴(kuò)展，這個(gè)還得看這些科學(xué)家們持續(xù)探索。

One More Thing

本來(lái)啊，從現(xiàn)場(chǎng)repo來(lái)看，這本來(lái)是個(gè)關(guān)于數(shù)學(xué)AI的研討會(huì)，硬生生地被他弄成了討論大模型推理Scaling Law。

現(xiàn)場(chǎng)也是人很多，據(jù)說(shuō)門(mén)口都還有20多個(gè)人在排隊(duì)等待。當(dāng)然也有部分原因是房間太小了。

參考鏈接：

[1]https://x.com/swyx/status/1867990396762243324。
[2]https://x.com/e__honig/status/1868002417045840243。
[3]https://x.com/drapersgulld/status/1868023022390485052。