“o1發(fā)布后，一個(gè)新的范式產(chǎn)生了”。

其中關(guān)鍵，OpenAI研究科學(xué)家、o1核心貢獻(xiàn)者Hyung Won Chung，剛剛就此分享了他在MIT的一次演講。

演講主題為“Don’t teach. Incentivize（不要教，要激勵(lì)），核心觀點(diǎn)是：

激勵(lì)A(yù)I自我學(xué)習(xí)比試圖教會AI每一項(xiàng)具體任務(wù)更重要

圖片

思維鏈作者Jason Wei迅速趕來打call：

Hyung Won識別新范式并完全放棄任何沉沒成本的能力給我留下了深刻的印象。
2022年底，他意識到了強(qiáng)化學(xué)習(xí)的力量，并從那時(shí)起就一直在宣揚(yáng)它。

圖片

在演講中，Hyung Won還分享了：

• 技術(shù)人員過于關(guān)注問題解決本身，但更重要的是發(fā)現(xiàn)重大問題；
• 硬件進(jìn)步呈指數(shù)級增長，軟件和算法需要跟上；
• 當(dāng)前存在一個(gè)誤區(qū)，即人們正在試圖讓AI學(xué)會像人類一樣思考；
• “僅僅擴(kuò)展規(guī)?！?往往在長期內(nèi)更有效；
• ……

下面奉上演講主要內(nèi)容。

對待AI：授人以魚不如授人以漁

先簡單介紹下Hyung Won Chung，從公布的o1背后人員名單來看，他屬于推理研究的基礎(chǔ)貢獻(xiàn)者。

圖片

資料顯示，他是MIT博士（方向?yàn)榭稍偕茉春湍茉聪到y(tǒng)），去年2月加入OpenAI擔(dān)任研究科學(xué)家。

加入OpenAI之前，他在Google Brain負(fù)責(zé)大語言模型的預(yù)訓(xùn)練、指令微調(diào)、推理、多語言、訓(xùn)練基礎(chǔ)設(shè)施等。

圖片

在谷歌工作期間，曾以一作身份，發(fā)表了關(guān)于模型微調(diào)的論文。（思維鏈作者Jason Wei同為一作）

圖片

回到正題。在MIT的演講中，他首先提到：

通往AGI唯一可行的方法是激勵(lì)模型，使通用技能出現(xiàn)。

在他看來，AI領(lǐng)域正處于一次范式轉(zhuǎn)變，即從傳統(tǒng)的直接教授技能轉(zhuǎn)向激勵(lì)模型自我學(xué)習(xí)和發(fā)展通用技能。

理由也很直觀，AGI所包含的技能太多了，無法一一學(xué)習(xí)。（主打以不變應(yīng)萬變）

圖片

具體咋激勵(lì)呢？？

他以下一個(gè)token預(yù)測為例，說明了這種弱激勵(lì)結(jié)構(gòu)如何通過大規(guī)模多任務(wù)學(xué)習(xí)，鼓勵(lì)模型學(xué)習(xí)解決數(shù)萬億個(gè)任務(wù)的通用技能，而不是單獨(dú)解決每個(gè)任務(wù)。

他觀察到：

如果嘗試以盡可能少的努力解決數(shù)十個(gè)任務(wù)，那么單獨(dú)模式識別每個(gè)任務(wù)可能是最簡單的；
如果嘗試解決數(shù)萬億個(gè)任務(wù)，通過學(xué)習(xí)通用技能（例如語言、推理等）可能會更容易解決它們。

圖片

對此他打了個(gè)比方，“授人以魚不如授人以漁”，用一種基于激勵(lì)的方法來解決任務(wù)。

Teach him the taste of fish and make him hungry.（教AI嘗嘗魚的味道，讓他餓一下）

然后AI就會自己出去釣魚，在此過程中，AI將學(xué)習(xí)其他技能，例如耐心、學(xué)習(xí)閱讀天氣、了解魚等。

其中一些技能是通用的，可以應(yīng)用于其他任務(wù)。

面對這一“循循善誘”的過程，也許有人認(rèn)為還不如直接教來得快。

但在Hyung Won看來：

對于人類來說確實(shí)如此，但是對于機(jī)器來說，我們可以提供更多的計(jì)算來縮短時(shí)間。

圖片

換句話說，面對有限的時(shí)間，人類也許還要在專家 or 通才之間做選擇，但對于機(jī)器來說，算力就能出奇跡。

他又舉例說明，《龍珠》里有一個(gè)設(shè)定：在特殊訓(xùn)練場所，角色能在外界感覺只是一天的時(shí)間內(nèi)獲得一年的修煉效果。

對于機(jī)器來說，這個(gè)感知差值要高得多。
因此，具有更多計(jì)算能力的強(qiáng)大通才通常比專家更擅長特殊領(lǐng)域。

原因也眾所周知，大型通用模型能夠通過大規(guī)模的訓(xùn)練和學(xué)習(xí)，快速適應(yīng)和掌握新的任務(wù)和領(lǐng)域，而不需要從頭開始訓(xùn)練。

圖片

他還補(bǔ)充道，數(shù)據(jù)顯示計(jì)算能力大約每5年提高10倍。

圖片

總結(jié)下來，Hyung Won認(rèn)為核心在于：

• 模型的可擴(kuò)展性
• 算力對加速模型進(jìn)化至關(guān)重要

此外，他還認(rèn)為當(dāng)前存在一個(gè)誤區(qū)，即人們正在試圖讓AI學(xué)會像人類一樣思考。

但問題是，我們并不知道自己在神經(jīng)元層面是如何思考的。

機(jī)器應(yīng)該有更多的自主性來選擇如何學(xué)習(xí)，而不是被限制在人類理解的數(shù)學(xué)語言和結(jié)構(gòu)中。

在他看來，一個(gè)系統(tǒng)或算法過于依賴人為設(shè)定的規(guī)則和結(jié)構(gòu)，那么它可能難以適應(yīng)新的、未預(yù)見的情況或數(shù)據(jù)。

造成的結(jié)果就是，面對更大規(guī)?；蚋鼜?fù)雜的問題時(shí)，其擴(kuò)展能力將會受限。

圖片

回顧AI過去70年的發(fā)展，他總結(jié)道：

AI的進(jìn)步與減少人為結(jié)構(gòu)、增加數(shù)據(jù)和計(jì)算能力息息相關(guān)。

與此同時(shí)，面對當(dāng)前人們對scaling Law的質(zhì)疑，即認(rèn)為僅僅擴(kuò)大計(jì)算規(guī)?？赡鼙徽J(rèn)為不夠科學(xué)或有趣。

Hyung Won的看法是：

在擴(kuò)展一個(gè)系統(tǒng)或模型的過程中，我們需要找出那些阻礙擴(kuò)展的假設(shè)或限制條件。

舉個(gè)例子，在機(jī)器學(xué)習(xí)中，一個(gè)模型可能在小數(shù)據(jù)集上表現(xiàn)良好，但是當(dāng)數(shù)據(jù)量增加時(shí)，模型的性能可能會下降，或者訓(xùn)練時(shí)間會變得不可接受。

這時(shí)，可能需要改進(jìn)算法，優(yōu)化數(shù)據(jù)處理流程，或者改變模型結(jié)構(gòu)，以適應(yīng)更大的數(shù)據(jù)量和更復(fù)雜的任務(wù)。

也就是說，一旦識別出瓶頸，就需要通過創(chuàng)新和改進(jìn)來替換這些假設(shè)，以便模型或系統(tǒng)能夠在更大的規(guī)模上有效運(yùn)行。

訓(xùn)練VS推理：效果相似，推理成本卻便宜1000億倍

除了上述，o1另一核心作者Noam Brown也分享了一個(gè)觀點(diǎn)：

訓(xùn)練和推理對模型性能提升作用相似，但后者成本更低，便宜1000億倍。

圖片

這意味著，在模型開發(fā)過程中，訓(xùn)練階段的資源消耗非常巨大，而實(shí)際使用模型進(jìn)行推理時(shí)的成本則相對較低。

有人認(rèn)為這凸顯了未來模型優(yōu)化的潛力。

圖片

不過也有人對此持懷疑態(tài)度，認(rèn)為二者壓根沒法拿來對比。

這是一個(gè)奇怪的比較。一個(gè)是邊際成本，另一個(gè)是固定成本。這就像說實(shí)體店比其中出售的商品貴500000倍

圖片

對此，你怎么看？

Hyung Won Chung演講PPT：https://docs.google.com/presentation/d/1nnjXIuN2XDJENAOaKXI5srQscO3276svvP6JgivTv6w/edit#slide=id.g2d1161c9c52_0_20

參考鏈接：
[1]https://x.com/hwchung27/status/1836842717302943774[2]https://x.com/tsarnick/status/1836215965912289306