萬引大神: 機器學(xué)習(xí)不存在了
微軟總部研究院機器學(xué)習(xí)理論組負責(zé)人萬引大神Sébastien Bubeck聯(lián)手2023新視野數(shù)學(xué)獎得主Ronen Eldan、2023新晉斯隆研究獎得主李遠志、2020斯隆研究獎得主Yin Tat Lee等人，在其論文《通用人工智能的火花：GPT-4早期實驗》中申明：“GPT-4可被視作AGI （人工通用智能）的早期版本”。這項研究最近30天關(guān)注度極高，眾多大佬爭相轉(zhuǎn)發(fā)。
大神們做了非常專業(yè)的評測，雖然最后結(jié)論措辭偏向保守，但也實實在在認定了GPT4在AGI方向質(zhì)的飛躍，同時也印證了筆者的剛剛接觸ChatGPT時候的判斷：??ChatGPT是第一個真正意義的人工通用智能 。??
GPT-4展示了在推理、問題解決和語言能力方面的巨大提升。標(biāo)志著人工智能的一個“相變”，并加速進步。為此微軟研究院制作了一系列播客，AI科學(xué)家兼工程師Ashley Llorens與他的同事對話，探討現(xiàn)在及未來的這類新模型，對人們創(chuàng)造、理解和部署人工智能，在醫(yī)療保健和教育等領(lǐng)域的應(yīng)用，以及最終其造福人類意味著什么。第一集節(jié)目就邀請了Sebastien Bubeck，探討這篇論文中的發(fā)現(xiàn)，內(nèi)容詳見文末“原文鏈接”-- AI前沿：Sébastien Bubeck解析AI物理學(xué)。
其中筆者對下面這段高度關(guān)注，Bubeck宣稱傳統(tǒng)機器學(xué)習(xí)已經(jīng)不存在了，他和他的團隊全面轉(zhuǎn)向 AI 物理學(xué)。與筆者近期的幾篇文章的觀點不謀而合。研究大模型的機理，微軟研究院有得天獨厚的資源優(yōu)勢，應(yīng)該也可以看到GPT的模型內(nèi)部，期待他們落地的有價值的發(fā)現(xiàn)，而不是像筆者能做的僅僅是理論上的推演。
*********************************
Ashley Llorens: 我想回到你早些時候提到的自然進化與人工進化的概念。我認為這開始暗示了你想要將這個領(lǐng)域帶到哪里的方向，至少在你的研究和團隊方面。那就是，關(guān)注涌現(xiàn)的方面以及智能如何涌現(xiàn)。那么，從這一點出發(fā)，從你剛才描述的與 Lego 的合作中，你和這個領(lǐng)域的未來會朝著什么方向發(fā)展呢？
Sebastien Bubeck：是的，絕對。因此，我認為或許我們需要為機器學(xué)習(xí)取一個新的名字。GPT-4和GPT-3以及其他所有大型語言模型，在某種程度上，已經(jīng)不再是機器學(xué)習(xí)了。我的意思是，機器學(xué)習(xí)的全部意義在于如何教機器完成一個非常明確定義的任務(wù)？比如識別貓和狗。但在這里，這并不是我們所做的。我們不是在試圖教它一個狹窄的任務(wù)。我們試圖教它所有事情。我們也不是在模仿人類學(xué)習(xí)的方式。這是另一個困惑的地方。有些人說，哦，但它正在學(xué)習(xí)語言，但是使用比任何人類都要多的標(biāo)簽。
但這有點錯了。問題在于我們不是在模仿人類的學(xué)習(xí)。這就是為什么學(xué)習(xí)也許不再是正確的詞語了。我們真正試圖模仿的是一些類似于進化的東西。我們試圖模仿數(shù)以億計的實體與世界互動的經(jīng)驗。在這種情況下，世界就是人類生產(chǎn)的數(shù)據(jù)。
因此，這是一種非常不同的風(fēng)格。我認為我們在機器學(xué)習(xí)中引入的所有工具在GPT-4的光芒下幾乎無用且不相關(guān)，因為這是一個新領(lǐng)域。這是需要新工具來定義的東西。因此，我們希望處于這一領(lǐng)域的前沿，我們想引入這些新工具。
當(dāng)然，我們不知道它會是什么樣子，但我們嘗試研究的方法是嘗試理解“涌現(xiàn)現(xiàn)象”。因此，“涌現(xiàn)現(xiàn)象”是指當(dāng)您擴大網(wǎng)絡(luò)和數(shù)據(jù)時，每個規(guī)模都會出現(xiàn)新屬性的現(xiàn)象。Google進行了一個實驗，將其大型語言模型從80億擴展到600億到5000億。
在80億時，它能夠理解語言。在600億時，突然間它能夠翻譯不同的語言。之前它無法翻譯。在5000億時，它突然能夠解釋笑話。為什么它突然能夠解釋笑話？
因此，我們真的希望理解這一點。還有另一個領(lǐng)域長期以來一直在研究“涌現(xiàn)現(xiàn)象”，即我們試圖研究非常復(fù)雜的粒子相互作用的系統(tǒng)，以及導(dǎo)致某些涌現(xiàn)行為的系統(tǒng)。
這是什么領(lǐng)域？這是物理學(xué)。因此，我們想要提出的建議是，讓我們研究人工智能的物理學(xué)或者通用人工智能的物理學(xué)，因為從某種意義上講，我們現(xiàn)在真正看到的是這種通用智能。那么，研究通用人工智能的物理學(xué)意味著什么？它的意思是，讓我們試著借鑒物理學(xué)家過去幾個世紀用來理解現(xiàn)實的方法論。
那么，這些工具是什么呢？其中之一是運行非常受控的實驗。如果你看看瀑布，觀察流動的水，水朝著各種方向流動，然后在冬天去看，水都結(jié)冰了。光憑看瀑布，GPT-4或LAMDA或者Flash語言模型是很難理解水相的。這些都是瀑布。我們需要更小尺度的非常受控的實驗，確保我們有純凈的水，它沒有被石頭或者藻類污染。我們需要這些受控的實驗來理解它。樂高積木就是一個例子。這是我們想要走的一個方向。但在物理學(xué)中，還有另一個方向，就是建立真實世界的玩具數(shù)學(xué)模型。
你試著將許多東西抽象出來，最終留下一個非常簡單的數(shù)學(xué)方程，你可以對其進行研究。然后你必須回到實驗中去，看看玩具數(shù)學(xué)模型的預(yù)測是否告訴你一些關(guān)于真實實驗的東西。所以這是我們想要走的另一個途徑。最近我們還與微軟研究院的實習(xí)生取得了一些進展。
我們有一篇論文，名為“學(xué)習(xí)閾值單元”。在這里，我們真正能夠理解最基本的元素，我不想說智能，但是在這些神經(jīng)網(wǎng)絡(luò)中推理最基本的元素是如何出現(xiàn)的。這個最基本的推理元素是什么？它是一個閾值單元。它是一個接受某些值作為輸入的東西。如果這個值太小，它就把它變成零。這種出現(xiàn)已經(jīng)是一個非常復(fù)雜的現(xiàn)象了。我們能夠理解這種非凸動力學(xué)，以及與之相關(guān)的穩(wěn)定邊緣，這都是非常令人興奮的。但關(guān)鍵是，我們有一個玩具數(shù)學(xué)模型，在本質(zhì)上我們能夠說出現(xiàn)與訓(xùn)練不穩(wěn)定性有關(guān)，這非常令人驚訝，因為通常在傳統(tǒng)的機器學(xué)習(xí)中，不穩(wěn)定性是你不想要的東西，你想要消除所有的不穩(wěn)定性。通過這種AI物理學(xué)方法，我們有一個玩具數(shù)學(xué)模型，我們能夠說實際上訓(xùn)練中的不穩(wěn)定性，每個人在幾十年來都看到的，實際上對學(xué)習(xí)和出現(xiàn)很重要。所以這是我們采取的第一步。
