AGI前夜的思考

Exa公司CEO Will Bryk，在目睹o3模型的進展后，分享了他對AGI未來的一些想法，以下是他社媒上的帖子整理：

AGI真的來了

這周我和幾個朋友聊了聊o3模型，他們的反應基本都是“我的天，這真的發(fā)生了嗎？”

是的，它真的發(fā)生了。接下來的幾年將會非常瘋狂，這將是歷史性的，甚至是星際級的事件。

荒謬的是，目前還沒有關(guān)于AGI的深度討論。AI實驗室不能談論它，新聞幾乎沒有報道，政府也不理解它。我們竟然在一個社交媒體meme應用的新聞推送里討論人類的未來，這感覺就像一部荒誕的情景喜劇，但現(xiàn)實就是如此。

以下是我對正在發(fā)生的事情的一些想法——我對X平臺思想深淵的貢獻。

注意，這些想法都很不成熟，只是一些有趣的推測。我沒有足夠的時間去深入思考/研究所有這些問題，而且我肯定會在很多方面出錯。但我確實希望這些想法對一些正在努力理解現(xiàn)狀的人來說是有趣的。

o3的出現(xiàn)不應令人震驚 

OpenAI兩個月前就展示了測試時擴展圖，計算機的歷史告訴我們，無論趨勢線多么令人難以置信，我們都應該相信它。真正令人震驚的是，它在兩個月內(nèi)就實現(xiàn)了。我們只用了這么短的時間就從大學水平的AI發(fā)展到博士水平的AI。對人類來說，變化是令人興奮的，但快速的變化是令人震驚的。

接下來會發(fā)生什么顯而易見。 

o3級別的模型非常擅長優(yōu)化任何你可以定義獎勵函數(shù)的東西。數(shù)學和編程很容易設計獎勵函數(shù)，小說創(chuàng)作則比較困難。這意味著在短期內(nèi)（1年），我們將得到“尖峰模型”。

它們在數(shù)學、編程和一般推理方面基本達到AGI水平，但寫出來的小說很普通。雖然更好的推理能力會讓這些模型在各方面都感覺更聰明，但它們?nèi)匀粫跊]有經(jīng)過強化學習的方面以愚蠢的方式失敗——也就是說，在它們的訓練數(shù)據(jù)中沒有涵蓋的方面。從長遠來看（1-3年），我們將繼續(xù)添加新的領(lǐng)域來對它們進行強化學習（情感數(shù)據(jù)、感官數(shù)據(jù)等），直到彌補這些盲點，然后對除了Gary Marcus之外的所有人來說，這些模型都將是AGI。

Agent（智能體）真的會在2025年到來 

o3之類的模型不可能無法瀏覽/使用應用程序并采取行動。這些東西很容易設計獎勵模型。這也是一個巨大的市場——自動化計算機工作——因此對于需要證明其巨額支出的實驗室來說，這是一個巨大的激勵。我猜到2025年12月，你將能夠告訴你的計算機執(zhí)行任何涉及瀏覽網(wǎng)頁/應用程序和移動數(shù)據(jù)的工作流程。

在所有知識工作者中，最受“沖擊”的肯定是數(shù)學家 

數(shù)學家在符號空間中工作，他們的工作很少與物理世界接觸，因此不受其限制。大型語言模型是符號空間的王者。數(shù)學其實并不難，只是靈長類動物不擅長而已。正則表達式也是如此。

一個很大的問題是，制作研究級別的合成數(shù)據(jù)有多難。我猜不會太難。博士水平的數(shù)學和研究員水平的數(shù)學對我們來說看起來有質(zhì)的不同，但在AI看來可能只是程度上的差異，只需要再增加幾個數(shù)量級的強化學習。我給數(shù)學家700天的時間。（這聽起來很瘋狂，但o6不擊敗數(shù)學家聽起來也同樣瘋狂，所以我對這個預測的信心超過50/50，就像我對這篇文章中的所有其他預測一樣）。那是700天后，人類將不再是已知宇宙中數(shù)學領(lǐng)域的佼佼者。

那我們軟件工程師呢？ 

短期內(nèi)，這將是天堂。每個軟件工程師都升職成了技術(shù)主管，干得好。對于那些完全采用LLM的人來說，到2025年底，編碼將更像是協(xié)調(diào)一堆由小Agent執(zhí)行的小任務。任何具有非常清晰規(guī)范的PR都應該可以由o4系統(tǒng)完成，而且錯誤率足夠小，可以接受。這里的一個問題可能是上下文窗口太小，無法包含代碼庫，但像Sam這樣的領(lǐng)導者很清楚這一點。

AI會很快取代所有軟件工程師嗎？不會。軟件工程不僅僅是根據(jù)超級清晰的提示制作PR。與數(shù)學家不同，軟件工程師不斷地與物理世界，也就是其他人互動。工程師必須與客戶合作以了解他們的需求，并與團隊成員合作以了解他們的需求。當工程師設計架構(gòu)或編寫代碼時，他們是在大量的組織環(huán)境下進行的。o4無法做到這一點。但o4將幫助那些擁有上下文信息的工程師將速度提高10倍。

如果軟件工程師的速度提高了10倍，那么我們是否需要更少的軟件工程師？嗯，如果你考慮一家特定的公司，那么是的，他們可能需要更少的軟件工程師，因為他們可以用更精簡的團隊實現(xiàn)相同的產(chǎn)出。然而，全世界對軟件工程師的需求可能會增加，因為世界肯定需要更多10倍的優(yōu)質(zhì)軟件。所以我認為我們將看到來自更精簡公司的應用程序的黃金時代。為每個人和每個企業(yè)提供個性化的微型應用程序。

從長遠來看（超過2年被認為是長期，哈哈），軟件工程將完全不同，很難說會變成什么樣。當o6系統(tǒng)存在并完全集成到我們的應用程序中時，它怎么可能不變呢？像前端工程師這樣的角色可能在3年內(nèi)就不存在了。這很奇怪嗎？不盡然——30年前也沒有前端工程師這個角色。

我們應該退一步，認識到軟件每一代都會發(fā)生翻天覆地的變化。軟件一直以來都是將需求轉(zhuǎn)換成純邏輯。這種轉(zhuǎn)換過程的抽象級別從二進制代碼上升到了Python?，F(xiàn)在的區(qū)別在于它正在上升到英語。

轉(zhuǎn)向英語讓非技術(shù)人員也能進行編程。但最好的構(gòu)建者將永遠是那些能夠在不同抽象級別之間切換的人。

簡而言之，因為軟件工程實際上就是通過代碼理解和解決組織的需求，所以軟件工程完全自動化的日子就是所有組織都自動化的日子。

我們討論了一些知識工作者，但體力勞動者呢？ 

AI也會影響到你，但速度會比較慢，因為它必須處理重力和摩擦。但是o類模型對機器人的幫助不會太大，因為一個需要一個小時才能完成的模型對工廠生產(chǎn)線上的機器人沒有幫助?；A(chǔ)模型變得更智能確實有幫助，o類模型將有助于訓練這些模型，但我認為這并不能解決機器人技術(shù)進步的最大瓶頸。我猜最大的瓶頸是硬件改進和用于感知+行動的快速/可靠模型。這兩方面都需要更長的時間來改進（即幾年）。只有當機器人開始制造機器人，AI開始進行AI研究時，機器人技術(shù)才會出現(xiàn)瘋狂的快速進步。這可能來自o類模型，但我認為還需要幾年時間。

我一直以年為單位來討論，但也許我們真的應該以計算量為單位來討論 

時間決定了人類的產(chǎn)出，但計算量決定了AI的產(chǎn)出，而AI的產(chǎn)出在研究機構(gòu)中將越來越重要。這就是為什么各家都在競相建造超級集群——Meta的2GW集群，xAI新增的10萬塊H100等等。

所有實驗室都將很快效仿OpenAI的測試時計算模型，有些實驗室最初可以通過更多的計算來彌補算法上的不足。他們會像GPT-4那樣迎頭趕上。要制造這些模型，需要結(jié)合一些常識和每個實驗室的秘方。目前尚不清楚OpenAI在o類模型中使用了多少秘方，但他們的改進速度表明這是一種算法上的進步（更容易復制），而不是某種獨特的數(shù)據(jù)組合（更難復制）。

在測試時計算的時代，我不清楚擁有更多的計算量還是更好的模型更重要。一方面，你可以通過投入更多的測試時計算來彌補一個較差的模型。另一方面，一個稍微好一點的模型可能會節(jié)省指數(shù)級的計算量。

如果xAI僅僅因為他們更擅長構(gòu)建大型集群而趕上了OpenAI，那會很有趣。

無論如何，模型的護城河不會持續(xù)超過一年，因為實驗室像交換棒球卡一樣交換研究人員，而且，也許更重要的是，實驗室之間的研究人員會在周末聚會，甚至睡在一起。另外，我認為研究人員太理想化了，如果事情失控，他們不會不分享信息。

我們現(xiàn)在的處境真是瘋狂。AI競賽就像核競賽，但美國人和蘇聯(lián)人會在周末在洛斯阿拉莫斯一起聚會，并在推特上互相嘲諷“我賭你到2025年不會擁有最大的核武器，哈哈:)”

在政府介入和/或發(fā)生非常糟糕的事情之前，AI競賽將繼續(xù)保持嬉皮士和輕松愉快的氛圍。

o類模型以幾種有趣的方式改變了計算規(guī)模擴大的動態(tài)

o類模型激勵了大規(guī)模的建設，因為它們在每個數(shù)量級的計算量增加后都有明顯的收益。計算提供商不可能要求更好的縮放定律。我猜想，當Sam想要一個數(shù)萬億美元的計算集群時，他看到的正是這個定律。

但這對Nvidia來說可能不是什么好事。o類模型使推理比訓練更重要。我認為超級優(yōu)化的推理芯片比訓練芯片更容易制造，所以Nvidia在那里沒有那么多的護城河。

非常大膽的推測：如果o類模型能夠利用全世界的聚合計算來訓練最好的模型，那會怎么樣？如果開源能夠戰(zhàn)勝閉源，是因為我們將我們的Macbook Pro組合成一個推理超級集群，那該多酷??！

除了計算之外，現(xiàn)在另一個新的指數(shù)級增長因素是代碼本身 

如果一個實驗室對最智能的模型擁有獨特/特權(quán)的訪問權(quán)，因此他們的軟件工程師的生產(chǎn)力比其他實驗室高2倍，那么他們就能更快地接近下一個生產(chǎn)力翻倍的目標。除非代碼速度達到極限，并且有大量的實驗需要運行，那么實驗室的瓶頸又回到了計算上。（我不知道，動態(tài)很難?？纯磳嶒炇胰绾文M他們在計算和人員上的支出比例會非常酷。）

盡管所有這些計算建設和知識工作自動化聽起來很瘋狂，但只有當科學家開始感受到AGI時，事情才會真正變得瘋狂。 我指的是你們這些物理學家、化學家、生物學家。

它將從任何以理論命名的東西開始。理論物理學首當其沖。如果數(shù)學真的被解決了（即使寫下這句話聽起來也很荒謬，但這并不意味著它不可能發(fā)生），那么理論物理學也不會太遠。它也存在于LLM將超越人類的符號領(lǐng)域。

當我們有一百萬個AI馮·諾依曼在路易斯安那州的田野里（Meta即將到來的數(shù)據(jù)中心）日夜工作時，會發(fā)生什么？他們會以多快的速度閱讀過去一個世紀以來數(shù)千人撰寫的所有物理學論文，并立即吐出更多正確的標記？

顯然，故事的這一部分很難預測。理論物理學、化學、生物學——如果這些對經(jīng)過強化學習訓練的LLM來說只是小兒科，那會怎樣？在這一點上，我們還有什么合理的論據(jù)認為它不會是小兒科呢？是的，我們還沒有看到這些模型真正的創(chuàng)新，但它們大多處于高中/大學水平，而這些年齡段的人不會發(fā)明新的物理學。我們現(xiàn)在處于博士水平，所以我們可能會開始看到一些創(chuàng)造性。

一旦AI開始產(chǎn)出新的科學理論，進步的瓶頸將是物理世界的測試和實驗 

那里的瓶頸是勞動力和材料。到那時，如果還沒有能夠制造更多機器人的機器人，那將會令人驚訝。所以勞動力問題解決了。然后材料可以由機器人開采。這里的時間線會很慢，因為建造/運輸實物需要很長時間，但需要幾年而不是幾十年。

我上面所說的一切都假設AI+機器人研究/開發(fā)沒有引入新的瓶頸，并且允許模型隨意學習 

這幾乎肯定不會發(fā)生。AI進步的最大瓶頸將是人類。我的意思是監(jiān)管、恐怖主義和社會崩潰。

政府不會袖手旁觀，讓地球被幾家舊金山公司運營的自動化機器人開采（監(jiān)管）。如果政府太無能而無法阻止它們，那么憤怒的失業(yè)者可能會訴諸暴力（恐怖主義）。除非人們被AI增強的媒體弄得腦殘，以至于我們無法作為一個社會正常運轉(zhuǎn)（社會崩潰）

如果發(fā)生戰(zhàn)爭，我認為這不會是一個瓶頸，而是一個加速器。

事情會變得很嚴肅。2025年可能是AI成為舊金山科技推特meme的最后一年，在那之后，穿西裝的普通人會介入，所以讓我們在還能享受roon和sama的時候好好享受吧！

這會殺死所有人嗎？ 

我更害怕人類濫用AI，而不是AI失控。

我們有5000年的證據(jù)表明人類使用最新技術(shù)互相殘殺。二戰(zhàn)后的和平是一個反?，F(xiàn)象，一旦美國失策或?qū)κ终J為必須先發(fā)制人以阻止AI加速發(fā)展，這種和平就可能瓦解。當武器變得更致命、更自主時，風險就更高了。

另一個重大風險是AI造成社會混亂。AI生成的媒體可能會造成大規(guī)模的混亂、大規(guī)模的歇斯底里、大規(guī)模的腦殘。

另一個風險是AI失控。這意味著它會導致我們沒有預料到的滅絕級別的事情。特別是隨著強化學習的回歸，AI現(xiàn)在正在發(fā)現(xiàn)自己的優(yōu)化方法，而不是試圖匹配人類數(shù)據(jù)（匹配人類更安全）。但到目前為止，這些模型的底層大腦仍然是LLM，而LLM已經(jīng)顯示出只是理解人類。就像你在提示中加入“確保不要做任何可能殺死我們的事情”一樣，現(xiàn)在你必須承擔舉證責任，證明它仍然可能殺死我們。

我絕對是興奮多于恐懼

我一直想要的那種科幻世界正在到來。它比預期的來得快一點——因此也帶來了恐懼——但在所有可能的路徑中，我不確定最佳路徑會有多大改善。這是一個相當不錯的時間線。

我希望在十年內(nèi)出現(xiàn)的事情：

? 一些非?？岬奈锢韺W發(fā)現(xiàn)

? 最初由機器人建造的火星和月球基地

? 關(guān)于一切的完美導師/建議（即將到來，需要良好的檢索、記憶和更多個性）

? 零副作用的生物增強藥物

? 乘坐超級優(yōu)化的無人機飛行

? 通過聚變、地熱和大量太陽能實現(xiàn)全面的超級清潔能源

? 意想不到的事情：AI天文學家在望遠鏡數(shù)據(jù)中發(fā)現(xiàn)了外星信號？AI化學家輕松設計出室溫超導體？AI物理學家統(tǒng)一了一些理論？AI數(shù)學家解決了黎曼猜想？

這些聽起來不再像科幻小說，它們感覺像是近在咫尺的科學現(xiàn)實。

那么這一切將走向何方？ 

最終，我們將獲得超級智能，這意味著我們將獲得物理定律允許的任何東西。我想要永生，并看到其他的恒星系統(tǒng)。我還希望將我們的肉體升級到更好的東西。但到目前為止，我最興奮的是了解宇宙的起源。10年前，我開始在日記中寫下我多么想知道這個答案，以及AI將如何幫助我們找到答案，而現(xiàn)在它真的可能發(fā)生了，這太瘋狂了。

我們現(xiàn)在生活在一個這一切聽起來都似是而非的世界里 

每一次新的AI發(fā)展都會讓更多的人意識到這一點，o3就是最新的例子。

現(xiàn)在，未來唯一不壯觀的原因是我們?nèi)祟惛阍伊?。比如我們的公眾輿論、我們的下游政策、我們的社會穩(wěn)定、我們的國際合作——這些是可能阻止這個壯觀未來出現(xiàn)的障礙。

人們認為AI實驗室的人正在控制我們的未來 

我不同意。他們的工作已經(jīng)確定了。他們只是在執(zhí)行模型架構(gòu)，這些架構(gòu)遲早會在某個實驗室中出現(xiàn)。

但我們的公眾輿論、我們的下游政策、我們的社會穩(wěn)定、我們的國際合作——這些都是完全不確定的。這意味著我們集體是未來的守護者。

我們每個人都有責任幫助我們的世界度過未來的狂野時代，這樣我們才能擁有美好的未來，而不是可怕的未來。

有很多方法可以提供幫助 

幫助構(gòu)建以某種方式使社會更穩(wěn)定或使人們更聰明的產(chǎn)品（例如：幫助人們規(guī)范社交媒體的應用程序）。幫助人們了解正在發(fā)生的事情（更多高質(zhì)量的社交媒體評論、一個真正好的搜索引擎等）。幫助清理我們的街道，這樣邀請我們所有人進入烏托邦的城市看起來就不像反烏托邦（參與地方政治）。

幾乎所有與我交談過的人都害怕在AI世界中失去意義，你可能也一樣 

我想對你說，這不是完全相反嗎？你生活在歷史上最重要的時刻，你有能力影響它。幫助拯救世界難道還不夠有意義嗎？你想回到一個只有你的事業(yè)在進步，而世界卻沒有進步的時代嗎？

也許人們需要做出的轉(zhuǎn)變是從通過個人成功獲得意義到通過集體成功獲得意義。我們目前的許多工作很快就會被自動化。我們將不得不適應。如果你從一項特定技能中獲得意義，那么是的，這項技能在5年內(nèi)可能不再需要，你就走運了。但如果你能從盡你所能幫助世界中獲得意義，那么這永遠不會消失。

對于所有因為o3而得到建議的新畢業(yè)生，我的建議是：學習如何成為1）一個高能動性的問題解決者和2）一個優(yōu)秀的團隊合作者。你在學習過程中學到的具體技能并不重要，因為世界變化太快了。但積極解決問題和與團隊良好合作將在很長一段時間內(nèi)都很重要。

你還可能需要在一個不穩(wěn)定的世界里接受不穩(wěn)定的生活。事情會變得很奇怪。你可能不會在郊區(qū)有兩個孩子和一條狗。你可能在星際方舟上有兩個半機械人孩子和一條AI狗。

我們生活在AGI的前夜，在這個圣誕前夜，我請求你幫助AGI過渡順利進行，這樣我就可以在公元3024年的圣誕前夜，在一個距離四光年的行星上，圍繞著奧特曼·森陶利星向你問好。