最近，哈佛的一名AI專業(yè)大四學生給出了自己的預(yù)測：AGI將在三年后實現(xiàn)。

而在2026年，AI就已經(jīng)會接管大部分人類的工作。

圖片

做出這樣的預(yù)測，他有充分的理由。

在這期間，他曾主持了多個縮短AGI時間表的小型研討會，匯集了大約50名參與者的想法。

圖片

同時，他還參與和領(lǐng)導了多場短期的AGI兵棋推演。

圖片

最后，他寫出這樣一篇博文。

圖片

文章內(nèi)容包括——

• 3年AGI時間表的故事，包括各種變量和重要的參與者
• 目前尚未滿足的人類生存先決條件
• 穩(wěn)妥的優(yōu)先行動

文中假設(shè)，AGI出現(xiàn)時間點的中位數(shù)為2027年。作者并沒有花太多篇幅論證這一觀點，而是更關(guān)注3年時間表的影響。

在這里，AGI被定義為能夠完成2022年95%遠程勞動力工作的AI系統(tǒng)。

但如何定義并不那么重要，因為一旦我們實現(xiàn)了AI研發(fā)的自動化，幾乎所有對AGI的定義都會很快被滿足（除非出現(xiàn)協(xié)調(diào)放緩或災(zāi)難性事件）。

圖片

3年AGI時間表

到2025年6月底，SWE-bench大約達到85%，在限定人力預(yù)算的情況下，RE-bench約為1.1，超過了8小時人類得分的70個百分位。

到2025年底，AI助手能夠勝任大多數(shù)需要2小時完成的真實世界軟件工程任務(wù)。

當AGI公司的員工需要完成一些小型的公關(guān)任務(wù)或編寫小型數(shù)據(jù)分析管道時，他們會優(yōu)先尋求AI助手的幫助。

后者A能編寫或修改多個交互文件，大多數(shù)情況下不會出現(xiàn)錯誤。

圖片

3年時間表下的基準預(yù)測。OSWorld和CyBench排名不高的很大一部分原因，是作者不確定人們是否會報告這些基準測試的結(jié)果。鑒于基準結(jié)果與現(xiàn)實世界影響之間存在巨大脫節(jié)，暫時認為這種實際情況并不能成為3年時間表的有力證據(jù)

到2026年底，AI智能體將能勝任多天的編碼任務(wù)。

AGI公司的員工們都嚇壞了，他們會預(yù)計，能在95%的虛擬工作中擊敗人類的AI兩年內(nèi)就能創(chuàng)造出來，并且超級智能也會很快出現(xiàn)。

政府會意識到，AI將對國家實力產(chǎn)生決定性的影響，并且會在2026年鎖定AGI公司。

也就是說，到時候AGI公司會被采取近乎國有化的極端政府管理形式。

就像核武器戰(zhàn)爭一樣，各國都會處在高速競爭的狀態(tài)。

從2027年開始，這個公司的大部分高質(zhì)量勞動力，都會是AI智能體。

而領(lǐng)導層的主要決策，就集中在如何將數(shù)百萬AI智能體分配到不同的研究領(lǐng)域，比如AI研發(fā)、安全、商業(yè)應(yīng)用、軍事應(yīng)用、網(wǎng)絡(luò)安全、運營、通信、政策工作，以及公司中幾乎所有以計算機為基礎(chǔ)的工作。

此時，人類員工的作用已經(jīng)不太重要，他們的主要任務(wù)是為陷入困境的AI智能體團隊提供幫助，回答它們在工作中遇到的問題，充當?shù)诙庖姷慕巧?/p>

基于年份的變量

請注意，故事到了中段，開始發(fā)生了重大的動態(tài)變化，這也意味著戰(zhàn)略格局的顯著轉(zhuǎn)變。

前自動化時代（2025-2026年）

在2025年和2026年，大多數(shù)工作仍由人類完成。

最重要的問題集中在如何分配人力，以及AI實驗室和供應(yīng)鏈其他環(huán)節(jié)所面臨的商業(yè)和監(jiān)管壓力上。

在前自動化時代，人類的首要任務(wù)是迅速找到安全的方法，將研究工作委托給AI智能體。

任何以安全為導向的研究，主要就是為了控制這些早期智能體，因為它們之后會自主進行研究。

這個時代的另一件必做的事，就是找到方法來判斷當前的安全干預(yù)夠不夠，是否足以防止大量AI智能體背著人類密謀一些不良行為。

這時，我們需要建一個中止系統(tǒng)，而且在無法證明安全性的時候，也能說服他人暫停。

然而隨著AI「核戰(zhàn)爭」加劇，這一點將會變得愈加困難。

后自動化時代（2027 年以后）

2026年之后，大部分工作由AI完成。這時，研究工作基本已經(jīng)脫離了人類的掌控，但人類員工仍然會參與高層決策，并與AGI公司以外的人類進行對接。

到2028年底，人類已無法在技術(shù)研究方面做出貢獻。

這一時期的主要問題，集中在AI智能體的分配，及其被賦予的優(yōu)先事項。

關(guān)于這一階段的重要問題包括——

1. AI智能體所追求的總體研究計劃有多好？

例如，如果最初負責規(guī)劃研究方向的人類對AI安全問題本質(zhì)上存在誤解，即使AI智能體最初是善意的，模型對齊的希望也可能因此破滅。

2. 公司在安全導向研究上投入了多少資源？

比如，是投入0.1%還是25%的算力用于安全研究，可能會對安全工作的成敗產(chǎn)生巨大影響。

重要玩家

AGI公司領(lǐng)導者

他們引導著AGI公司的大方向。

安全研究人員

內(nèi)部人類AI安全研究員 —— 他們負責制定前自動化和后自動化時期的研究計劃，并完成大部分將在前自動化實施的安全研究。他們還監(jiān)督自動化的安全研究員的工作。

內(nèi)部自動化AI安全研究員 —— 他們完成了自動化時代大部分已實施的安全研究。

外部人類AI安全研究員 —— 他們進行前自動化的研究，其中只有一小部分會被內(nèi)部采納實施。他們還從外部對前自動化和后自動化研究計劃的公開部分進行批評和審查。

然而，由于國家安全原因，公共知識與私有知識之間的差距將在自動化后擴大，他們可能在這一階段變得無關(guān)緊要。

美國政府

其他國家政府、美國人工智能安全機構(gòu)（AISI）或其他政府機構(gòu)、智庫、高地位科學家以及公眾，對AGI公司施加壓力和影響。

在AGI階段（很可能在超級智能之前），這些公司可能就會國有化或者監(jiān)管。

圖片

落后的AGI公司

它們會被施加競爭壓力，并設(shè)定安全先例。

最終，它們可能會與主要AGI項目合作或被收購。

如果不合作或未被主要AGI項目收購，則很可能在超級智能出現(xiàn)之前，它們的大部分算力會被征用。

不良行為者

這些人會試圖竊取、濫用AI技術(shù)。

注意：「人工智能安全社區(qū)」并不在此列表中。

在作者看來，沒有太多資本（金融、社會、知識或其他資本）的外部人士，并沒有那么大的影響力。

目前尚未滿足的人類生存先決條件

一個合理的啟動計劃

目前，AGI公司缺乏明確的愿景，無法安全地將研究工作交給AI智能體。

對齊方法 —— 各公司尚未公開制定默認計劃，明確應(yīng)將哪些研究領(lǐng)域分配給AI智能體群體。

算力承諾 —— 即使有合理的對齊方法，缺乏明確的算力分配承諾，也可能導致分配給對齊工作的AI智能體和算力比例不足。

前沿安全框架 —— 關(guān)于SL-4和SL-5的要求和承諾目前非常不清晰，在啟動階段存在大量偷工減料的可能性。

控制 —— 安全地將工作交給AI智能體（或判斷其是否安全）的科學方法，仍然很不成熟。

國家級網(wǎng)絡(luò)安全保障

如果不良行為者能夠竊取先進AI系統(tǒng)的參數(shù)權(quán)重，他們的濫用行為可能就會導致局勢變得極其不可預(yù)測，同時也可能使更不謹慎的實體得以創(chuàng)造出先進的AI系統(tǒng)。

應(yīng)對全球緊張局勢的方法

AGI的誕生，將擾亂各國之間的軍事力量平衡，可能使某個實體獲得決定性的戰(zhàn)略優(yōu)勢。

作者認為，未來10年內(nèi)爆發(fā)核戰(zhàn)爭的概率約為15%，這主要歸因于默認情況下啟動階段所引發(fā)的極端緊張局勢。因此，找到避免核戰(zhàn)爭的方法至關(guān)重要。

在冷戰(zhàn)期間，曾多次發(fā)生將人類推向毀滅邊緣的核危機，其中一些是戰(zhàn)略平衡變化的后果（如古巴導彈危機）。

美國曾因柏林封鎖，而威脅蘇聯(lián)發(fā)動核戰(zhàn)爭。超級智能的誕生將使這些危機相形見絀，問題是相關(guān)官員是否能認識到這一點。

正確實施國有化

把握時機 —— 如果國有化發(fā)生得太晚（例如在AGI之后），項目中可能會因隨之而來的混亂和快速變化而產(chǎn)生糟糕的決策。

制定默認計劃 —— 2025年或2026年可能會出現(xiàn)鎖定實驗室的重大政治意愿。如果屆時還沒有合理的默認計劃或路線圖，那么這個計劃可能在許多方面都不是最佳的，而且制定的人缺乏相關(guān)的專業(yè)知識。

積累政治資本 —— 如果具備相關(guān)專業(yè)知識的人沒有被重要決策者所熟知，那么缺乏相關(guān)專業(yè)能力的人，可能就會被任命為項目領(lǐng)導人。

在國有化過程中保留安全專家 —— 如果國有化的推進驅(qū)逐了所有AI安全專家，項目可能會因缺乏技術(shù)專長而無法使其模型足夠安全。

至于哪些人會被保留，很大程度上取決于領(lǐng)導層和以能力為導向的員工是否重視安全問題，而這又很大程度取決于是否建立了對安全問題的共同認知。

穩(wěn)妥的優(yōu)先行動

加入那些對未來發(fā)展有重要影響的機構(gòu)

想想你希望被誰雇傭，以及你還差多少能力、條件才夠格。

如果你正在外部從事研究，記得將研究方向的重要性乘以研究成果在內(nèi)部實際實施的概率。一個簡單的判斷標準是，研究是否有可能被分享到內(nèi)部的Slack上。

在嚴格的政府監(jiān)督下，內(nèi)部研究可能需要某種形式的安全許可。因此，避免吸毒、避免負債、遠離可疑人士，減少不必要的對外接觸。

幫助為重要角色提供信息

許多關(guān)鍵角色，都希望從對AGI和AGI安全有深入思考的人那里獲得建議。當他們有問題時，他們是否會首先想到聯(lián)系你？

制定實際計劃

逐年制定計劃是一個不錯的方法——例如，計劃在2025年底、2026年底、2027年底之前完成什么。

記住關(guān)鍵時限

只有在AGI出現(xiàn)之前必須完成的事情才是最重要的，因為AGI可以完成其他事情。

作者承認，現(xiàn)在對較長時間線的預(yù)測有一些賭注的成分，但他認為，跟20年AGI時間線下的潛力相比，這些事情的優(yōu)先級應(yīng)該被適當降低。

另外，在AGI出現(xiàn)后，可能會有約一年的「人機共存」時期。但作者認為這不是一個重要的因素，因為目前還不清楚它會帶來什么獨特的影響。

讓一切加速

如果你的計劃是「我將做X，以便以后做Y」，那不如現(xiàn)在就開始做Y。

如果你的計劃是「我將為一家不相干的ML公司工作一年，以獲得進入AGI公司的資歷」，可以考慮直接申請AGI公司，或者采取其他措施，加速這一行動。

進行相應(yīng)的投資

如果AGI在三年內(nèi)到來，這對你該如何構(gòu)建投資組合可能會產(chǎn)生重大影響，因為某些投資與這一預(yù)測的相關(guān)性遠高于其他投資。

資金可能在啟動階段被用于快速涌現(xiàn)的機會，以引導事態(tài)發(fā)展，但如果人類在ASI之后幸存下來，目前尚不清楚資金還能有何用途（從先驗來看，財產(chǎn)權(quán)可能會在一定程度上受到尊重）。

培養(yǎng)適應(yīng)力和韌性

隨著時間的推移，世界會變得越來越快。此時，保持冷靜和理智將對做出明智決策至關(guān)重要，而這種能力也會變得日益稀缺和寶貴。

-花時間思考未來，以及你在其中的位置

如果事實跟你預(yù)測的方向有出入，與其感嘆「天啊，這個世界太混亂了！」，不如換一個更有用的視角：「雖然我在細節(jié)上可能錯了，但這與我預(yù)測的某些可能分支大致吻合，我已經(jīng)思考過如何在這些情況下行事?！?/p>

圖片

通過這種方式，你的一部分初步思考可以由現(xiàn)在的自己完成，減輕未來的自己的負擔。

這不僅在智力上有助于分擔負擔，更重要的是，它能在情感層面減少可能的驚訝或恐慌——已知的未知遠比未知的未知讓人壓力小得多。

-不要忽視健康

雖然你可能會覺得，現(xiàn)在適合多奮斗，比以前多工作幾個小時，但如果想在啟動階段明智地應(yīng)對局勢，我們的身體需要保持良好的狀態(tài)。

可持續(xù)性很重要，無論是3年還是10年的時間跨度，都需要養(yǎng)成類似的健康習慣。

最后的思考

如果你是基于10年或20年的時間線制定了當前計劃，現(xiàn)在很可能需要在許多方面調(diào)整、加速。

以短時間線為基礎(chǔ)進行規(guī)劃的一個優(yōu)勢是，大部分關(guān)鍵因素目前已經(jīng)基本到位，因此比起規(guī)劃10年后的未來要容易得多。

我們需要對如何讓AGI順利發(fā)展有較清晰的認識。讓我們行動起來，實現(xiàn)這一目標。

參考資料：

https://www.lesswrong.com/posts/jb4bBdeEEeypNkqzj/orienting-to-3-year-agi-timelines