OpenAI最近對不同時期***型的AI試驗(yàn)所消耗的計算量進(jìn)行了調(diào)查分析。結(jié)果發(fā)現(xiàn)，跟6年前相比，AI訓(xùn)練所需的計算量整整增長了30倍，相當(dāng)于每3.5月就翻番。這種指數(shù)增長速度是驚人的，但是考慮到硬件投入、電耗支出等開支(比如目前規(guī)模***的AI試驗(yàn)AlphaGo Zero的訓(xùn)練開銷估計達(dá)1000萬美元)，這種趨勢還能持續(xù)多久呢?

Ryan Carey通過分析得出結(jié)論說不會超過3.5-10年。但是哪怕這種趨勢還能繼續(xù)延續(xù)這么久，AI也能突破一些實(shí)現(xiàn)一般人工智能(AGI)所需的計算量。 

我們知道，過去幾年AI試驗(yàn)使用的算力要比之前多得多。不過就在上個月，OpenAI進(jìn)行的一項(xiàng)調(diào)查對這種發(fā)展速度有多快做出了一些初步估計。通過對AlphaGo Zero與AlexNet進(jìn)行比較，他們發(fā)現(xiàn)現(xiàn)在***型的試驗(yàn)是6年前***型試驗(yàn)規(guī)模的300000倍。此間每年的***型試驗(yàn)規(guī)模都呈現(xiàn)出指數(shù)性增長，每3.5月就翻番。

按照這種AI計算趨勢，試驗(yàn)的增長率之快令人詫異，值得進(jìn)行一些分析。本文將探討兩個問題。***個是如果試驗(yàn)規(guī)模還是增長得這么快的話，很快就會變得承受不起，所以這種趨勢將漸近結(jié)束。除非經(jīng)濟(jì)被徹底重塑，否則這種趨勢頂多只能維持3.5到10年，具體要看開支水平以及計算成本如何變化。第二個問題是如果這種趨勢能再維持3.5年，則用于AI試驗(yàn)的計算量就會超過一些有趣的里程碑。尤其是，一次試驗(yàn)所用的計算將超過利用尖峰神經(jīng)元模擬人腦 18年思考所需的總量。大體而言，我們可以說這種趨勢將超過達(dá)到成人智力水平所需的水平，如果賦予同等效率算法的話。在(1)、(2)節(jié)里，我將相應(yīng)探討這些問題，而在(3)節(jié)，我會討論一下這一分析的限制并且權(quán)衡這一工作將如何影響AGI的預(yù)測。 

縱軸：AI訓(xùn)練所需的計算量，單位千億次浮點(diǎn)運(yùn)算

1、這個AI計算趨勢還能維持多久?

要想弄清楚這種AI計算趨勢在經(jīng)濟(jì)上還能持續(xù)多久，我們需要知道三件事情：試驗(yàn)成本的增長率，目前試驗(yàn)的成本，以及未來一次試驗(yàn)可以承受的***開支。

***型的試驗(yàn)每3.5個月規(guī)模就翻番(每年大概增加一個數(shù)量級，也就是10倍。時間測算=LOG(10,2)*3.5/12=0.9689年，約為1年)，而每計算單位的成本大概是每4-12年下降一個數(shù)量級(長期趨勢是每4年成本改進(jìn)10倍，而近期趨勢是每12年成本改進(jìn)10倍)。所以***型試驗(yàn)的成本每1.1-1.4年就增加一個數(shù)量級。

目前規(guī)模***的試驗(yàn)是AlphaGo Zero，其成本可能是1000萬美元。

當(dāng)然，試驗(yàn)規(guī)模能到多大要取決于誰來做。最有錢的玩家大概是美國政府。之前，美國用了GDP的1%來進(jìn)行曼哈頓項(xiàng)目，而實(shí)施阿波羅計劃期間往NASA投入了~0.5%的GDP。那我們就假設(shè)類似地投入到AI試驗(yàn)的***開支也能占到GDP的1%，也就是2000億美元。鑒于一個數(shù)量級的增長所需時間為1.1-1.4年，而初步試驗(yàn)規(guī)模為1000萬美元，那么按照AI計算趨勢預(yù)測在5-6年時間內(nèi)我們就將看到成本達(dá)2000億美元的試驗(yàn)。那么鑒于未來(美國)經(jīng)濟(jì)狀況跟目前類似，屆時將是這股AI計算趨勢的終結(jié)。

我們還可以考慮一下如果政府不參與的話這種趨勢能持續(xù)多久。鑒于私營企業(yè)規(guī)模較小，其遭遇經(jīng)濟(jì)門檻也會快一點(diǎn)。其中***的是科技公司：Amazon和Google目前的研發(fā)預(yù)算大概是每年200億美元，那么我們可以假設(shè)政府以外***的獨(dú)立試驗(yàn)是200億美元。則私營板塊大概能跟上AI計算趨勢的時間為政府的3/4，也就是約3.5到4.5年。

另一方面，特定硬件的研發(fā)也可能令計算成本變低，因此導(dǎo)致趨勢維持更久一點(diǎn)。如果一些新硬件讓計算便宜1000倍并且突破性價比摩爾定律的話，則這種經(jīng)濟(jì)門檻還能維持得久一點(diǎn)，大約還能持續(xù)3-4年。

為了讓AI計算趨勢維持真正長的時間(超過10年)，經(jīng)濟(jì)產(chǎn)出必須以每年增長一個數(shù)量級的速度發(fā)展。這的確是非常極端的情況了，但也不是不可能，主要一點(diǎn)是要看某些極其強(qiáng)大的AI技術(shù)能不能帶來大規(guī)模的經(jīng)濟(jì)收益。

當(dāng)然，重要的是要清楚這些數(shù)字都是上限，所以并不能排除AI計算趨勢更快停止(比方說如果AI研究被證明經(jīng)濟(jì)性不如預(yù)期的話)的可能性，不管是突然中止還是慢慢停下來。

小結(jié)：AI計算快速發(fā)展的趨勢難以為繼，基本上無法超過3.5到10年。

2、AI計算趨勢什么時候有可能突破AGI相關(guān)的里程碑?

第二個可以得出的結(jié)論是，如果AI計算趨勢繼續(xù)當(dāng)前的節(jié)奏的話，就會突破某些有趣的里程碑。如果AI計算趨勢繼續(xù)3.5-10年，則***型試驗(yàn)的規(guī)模預(yù)計將達(dá)到10^7-5×10^13 Petaflop(千萬億次浮點(diǎn)運(yùn)算)/日，那么問題就是在該水平之下能達(dá)到哪些里程碑。哪些里程碑可能會給AGI的發(fā)展做出貢獻(xiàn)仍然是個爭議話題，不過這里有3個候選：

• 模擬兒童期間人類大腦所需的計算量
• 模擬人腦下圍棋，直到Alphago Zero成為超人所需局?jǐn)?shù)所需的計算量。
• 模擬人腦進(jìn)化所需的計算量。

人類兒童的里程碑

對于創(chuàng)造出人工智能所需的計算量，一個自然的猜想是人腦所用的計算量。假設(shè)AI有(相對于人類)：

• 類似的效率算法來學(xué)習(xí)執(zhí)行不同任務(wù)(各有不同的計算和數(shù)據(jù))
• 內(nèi)置到它的架構(gòu)里面的類似知識，
• 類似的數(shù)據(jù)
• 足夠的計算去模擬人類大腦運(yùn)行18年，以足夠細(xì)的顆粒度去捕捉大腦的智力表現(xiàn)。

然后，AI應(yīng)該就能夠像一位18歲的青少年一樣解決類似范圍內(nèi)的問題了。

模擬大腦一秒鐘所需的每秒浮點(diǎn)運(yùn)算數(shù)量有很多測算。AI Impact收集的數(shù)據(jù)得出的中位數(shù)是1018 FLOPS(用霍奇金-哈斯利Hodgkin-Huxley方程來模擬)，范圍在3×10^13FLOPS(Moravec的估計)與1×10^25FLOPS(模擬代謝組)之間。運(yùn)行這樣的模擬18年相當(dāng)于700萬Petaflop。(范圍在200-7×10^13 Petaflop/s之間)。

那么按照最短的估計，比如Moravec的估計，我們的計算已經(jīng)足以超過人類兒童的里程碑了。而按照中位數(shù)測算以及Hodgkin-Huxley測算的話，我們將在3.5年內(nèi)到達(dá)里程碑。

AlphaGo Zero游戲里程碑

關(guān)于人類兒童里程碑的一個異議是AI系統(tǒng)目前比人學(xué)得慢(“slower-learners”)。AlphaGo Zero下了250萬局圍棋才變成超人，也就是說如果一局需要1小時的話就得下300年的圍棋游戲。我們也許會問，像人腦這么復(fù)雜的東西要是運(yùn)行300年而不是18年的話得要多久。答案是：為了達(dá)到這一里程碑，趨勢在達(dá)到人類兒童里程碑之后還得再繼續(xù)14個月。

大腦進(jìn)化里程碑

一個更加保守的里程碑是模擬所有神經(jīng)進(jìn)化所需的計算量。2012年Shulman和 Bostrom介紹了一種辦法，那就是看看模擬神經(jīng)系統(tǒng)進(jìn)化的成本。這需要模擬10^25 個神經(jīng)元10億年間的進(jìn)化。Shulman和 Bostrom估計模擬一個神經(jīng)元1秒鐘的成本是1-10^10次浮點(diǎn)運(yùn)算，這樣的話模擬進(jìn)化的總成本就是3×10^21-3×10^31Petaflop/日。這個計算量太龐大了，等到AI計算趨勢結(jié)束的時候也還遠(yuǎn)遠(yuǎn)達(dá)不到。所以AI計算趨勢并不能改變Shulman和 Bostrom做出的結(jié)論，即距離我們能模擬地球上的大腦進(jìn)化還遠(yuǎn)著呢——哪怕開支可以快速增長也不行，這一計算里程碑需要摩爾定律再發(fā)展好幾十年才可能達(dá)到。

總的說來，我們可以看到盡管大腦進(jìn)化里程碑遠(yuǎn)遠(yuǎn)超出AI計算趨勢之所能及，但其他的里程碑則未必。按照其中一些估計——尤其是代謝組估計的標(biāo)準(zhǔn)，人類兒童和AlphaGo Zero游戲里程碑也沒法達(dá)到。但如果未來幾年AI計算趨勢繼續(xù)下去的話，人類兒童與AlphaGo Zero游戲里程碑就能實(shí)現(xiàn)。

3、討論與限制

根據(jù)這一分析，自然就要提出一個合理的問題：為了預(yù)測AGI，我們最應(yīng)該關(guān)注哪一個里程碑呢?這個問題的不確定性太大了，不過我想形成AGI要比大腦進(jìn)化里程碑容易些，但是那種AGI可以在AlphaGo Zero游戲里程碑達(dá)到之前或者之后實(shí)現(xiàn)。

***點(diǎn)是銀為大腦進(jìn)化里程碑假設(shè)算法發(fā)現(xiàn)的過程必須由AI自己執(zhí)行。但對我來說人類設(shè)計師以毫無計算成本(或者相對于模擬進(jìn)化所需成本不值一提)的方式提供適當(dāng)算法(或者大部分)似乎更有可能。

第二點(diǎn)，評估AGI相對AlphaGo Zero游戲里程碑的難度要復(fù)雜一些。有人認(rèn)為AlphaGo Zero游戲里程碑使得AGI看起來太簡單了，但我們必須考慮到教會機(jī)器一般智能需要比教會機(jī)器下圍棋有更多的訓(xùn)練例子。為了執(zhí)行范圍很廣的各類任務(wù)，有必要考慮更大范圍的依賴性以及了解一個更加復(fù)雜的從動作到實(shí)用工具的映射。這件事可以進(jìn)一步探索——通過比較各種已解決的AI問題的樣本效能，然后基于一般智能的復(fù)雜程度要高多少來推斷AGI的樣本效能。然而，還有一些原因?qū)е翧lphaGo Zero游戲里程碑也許讓事情變得太困難了。首先，AlphaGo Zero并未使用任何已有知識，而AGI系統(tǒng)可能是需要這個的。如果我們看看當(dāng)初的AlphaGo的話，它所需要的局?jǐn)?shù)相對于AlphaGo Zero來說本來是應(yīng)該少一個數(shù)量級的，而更一般的學(xué)習(xí)任務(wù)可能還能進(jìn)一步提升效能幅度。其次，通過模擬人腦的做法可能會有1到多個數(shù)量級的保守性內(nèi)置。基于目前的硬件配置來模擬人腦來執(zhí)行其計算功能可能效率會相當(dāng)?shù)停阂布词钦f，人腦也許只使用所需的其中一小部分的計算來模擬。所以很難判斷達(dá)到AlphaGo Zero里程碑對于AGI來說究竟是太早還是太晚了。

還有一個原因可以更加確保AGI的實(shí)現(xiàn)也許也許6年以上的時間。我們只需要看看AI計算趨勢然后問問自己：AGI跟AlphaGo Zero的關(guān)系是不是像AlphaGo Zero跟AlexNet(編者注：AlexNet是2012年誕生的)那樣近呢?如果我們認(rèn)為***對的差異大過第二對的差異的話，那我們就應(yīng)該認(rèn)為AGI不是6年的時間可以實(shí)現(xiàn)的。

總之，我們可以看到AI計算趨勢是一個極其高速的發(fā)展趨勢，快到經(jīng)濟(jì)力量(假設(shè)GDP不會出現(xiàn)大幅增長)在3.5到10年之內(nèi)就無法跟上的地步。但哪怕還能維持幾年，這股趨勢的發(fā)展也已經(jīng)夠快了，快到可以突破某些貌似相當(dāng)于AGI需求的計算里程碑。其中就包括利用Hodgkin Huxley神經(jīng)元模擬人腦思考18年所需的計算量。然而，其他的里程碑在經(jīng)濟(jì)因素導(dǎo)致AI計算趨勢終止前都無法實(shí)現(xiàn)。比方說這里的分析表明我們(至少)在幾十年內(nèi)都無法擁有足夠的算力來模擬人腦的進(jìn)化。