如果AI系統(tǒng)能自己設(shè)計出更強大的AI，智能爆炸可能很快就要到來了！而人類，會被AI迅速甩在后面。

最近，硅谷投資人、EverFi CEO兼創(chuàng)始人Tom Davidson等人發(fā)表了一篇長文硬核博客，詳細(xì)討論了智能爆炸（Intelligence explosion, IE）的類型以及對應(yīng)的發(fā)生概率。

這篇博文里，有許多非常炸裂的設(shè)想，但仔細(xì)一想，仿佛離變成現(xiàn)實并不遠(yuǎn)了。

比如，AI會改進(jìn)算法和軟件，提高AI芯片的質(zhì)量，同時提高芯片的產(chǎn)量。

這些過程，會形成幾種循環(huán)，周期分別是3個月、數(shù)月，以及數(shù)年。相對應(yīng)的，就是軟件大爆炸、AI技術(shù)大爆炸，和全棧大爆炸！

當(dāng)反饋循環(huán)首次啟動，AI進(jìn)步就有有一個初始的加速。

然后，作者通過計算給出了驚人的結(jié)論：在到達(dá)AI到達(dá)物理極限之前，這些反饋循環(huán)最終將導(dǎo)致有效計算能力增加13到33個數(shù)量級！

最終，爆炸性的結(jié)論來了——

AI在達(dá)到有效的物理極限之前，能進(jìn)步到什么程度？

答案是，軟件效率可能提升大概13個數(shù)量級，也就是1000億倍；芯片技術(shù)可能提升100倍左右；芯片制造規(guī)模可能擴(kuò)大1萬倍左右！

所以，哪個國家會率先實現(xiàn)全棧大爆炸？答案是——很大可能是中國。

AI給自己設(shè)計軟件，開啟進(jìn)化之路

今天看起來像科幻的課題，可能會在十年內(nèi)成為現(xiàn)實。

如何理解即將到來的變化？

通向繁榮未來的有哪些路徑？

Forethough是研究型非營利組織，專注于如何應(yīng)對過渡到擁有超智能AI系統(tǒng)的世界。

該組織認(rèn)為AI系統(tǒng)很快可能比人類更具能力，迅速推動技術(shù)發(fā)展。

一旦AI系統(tǒng)能自己設(shè)計、打造出更強大的AI系統(tǒng)，AI的發(fā)展速度就會加快，我們可能會見證一場智能爆炸（IE）。

AI的能力會飛速提升，遠(yuǎn)超人類水平。

經(jīng)典的智能爆炸，涉及一個反饋循環(huán)：AI設(shè)計出更好的軟件，這些軟件助力打造出更強大的AI，又能進(jìn)一步改進(jìn)軟件，形成持續(xù)的良性循環(huán)。

3種反饋，3種智能爆炸

AI開發(fā)過程中，有許多環(huán)節(jié)都能產(chǎn)生類似的正反饋，主要有以下三種：

• 軟件反饋循環(huán)：AI開發(fā)出更好的軟件，包括訓(xùn)練算法、訓(xùn)練后的增強、利用運行時計算的方法（如o3）、合成數(shù)據(jù)以及任何非計算改進(jìn)。
• 芯片技術(shù)反饋循環(huán)：AI設(shè)計更好的芯片，包括NVIDIA、TSMC、ASML等半導(dǎo)體公司進(jìn)行的前沿研究和設(shè)計工作。
• 芯片生產(chǎn)反饋循環(huán)：AI和機(jī)器人生產(chǎn)更多芯片。

      三種反饋循環(huán)

這些循環(huán)能引出三種智能爆炸：

一種是僅由軟件優(yōu)化帶來的軟件智能爆炸；

一種是軟件和芯片技術(shù)共同改進(jìn)引發(fā)的AI技術(shù)智能爆炸；

還有一種是軟件、芯片技術(shù)與芯片生產(chǎn)帶來的全棧智能爆炸。

三次智能爆炸

即使軟件智能爆炸未能實現(xiàn)，或者很快陷入瓶頸，AI技術(shù)和全棧智能爆炸仍然是可能的。

智能爆炸一開始可能較為平緩，但后續(xù)發(fā)展速度極有可能大幅加快。

研究顯示，每個反饋循環(huán)都能推動AI的加速進(jìn)步。

在達(dá)到物理極限之前，有效算力有望提升20到30個數(shù)量級，使AI能力實現(xiàn)質(zhì)的飛躍。

一般來說，軟件改進(jìn)的時間延遲最短，接著是芯片技術(shù)改進(jìn)，芯片制造的時間最長。

這些反饋循環(huán)可能推動三種不同類型的智能爆炸（IE）：

• 軟件IE：僅AI驅(qū)動的軟件改進(jìn)，就足以推動AI快速且持續(xù)加速發(fā)展。
• AI技術(shù)IE：需要AI在軟件和芯片技術(shù)兩個方面同時改進(jìn)，但無需在芯片生產(chǎn)環(huán)節(jié)進(jìn)行優(yōu)化。
• 全棧IE：要求在軟件、芯片技術(shù)和芯片生產(chǎn)三個方面均有所改進(jìn)。

如果有效的物理極限還遠(yuǎn)，IE的規(guī)模就會更大，速度也會更快。

預(yù)計在達(dá)到極限之前，軟件反饋循環(huán)能將有效算力提高大約13個數(shù)量級（OOMs），芯片技術(shù)循環(huán)還能提高6個數(shù)量級，芯片生產(chǎn)反饋循環(huán)能再提高5個數(shù)量級。

若能把太空中太陽的能量都利用起來，還能再提高9個數(shù)量級。

如果近期有效算力增加與AI能力提升之間的關(guān)系繼續(xù)成立，軟件將實現(xiàn)4個「GPT量級」的能力飛躍，即4個GPT-3到GPT-4的提升。

芯片技術(shù)方面可再實現(xiàn)約2個「GPT量級」的提升，芯片生產(chǎn)大約有2到5個「GPT量級」的提升。

這些智能爆炸，擁有不同的戰(zhàn)略意義。

比如軟件大爆炸，最有可能出現(xiàn)在美國，因為這些AI芯片和算法的所有者掌握著高度集中的權(quán)力。

AI技術(shù)爆炸，最有可能出現(xiàn)在美國和半導(dǎo)體供應(yīng)鏈中的其他國家和地區(qū)，比如臺灣省、韓國、日本、荷蘭，而權(quán)力會更廣泛地分布在AI算法、AI芯片和半導(dǎo)體供應(yīng)鏈所有者之間。

而全棧爆炸，更有可能發(fā)生在中國和海灣國家等擁有強大工業(yè)基礎(chǔ)的國家，這種爆炸也會將權(quán)力更廣泛地分布在整個工業(yè)基礎(chǔ)中。

三種反饋循環(huán)

1965年，數(shù)學(xué)家I. J. Good提出了智能爆炸的概念：

假設(shè)一臺超智能機(jī)器被定義為能遠(yuǎn)遠(yuǎn)超越最聰明人類的機(jī)器。由于設(shè)計機(jī)器屬于智力活動范疇，一臺超智能機(jī)器可以設(shè)計出更先進(jìn)的機(jī)器，那么無疑會發(fā)生一場「智能爆炸」，人類的智力將被遠(yuǎn)遠(yuǎn)拋在后面。因此，第一臺超智能機(jī)器將是人類的最后一項發(fā)明。

一旦AI能自主設(shè)計和構(gòu)建更強大的AI系統(tǒng)，就會形成反饋循環(huán)。

實際上，AI開發(fā)中有許多環(huán)節(jié)可能產(chǎn)生正反饋循環(huán)，其中有三個對IE有推動作用的關(guān)鍵反饋循環(huán)：

軟件反饋循環(huán)：AI對自身算法、數(shù)據(jù)、訓(xùn)練后優(yōu)化和其他軟件技術(shù)進(jìn)行改進(jìn)。典型例子是完全自動化AI開發(fā)實驗室的研究和工作。在這里，AI系統(tǒng)改進(jìn)算法，這些算法用于開發(fā)更好的AI系統(tǒng)，進(jìn)一步改進(jìn)算法。

芯片技術(shù)反饋循環(huán)：AI改進(jìn)AI芯片的質(zhì)量。典型例子是NVIDIA、TSMC、ASML等半導(dǎo)體公司研發(fā)部門的自動化，能在不增加工廠的情況下，做出運算速度更快、性能更好的芯片。在這些芯片上訓(xùn)練或推理，AI能力得到提升。

芯片生產(chǎn)反饋循環(huán)：AI增加AI芯片的產(chǎn)量。典型例子是機(jī)器人完全自動化芯片工廠從建設(shè)到運營的全過程，包括開采原材料、運輸、工廠建設(shè)和日常運轉(zhuǎn)。機(jī)器人建造更多的工廠、生產(chǎn)更多芯片，用于訓(xùn)練更強的AI系統(tǒng)，然后設(shè)計更好的機(jī)器人去建更多的芯片工廠。

反饋循環(huán)需要多久

智能爆炸到底能多快發(fā)生呢？

智能爆炸不太可能一下子就發(fā)生，因為每個反饋循環(huán)都有時間延遲。

軟件反饋循環(huán)的時間最短，芯片生產(chǎn)反饋循環(huán)的時間最長：

• 訓(xùn)練最先進(jìn)的AI模型，大約需要3個月，這是軟件反饋循環(huán)里主要的時間延遲，不過微調(diào)等優(yōu)化耗時少得多。
• 對于芯片技術(shù)反饋循環(huán)，將新技術(shù)集成到工廠并生產(chǎn)出新芯片，通常需要數(shù)月。
• 建設(shè)新的芯片制造廠，往往需要數(shù)年，這是芯片生產(chǎn)反饋循環(huán)所需的。

三種反饋循環(huán)，時間延遲用橙色表示

因此，軟件改進(jìn)的時間最短，其次是芯片技術(shù)改進(jìn)，芯片生產(chǎn)需要的時間最長。

進(jìn)一步細(xì)分三個反饋循環(huán)，并將每個細(xì)分時間延遲的持續(xù)時間可視化

反饋循環(huán)的順序

理論上，IE可以由這三個反饋循環(huán)任意組合、按任意順序出現(xiàn)。

但實際上，軟件反饋循環(huán)很可能最先開始，然后是芯片技術(shù)，最后是芯片生產(chǎn)。

軟件是虛擬的，因此可能最先被自動化：

• AI實驗室可以自己生成自動化所需的所有數(shù)據(jù)。
• AI實驗室直接管自己的工作流程，這就更容易把軟件自動化。
• 和芯片技術(shù)、芯片生產(chǎn)反饋循環(huán)相比，軟件最初的反饋循環(huán)時間更短。

從定義來看，芯片技術(shù)也是虛擬的，但可能在軟件之后自動化：

• 芯片技術(shù)往往依賴研究人員的專業(yè)知識，且這些研究人員不在AI實驗室工作，因此更難獲取訓(xùn)練數(shù)據(jù)。
• 芯片技術(shù)涉及的任務(wù)比軟件更多樣，自動化所有任務(wù)需要更長時間。
• 硬件研發(fā)實驗必須在現(xiàn)實世界中進(jìn)行，很難自動判斷任務(wù)完成得好不好。

芯片生產(chǎn)涉及半導(dǎo)體供應(yīng)鏈的各個環(huán)節(jié)，涉及廣泛的認(rèn)知與物理任務(wù)，因此可能最后被自動化。

機(jī)器人技術(shù)一直是AI進(jìn)步相對較慢的領(lǐng)域，而芯片生產(chǎn)需要先進(jìn)的機(jī)器人技術(shù)。

首先，他們會優(yōu)先考慮AI軟件，當(dāng)軟件的潛力挖掘殆盡后，會將精力轉(zhuǎn)向芯片設(shè)計（比英偉達(dá)的硬件設(shè)計，無需改裝芯片工廠）。同時，還會想辦法研發(fā)更快建造芯片工廠的新技術(shù)，減少時間滯后。

三種智能爆炸

要是這些反饋循環(huán)足夠強，就會帶來智能爆炸，讓AI能力飛速提升！

有三種可能的類型：

• 軟件IE：只靠軟件反饋循環(huán)就能引發(fā)，最有可能突然發(fā)生。
• AI技術(shù)IE：軟件和芯片技術(shù)反饋循環(huán)共同作用，因為AI在改進(jìn)軟件和芯片技術(shù)時，實現(xiàn)了認(rèn)知工作自動化，但不需要物理自動化。和軟件相比，這種IE沒那么突然。
• 全棧IE：三個反饋循環(huán)一起發(fā)力，這種情況最不可能突然發(fā)生。

三種智能爆炸類型可能依次出現(xiàn)，也可能僅出現(xiàn)其中一種或兩種，甚至一種都不出現(xiàn)。

三個反饋循環(huán)與三次智能爆炸的關(guān)聯(lián)

智能爆炸呈現(xiàn)這種順序，很大程度上是由于相關(guān)反饋循環(huán)實現(xiàn)自動化的順序。

即使軟件和芯片技術(shù)反饋同時自動化，因為軟件循環(huán)的時間延遲更短，軟件IE仍會先于AI技術(shù)IE。

軟件智能大爆發(fā)

目前，AI技術(shù)IE和全棧IE尚未得到充分深入的研究分析。

三種反饋循環(huán)的分析

AI的發(fā)展，會隨著時間推移加速嗎？

除了時間延遲，還有個因素得考慮，就是這些反饋循環(huán)可能不夠強，反饋太弱不足以讓AI發(fā)展加速。

反饋循環(huán)剛自動啟動時，AI發(fā)展會提速。但如果循環(huán)不夠強，之后發(fā)展速度可能又會降下來。

一開始，是人類推動AI發(fā)展（上圖綠色部分）。

接著，改進(jìn)AI的工作慢慢實現(xiàn)自動化（上圖橙色部分）。

最后，基本都是AI系統(tǒng)自我改進(jìn)（上圖藍(lán)色部分）。

從實際經(jīng)驗來看，在最后階段，AI發(fā)展開始會加速，直到最后趨于平緩。

反饋循環(huán)能不能讓發(fā)展加速，就看輸入翻倍的時候，輸出能增加多少：

要是輸出增加不止一倍，那發(fā)展就會加速，因為下一次輸入翻倍，能利用的輸出比上一次多，所以速度會更快。

研究改進(jìn)AI軟件和硬件要付出的努力，的確能找到一些實際證據(jù)。

分析發(fā)現(xiàn)，要是沒有監(jiān)管這類人為限制，軟件智能爆炸概率大約50%，AI技術(shù)智能爆炸大概65%，全棧智能爆炸可能性大概80%。

1. 軟件智能爆炸：很可能會加速，因為軟件反饋循環(huán)本身，就可能維持加速發(fā)展，可能性大概50%。

在各個AI領(lǐng)域，效率提升很明顯，研究投入翻倍，計算效率提升不止一倍（Epoch估計在多個領(lǐng)域，投入翻倍，輸出能增加0.8到3.5倍）。

考慮了效率之外的其他發(fā)展因素，再做些調(diào)整，加速發(fā)展好像挺合理。

而Davidson預(yù)計，每增加1倍的認(rèn)知投入，輸出能增加1.2倍，范圍在0.4到3.6倍之間）

2. AI技術(shù)智能爆炸：加速的可能性也很大。只要芯片技術(shù)反饋循環(huán)，就足以維持加速發(fā)展，可能性大概65%。

如此看來，軟件和芯片技術(shù)反饋循環(huán)加起來，很可能推動加速發(fā)展，可能性大概75%。

從歷史數(shù)據(jù)看，硬件研發(fā)投入翻倍，每美元能換來的FLOP大概提升5倍。

要是只算認(rèn)知投入，這個數(shù)字會降低，要是接近物理極限，也會降低，但投入翻倍，輸出增加一倍以上還是有可能的。

3. 全棧智能爆炸：極有可能加速。

芯片制造反饋循環(huán)本身，很可能維持加速發(fā)展，可能性大概80%。

和其他反饋循環(huán)一起，全棧智能爆炸加速的可能性大概90%。

要是能造出建造物理資本用的機(jī)器人和基礎(chǔ)設(shè)施，投入翻倍，產(chǎn)出基本也能翻倍。

因為不考慮資源限制，機(jī)器人多一倍，造出來的東西也能多一倍。

要是機(jī)器人還能自我改進(jìn)，那投入翻倍，產(chǎn)出增加肯定不止一倍。

當(dāng)然，要是稀缺自然資源開采越來越難，投入翻倍，產(chǎn)出增加可能不到一倍。

但從歷史經(jīng)驗看，原材料稀缺的時候，創(chuàng)新一般能彌補這個問題。

不過要注意，把監(jiān)管等人為限制考慮進(jìn)去，總體加速發(fā)展的可能性會降低。

達(dá)到物理極限之前，AI能發(fā)展到何種程度？

除了發(fā)展速度會不會加快，還要考慮每個反饋循環(huán)在接近物理極限前，AI能有多大發(fā)展。

要是物理上限很高，那AI總體發(fā)展空間就大，而且有更多時間加速，發(fā)展的最快速度也就能更快。

現(xiàn)在，有效訓(xùn)練計算大概每3個月翻倍一次。

而理論上，發(fā)展最快速度能達(dá)到近期速度的100倍，差不多是「有效訓(xùn)練算力」每天翻倍。

但實際上，可能因為技術(shù)限制或者人為因素，到不了這么快，也可能還沒加速到速度上限，就達(dá)到物理極限了。

總的來說，很難準(zhǔn)確估計最快速度，但至少看起來會非?？臁?/span>

如果這些極限更高，那么不僅可以實現(xiàn)更多的總進(jìn)展，且進(jìn)展的最大速度（包括加速度）將更快

可以從有效計算的角度，來衡量離物理極限有多遠(yuǎn)。

在達(dá)到物理極限前，估計軟件效率可能提升大概13個數(shù)量級，也就是10000億倍；芯片技術(shù)可能提升100倍左右；芯片制造規(guī)?？赡軘U(kuò)大1萬倍左右。

1. 軟件：效率可能提升大概13個數(shù)量級，但不確定性很大。

要是一開始用1e29 FLOP訓(xùn)練頂級AI，比人類學(xué)習(xí)（大概1e24 FLOP）效率低5個數(shù)量級左右。

和人腦相比，軟件估計還有大概8個數(shù)量級的提升空間，不確定性特別大（這里只算訓(xùn)練效率，沒算軟件其他方面的發(fā)展）。

2. 芯片技術(shù)：在現(xiàn)在的技術(shù)模式下，可能提升2個數(shù)量級左右。

要是技術(shù)接近蘭道爾極限（不可逆計算在能量效率上的物理限制），總共可能提升6個數(shù)量級左右。

要是用可逆計算，可能提升空間更大。

3. 芯片制造：利用地球上的能量，規(guī)?？赡軘U(kuò)大5個數(shù)量級左右。

要是用太空太陽能，把太陽發(fā)出的能量都收集起來，還能再擴(kuò)大9個數(shù)量級左右。

每個反饋循環(huán)在達(dá)到物理限制之前，總共有多少改進(jìn)空間的估計。

把這三個反饋循環(huán)的極限加起來，就能知道三種智能爆炸在達(dá)到物理極限前能發(fā)展到啥程度：

1. 軟件智能爆炸：有效算力可能提升13個數(shù)量級左右，甚至更多。

2. AI技術(shù)智能爆炸：有效算力可能提升19個數(shù)量級以上。

3. 全棧智能爆炸：利用地球上的能量，有效算力可能提升24個數(shù)量級左右；要是利用所有太陽能，可能提升33個數(shù)量級左右。

對每次智能爆炸在達(dá)到物理極限之前，總共有多少改進(jìn)空間的估計。

智能爆炸的速度

下面是三種比較可能出現(xiàn)的情況：

1. 漸進(jìn)情況：全棧智能爆炸慢慢發(fā)生。

光軟件和芯片技術(shù)反饋循環(huán)，推動AI加速發(fā)展。

因為時間延遲，全棧智能爆炸剛開始發(fā)展慢，和2020-2024年的速度差不多。

但隨著時間推移，它會加速，最后變得特別快，翻倍時間可能就幾個月，甚至更短，因為有效物理極限很高。

2. 波動情況：先是軟件智能爆炸，但提升3個數(shù)量級左右就慢下來了。之后，AI技術(shù)和（或）全棧智能爆炸開始，一開始速度比較慢，最后變得特別快。

3. 快速情況：軟件智能爆炸規(guī)模很大，能提升6個數(shù)量級以上，而且?guī)讉€月內(nèi)就發(fā)生，而且物理極限還很高。

這讓技術(shù)有很大改進(jìn)，大大縮短了芯片技術(shù)和芯片制造反饋循環(huán)的時間延遲。

所以，后面的AI技術(shù)和（或）全棧智能爆炸一開始就很快。

而且在軟件智能爆炸趨于平穩(wěn)之前，不會明顯減速。

對于前兩種情況，也就是超級AI要過很久、等產(chǎn)業(yè)擴(kuò)張后才出現(xiàn)的情況，現(xiàn)在還沒多少人從戰(zhàn)略角度好好思考過。