現(xiàn)在，我們已經(jīng)習(xí)慣了計(jì)算會變得越來越便宜，以至于我們從來不曾懷疑過，也許有一天我們會用不起它。

現(xiàn)在，Rodolfo Rosini，一家初創(chuàng)公司的CEO提出了一個(gè)令我們震驚的問題：如果我們正在達(dá)到經(jīng)典計(jì)算模型的基本物理極限，就像我們的經(jīng)濟(jì)依賴廉價(jià)的計(jì)算一樣，那該怎么辦？

大型計(jì)算的停滯

現(xiàn)在，由于缺乏技術(shù)創(chuàng)新，美國已經(jīng)到達(dá)了一個(gè)平穩(wěn)期。

賴特定律（Wright’s Law）在很多行業(yè)中都成立——制造工藝每改進(jìn)20%左右，生產(chǎn)率就會翻一番。

在技術(shù)領(lǐng)域，它表現(xiàn)為摩爾定律。

在1960年代，英特爾聯(lián)合創(chuàng)始人Gordon Moore注意到集成電路中的晶體管數(shù)量似乎同比翻了一番，提出了摩爾定律。

從此，這個(gè)定律就成為市場和工程之間契約的基礎(chǔ)，利用過剩的計(jì)算能力和尺寸的縮小，推動計(jì)算堆棧中產(chǎn)品的構(gòu)建。

那時(shí)的預(yù)期是，有了更快和更便宜的處理器，計(jì)算能力會隨著時(shí)間呈指數(shù)級提高。

然而，構(gòu)成摩爾定律的不同力量已經(jīng)發(fā)生了變化。

幾十年來，摩爾定律背后的推動力是Dennard縮放定律。晶體管尺寸和功耗同步減半，使每單位能量的計(jì)算量增加一倍（后者也稱為Koomey’s LawKoomey定律)。

50年的微處理器趨勢數(shù)據(jù)

2005 年，由于電流泄漏導(dǎo)致芯片升溫，這種縮放比例開始失效，隨之而來的是具有單個(gè)處理核心的芯片的性能停滯不前。

為了保持計(jì)算增長軌跡，芯片行業(yè)轉(zhuǎn)向了多核架構(gòu)：多個(gè)微處理器“粘合”在一起。雖然這可能在晶體管密度方面延長了摩爾定律，但它增加了整個(gè)計(jì)算堆棧的復(fù)雜性。

對于某些類型的計(jì)算任務(wù)，如機(jī)器學(xué)習(xí)或計(jì)算機(jī)圖形，這帶來了性能提升。但是對于很多并行化不好的通用計(jì)算任務(wù)，多核架構(gòu)無能為力。

總之，很多任務(wù)的計(jì)算能力不再呈指數(shù)級增長。

即使在多核超級計(jì)算機(jī)的性能上，從TOP500 （全球最快超級計(jì)算機(jī)排名）來看，2010年左右也出現(xiàn)了明顯的拐點(diǎn)。

這種放緩的影響是什么？計(jì)算在不同行業(yè)中發(fā)揮的越來越重要的作用表明，影響是立竿見影的，而且只有在摩爾定律進(jìn)一步動搖的情況下才會變得更加重要。

舉兩個(gè)極端的例子：計(jì)算能力的提高和成本的降低使得能源行業(yè)石油勘探的生產(chǎn)率增長了49%，生物技術(shù)行業(yè)的蛋白質(zhì)折疊預(yù)測增長了94%。

這意味著計(jì)算速度的影響不僅限于科技行業(yè)，過去50年的大部分經(jīng)濟(jì)增長都是摩爾定律驅(qū)動的二階效應(yīng)，沒有它，世界經(jīng)濟(jì)可能會停止增長。

還有一個(gè)需要更多算力的突出原因，就是人工智能的興起。在今天，訓(xùn)練大語言模型 (LLM) 可能花費(fèi)數(shù)百萬美元，并需要數(shù)周時(shí)間。

如果不繼續(xù)增加數(shù)字運(yùn)算和數(shù)據(jù)擴(kuò)展，機(jī)器學(xué)習(xí)所承諾的未來就無法實(shí)現(xiàn)。

隨著機(jī)器學(xué)習(xí)模型在消費(fèi)技術(shù)中的日益普及，預(yù)示著其他行業(yè)對計(jì)算的巨大需求，而且可能是雙曲線的需求，廉價(jià)的處理正成為生產(chǎn)力的基石。

摩爾定律的死亡可能會帶來計(jì)算的大停滯。與達(dá)到AGI可能需要的多模態(tài)神經(jīng)網(wǎng)絡(luò)相比，今天的LLM仍然相對較小，且容易訓(xùn)練。未來的GPT和它們的競爭對手將需要特別強(qiáng)大的高性能計(jì)算機(jī)來改進(jìn)，甚至進(jìn)行優(yōu)化。

或許很多人會感到懷疑。畢竟，摩爾定律的終結(jié)已經(jīng)被預(yù)言過很多次了。為什么應(yīng)該是現(xiàn)在？

從歷史上看，這些預(yù)測中有許多都源于工程上的挑戰(zhàn)。此前，人類的聰明才智曾一次又一次地克服了這些障礙。

現(xiàn)在的不同之處在于，我們面臨的不再是工程和智能方面的挑戰(zhàn)，而是物理學(xué)施加的限制。

MIT Technology Review2月24日發(fā)文稱，我們沒有為摩爾定律的終結(jié)做好準(zhǔn)備

過熱導(dǎo)致無法處理

計(jì)算機(jī)是通過處理信息來工作的。

當(dāng)他們處理信息時(shí)，其中一些信息會隨著微處理器合并計(jì)算分支或覆蓋注冊表而被丟棄。這并不是免費(fèi)的。

熱力學(xué)定律對某些過程的效率有嚴(yán)格的限制，而它也適用于計(jì)算，就像它適用于蒸汽機(jī)一樣。這個(gè)成本稱為Landauer’s limit蘭道爾極限（Landauer’s limit）。

它是每次計(jì)算操作過程中散發(fā)的微量熱量：大約每比特10^-21焦耳。

鑒于這種熱量這么小，蘭道爾極限長期以來一直被認(rèn)為可以忽略。

然而，現(xiàn)在的工程能力已經(jīng)發(fā)展到了可以達(dá)到這種能量規(guī)模的程度，因?yàn)橛捎陔娏餍孤┑绕渌_銷，現(xiàn)實(shí)世界的極限估計(jì)比Landauer的邊界大了10-100倍。芯片有數(shù)以千億計(jì)的晶體管，以每秒數(shù)十億次的速度運(yùn)行。

把這些數(shù)字加起來，或許在到達(dá)熱障礙之前，摩爾定律或許還剩下一個(gè)數(shù)量級的增長。

到那時(shí)，現(xiàn)有的晶體管架構(gòu)將無法進(jìn)一步提高能效，而且產(chǎn)生的熱量會阻止將晶體管封裝得更緊密。

如果我們不弄清楚這一點(diǎn)，就無法看清行業(yè)價(jià)值觀將會發(fā)生什么變化。

微處理器將受到限制，行業(yè)將爭奪邊際能源效率的較低獎勵(lì)。

芯片尺寸會膨脹?？纯从ミ_(dá)4000系列的GPU 卡：盡管使用了更高密度的工藝，但它只有一只小狗那么大，功率高達(dá)650W。

這促使NVIDIA首席執(zhí)行官黃仁勛在2022年底宣布“摩爾定律已死”——盡管這一聲明大部分正確，但其他半導(dǎo)體公司否認(rèn)了這一聲明。

IEEE每年都會發(fā)布半導(dǎo)體路線圖，最新的評估是2D的微縮將在2028年完成，3D微縮應(yīng)該在2031年全面啟動。

3D 微縮（芯片在其中相互堆疊）已經(jīng)很普遍，但它是在計(jì)算機(jī)內(nèi)存中，而不是在微處理器中。

這是因?yàn)閮?nèi)存的散熱要低得多；然而，散熱在3D架構(gòu)中很復(fù)雜，因此主動內(nèi)存冷卻變得很重要。

具有256層的內(nèi)存即將出現(xiàn)，預(yù)計(jì)到2030年將達(dá)到1,000層大關(guān)。

回到微處理器，正在成為商業(yè)標(biāo)準(zhǔn)的多門器件架構(gòu)（如Fin場效應(yīng)晶體管和Gates-all-round）將在未來幾年繼續(xù)遵循摩爾定律。

然而，由于固有的熱問題，在20世紀(jì)30年代以后都不可能有真正的垂直擴(kuò)展（vertical scaling）。

事實(shí)上，目前的芯片組會仔細(xì)監(jiān)督處理器的哪些部分隨時(shí)處于活躍狀態(tài)，即使在單個(gè)平面上也能避免過熱。

2030危機(jī)？

一個(gè)世紀(jì)前， 美國詩人Robert Frost曾經(jīng)這樣問道：世界會在霜還是火中終結(jié)?

如果答案是火，那就幾乎預(yù)示著計(jì)算的終結(jié)。

或者，就接受這個(gè)事實(shí)：電力使用會增加，然后擴(kuò)大微處理器的制造規(guī)模。

為了這個(gè)目的，人類已經(jīng)消耗了很大一部分地球能源。

也許另一種選擇是簡單地接受增加的電力使用并擴(kuò)大微處理器的制造規(guī)模。我們已經(jīng)為此目的使用了地球能源供應(yīng)的很大一部分。

在愛爾蘭，僅70個(gè)數(shù)據(jù)中心就消耗了全國14%的能源。到2030年代，預(yù)計(jì)全球生產(chǎn)電力的30-50%將用于計(jì)算和冷卻。

（有趣的是，在3月19日博文發(fā)表后，作者又將這個(gè)預(yù)測刪除了。他的解釋是，這是基于Nature論文中最壞情況的推斷，為了論證的清晰和精確，現(xiàn)在已將其刪除）

而現(xiàn)在的能源生產(chǎn)的規(guī)?；俣?，在這之后會導(dǎo)致摩爾定律規(guī)?；某杀韭晕⒃黾?。

而在設(shè)計(jì)（能源效率）和實(shí)施層面（將仍在使用的舊設(shè)計(jì)替換為最新技術(shù)）的一系列一次性優(yōu)化措施，將允許印度等發(fā)展中經(jīng)濟(jì)體趕上全球的整體生產(chǎn)力。

而摩爾定律終結(jié)后，人類在微處理器芯片的制造還沒有達(dá)到極限之前，就會耗盡能源，計(jì)算成本下降的步伐將停滯不前。

雖然量子計(jì)算被吹捧為超越摩爾定律的有效途徑，但它存在太多未知數(shù)了，離商用還有數(shù)十年的發(fā)展，至少在未來 20到30年內(nèi)，都派不上用場。

顯然，未來10年將出現(xiàn)嚴(yán)重的算力差距，現(xiàn)有的技術(shù)公司、投資者或政府機(jī)構(gòu)都沒辦法解決。

摩爾定律和蘭道爾極限的碰撞已經(jīng)有數(shù)十年了，可以說是2030年代最重大、最關(guān)鍵的事件之一。

但現(xiàn)在，知道這件事的人，似乎并不多。