圖 1：1950 年至 2022 年間 118 個里程碑機(jī)器學(xué)習(xí)系統(tǒng)的趨勢。我們區(qū)分了三個時代。注意大約 2010 年的斜率變化，與深度學(xué)習(xí)的出現(xiàn)相匹配;2015年底出現(xiàn)了新的大規(guī)模趨勢。

預(yù)測機(jī)器學(xué)習(xí)領(lǐng)域的進(jìn)展是很困難，其與行業(yè)、政策和社會中的參與者有著重要的相關(guān)性。

十年后計(jì)算機(jī)視覺會好多少?機(jī)器能否寫出比我們更好的小說嗎?我們將能夠自動化哪些工作?

這些問題回答起來是很困難，因?yàn)樗鼈內(nèi)Q于許多因素。然而，隨著時間的推移，所有這些因素的影響中有一個因素——算力，有著驚人地規(guī)律。

已有數(shù)據(jù)顯示，2010年之前，訓(xùn)練算力的增長率符合摩爾定律(Moore’s law)，大約每20個月翻一番。

從2010年之后深度學(xué)習(xí)開始來臨，訓(xùn)練算力的增長率大幅度提升，大約每6個月翻一番。2015年末，隨著許多公司開始開發(fā)大規(guī)模的機(jī)器學(xué)習(xí)模型，對訓(xùn)練算力的要求提高了10到100倍，于是，一種新的趨勢又出現(xiàn)了。

基于上述發(fā)現(xiàn)，一支聯(lián)合團(tuán)隊(duì)在其研究COMPUTE TRENDS ACROSS THREE ERAS OF MACHINE LEARNING一文中，將機(jī)器學(xué)習(xí)的算力趨勢分為三個時代：前深度學(xué)習(xí)時代，深度學(xué)習(xí)時代和大規(guī)模時代，很好地梳理出當(dāng)前的算力演進(jìn)脈絡(luò)。

圖丨里程碑式大模型信息一覽

更具體的，這項(xiàng)研究共有以下三點(diǎn)貢獻(xiàn)：

1)策劃了一個包含100多個具有里程碑意義的機(jī)器學(xué)習(xí)系統(tǒng)的數(shù)據(jù)集，并對訓(xùn)練它們所需的算力進(jìn)行了注釋。

2)初步將算力趨勢劃分為三個不同的時代：深度學(xué)習(xí)前時代、深度學(xué)習(xí)時代和大規(guī)模時代。這項(xiàng)研究提供了每個時代的倍增時間的估計(jì)。

3)在一系列附錄中展示了為驗(yàn)證這項(xiàng)研究的結(jié)論所開展的一些替代實(shí)驗(yàn)，討論了數(shù)據(jù)的替代解釋以及與以前工作的差異。

另外，這項(xiàng)研究所采用的數(shù)據(jù)集、數(shù)據(jù)和交互式可視化均是公開的。

一、深度學(xué)習(xí)的出現(xiàn)

這項(xiàng)研究根據(jù)三個不同的時代和三個不同的趨勢來解釋這項(xiàng)研究整理的數(shù)據(jù)。

簡而言之，在深度學(xué)習(xí)開始之前，有一個增長緩慢的時代。2010 年前后，這一趨勢加速發(fā)展，此后一直沒有放緩。另外，在 2015 年到 2016 年出現(xiàn)了大規(guī)模模型的新趨勢，以相似的速度增長，但超過了之前的一到兩個數(shù)量級(orders of magnitude，OOM)。

表1 主要結(jié)果總結(jié)。2010 年隨著深度學(xué)習(xí)的普及，趨勢加速，2015 年末出現(xiàn)了大規(guī)模模型的新趨勢。

下面，這項(xiàng)研究將首先討論 2010年至2012年左右向深度學(xué)習(xí)的過渡時期。然后討論大約在 2015年至2016 年出現(xiàn)的大規(guī)模模型時代。

深度學(xué)習(xí)出現(xiàn)前后存在兩種截然不同的趨勢機(jī)制。在此之前，訓(xùn)練機(jī)器學(xué)習(xí)系統(tǒng)所需的計(jì)算量每 17 到 29 個月翻一番。隨后，整體趨勢加快，每 4 到 9 個月翻一番。

前深度學(xué)習(xí)時代的趨勢大致符合摩爾定律，根據(jù)該定律，晶體管密度大約每兩年翻一番——通常簡化為計(jì)算性能每兩年翻一番。

目前尚不清楚深度學(xué)習(xí)時代從何時開始——從前深度學(xué)習(xí)時代到深度學(xué)習(xí)時代的過渡沒有明顯的不連續(xù)性。此外，這項(xiàng)研究將深度學(xué)習(xí)時代的開始時間分別定在 2010 年和 2012 年，結(jié)果幾乎沒有變化，如表2所示。

圖2. 1952年至2022年間100多個里程碑機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練算力趨勢。請注意 2010 年左右趨勢的斜率變化。

表2 1952 年至 2022 年 ML 模型的對數(shù)線性回歸結(jié)果

二、大模型的出現(xiàn)

2015-2016 年左右出現(xiàn)了大規(guī)模模型的新趨勢。

這種新趨勢始于 2015 年底的 AlphaGo，并一直持續(xù)到今天。這些大規(guī)模模型是由大公司訓(xùn)練的，其較大的訓(xùn)練預(yù)算想必能夠打破之前的趨勢。

另外，常規(guī)比例模型的趨勢仍不受干擾。這種趨勢在 2016 年前后是連續(xù)的，斜率相同，每5到6個月翻一番，見表3大規(guī)模模型中計(jì)算量增加的趨勢明顯變慢，每9到10個月翻一番。由于這項(xiàng)研究對這些模型的相關(guān)數(shù)據(jù)有限，所以明顯的放緩的趨勢也可能是噪聲的結(jié)果。這項(xiàng)研究發(fā)現(xiàn)的結(jié)果與2018年Amodei & Hernandez等人的發(fā)現(xiàn)形成鮮明的對比，后者發(fā)現(xiàn) 2012 年至 2018 年之間的倍增期更快，為3.4個月，而2021年Lyzhov發(fā)現(xiàn)2018年至2020年之間的倍增期更長，超過2年。

由于他們的分析數(shù)據(jù)樣本有限且假設(shè)單一趨勢，因此與這項(xiàng)研究發(fā)現(xiàn)的結(jié)果存在巨大差異。而這項(xiàng)研究分別研究大規(guī)模模型和常規(guī)規(guī)模模型，且大規(guī)模模型的趨勢是最近幾年才出現(xiàn)，以前的分析無法區(qū)分這兩種不同的趨勢。

圖2. 2010~2022年100多個里程碑式機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練計(jì)算趨勢。注意 2016 年左右可能出現(xiàn)的大規(guī)模模型新趨勢。其余模型的趨勢在 2016 年前后保持不變。

表3. 2010~2022年數(shù)據(jù)的對數(shù)線性回歸結(jié)果。2015 年之前的常規(guī)尺度模型的趨勢在之后繼續(xù)不間斷。

三、結(jié)論與方向

這項(xiàng)研究通過管理100 多個里程碑式機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練計(jì)算數(shù)據(jù)集來研究算力趨勢，并使用這些數(shù)據(jù)分析趨勢如何隨著時間的推移而增長。

團(tuán)隊(duì)表示，希望這項(xiàng)研究的工作能夠幫助其他人更好地了解到機(jī)器學(xué)習(xí)系統(tǒng)的最新進(jìn)展是由規(guī)模增加推動的，從而進(jìn)一步改進(jìn)對高級機(jī)器學(xué)習(xí)系統(tǒng)開發(fā)的預(yù)測。

此外，訓(xùn)練算力的增長趨勢，凸顯了硬件基礎(chǔ)設(shè)施和工程師的戰(zhàn)略重要性。

機(jī)器學(xué)習(xí)的前沿研究已成為訪問大量算力預(yù)算或算力集群以及利用它們的專業(yè)知識的代名詞。

這項(xiàng)研究未涉及的一個方面是用于訓(xùn)練機(jī)器學(xué)習(xí)模型的另一個關(guān)鍵可量化因素——數(shù)據(jù)，未來可以嘗試研究數(shù)據(jù)集大小及其與算力趨勢的關(guān)系。