在過去的十年里，AI系統(tǒng)發(fā)展的速度令人驚嘆。

2016年AlphaGo在圍棋比賽中擊敗李世石，就是一個開始?，F(xiàn)在，AI已經(jīng)可以比人類更好地識別圖像和語音，通過商學(xué)院考試，以及亞馬遜的編程面試題。

就在上周，美國參議院司法委員會開展了關(guān)于監(jiān)管AI的聽證會。

在會上，著名AI初創(chuàng)公司Anthropic的CEO Dario Amodei表示說：了解AI最重要的一件事，就是知道它的發(fā)展速度有多快。

最近，《時代周刊》就發(fā)了一篇文章，用四張圖告訴我們，AI的發(fā)展速度為什么不會放緩。

人類正在被AI超越

如今，AI在許多任務(wù)中超越了人類，人類在新任務(wù)中被超越的速度也在增加。

下圖是SOTA模型在基準測試上相對于人類的表現(xiàn)。

測試的能力分別是手寫識別（MNIST）、語音識別（Switchboard）、圖像識別（ImageNet）、閱讀理解（SQuAD 1.1 & SQuAD 2.0）、語言理解（GLUE）、常識完成（HellaSwag）、小學(xué)數(shù)學(xué)（GSK8k）、代碼生成（HumanEval）。

人類的表現(xiàn)被設(shè)定為100%

人們通常會認為，科學(xué)和技術(shù)進步在根本上是不可預(yù)測的，驅(qū)動它們的是一種在事后才變得更清晰的洞察力。

但我們可以預(yù)見，AI系統(tǒng)的進步是由三個輸入（計算、數(shù)據(jù)和算法）的進步推動的。

過去70年的大部分進步，都是研究人員使用更大的算力訓(xùn)練AI系統(tǒng)的結(jié)果。

系統(tǒng)被提供了更多數(shù)據(jù)，或者存在更強的算法，有效地減少了獲得相同結(jié)果所需的計算或數(shù)據(jù)量。

只要了解這三個因素在過去是如何推動了人工智能的進步，我們就會理解為什么大多數(shù)AI從業(yè)者預(yù)計AI的進展不會放緩。

計算量的增加

第一個人工神經(jīng)網(wǎng)絡(luò)Perceptron Mark I開發(fā)于1957年，它可以分辨一張卡片的標記是在左側(cè)還是右側(cè)。

擁有1000個人工神經(jīng)元的Mark I，訓(xùn)練一次大概需要7x10^5次操作。

而70多年后OpenAI發(fā)布的大語言模型GPT-4，訓(xùn)練一次大概需要21x10^24次操作。

計算量的增加，不僅讓AI系統(tǒng)可以從更多的數(shù)據(jù)中學(xué)到更多的示例，而且還可以更詳細地對變量之間的關(guān)系進行建模，從而得出更準確、更細致的結(jié)論。

自1965年以來，摩爾定律（集成電路中的晶體管數(shù)量大約每兩年翻一番）意味著算力的價格一直在穩(wěn)步下降。

不過，研究機構(gòu)Epoch的主任Jaime Sevilla表示，這時的研究人員更專注于開發(fā)構(gòu)建AI系統(tǒng)的新技術(shù)，而不是關(guān)注使用多少計算來訓(xùn)練這些系統(tǒng)。

然而，情況在2010年左右發(fā)生了變化——研究人員發(fā)現(xiàn)「訓(xùn)練模型越大，表現(xiàn)效果越好」。

從那時起，他們便開始花費越來越多的資金，來訓(xùn)練規(guī)模更大的模型。

訓(xùn)練AI系統(tǒng)需要昂貴的專用芯片，開發(fā)者要么構(gòu)建自己的計算基礎(chǔ)設(shè)施，要么向云計算服務(wù)商付費，訪問他們的基礎(chǔ)設(shè)施。

隨著這一支出的不斷增長，再加上摩爾定律帶來的成本下降，AI模型也能夠在越來越強大的算力上進行訓(xùn)練。

據(jù)OpenAI CEO Sam Altman透露，GPT-4的訓(xùn)練成本超過了1億美元。

作為業(yè)界的兩個頂流，OpenAI和Anthropic已經(jīng)分別從投資者那里籌集了數(shù)十億美元，用于支付訓(xùn)練AI系統(tǒng)的計算費用，并各自與財力雄厚的科技巨頭（微軟、谷歌）建立了合作伙伴關(guān)系。

自1950年以來，用于訓(xùn)練AI系統(tǒng)的計算量一直在增加；到2010年，增長率也增加了

數(shù)據(jù)量的增長

AI系統(tǒng)的工作原理是，構(gòu)建訓(xùn)練數(shù)據(jù)中變量之間的關(guān)系模型。

無論是單詞「home」與單詞「run」相鄰的可能性，還是基因序列與蛋白質(zhì)折疊之間的模式，即蛋白質(zhì)以其三維形態(tài)取得功能的過程。

一般來說，數(shù)據(jù)越多AI系統(tǒng)就有越多信息來建立數(shù)據(jù)中變量之間準確的關(guān)系模型，從而提高性能。

例如，一個被提供更多文本的語言模型將擁有更多以「run」跟隨「home」出現(xiàn)的句子示例。因為在描述棒球比賽或強調(diào)成功的句子中，這種詞序更為常見。

關(guān)于Perceptron Mark I的原始研究論文指出，它僅使用了六個數(shù)據(jù)點進行訓(xùn)練。

論文地址：https://blogs.umass.edu/brain-wars/files/2016/03/rosenblatt-1957.pdf

相比之下，由Meta在2023年發(fā)布的大語言模型LLaMA，則使用了約10億個數(shù)據(jù)點進行訓(xùn)練——比Perceptron Mark I增加了超過1.6億倍。

其中，這些數(shù)據(jù)包括，67%的Common Crawl數(shù)據(jù)，4.5％的GitHub，以及4.5％的維基百科。

在過去的70年中，用于訓(xùn)練AI模型的數(shù)據(jù)量急劇增加

訓(xùn)練數(shù)據(jù)大小是指用于訓(xùn)練AI模型的數(shù)據(jù)量，表示可供模型學(xué)習(xí)的示例數(shù)。

每個領(lǐng)域都有一個特定的數(shù)據(jù)點輸入單元，例如用于訓(xùn)練視覺模型的圖像、用于語言模型的單詞，和用于游戲模型的時間步長。這意味著系統(tǒng)只能在同一領(lǐng)域內(nèi)進行比較。

算法的進步

算法是定義要執(zhí)行的操作序列的規(guī)則或指令集，它決定了AI系統(tǒng)如何準確地利用算力來建模給定的數(shù)據(jù)之間的關(guān)系。

除了使用越來越多的算力在更多數(shù)據(jù)上訓(xùn)練AI之外，研究人員還在尋找在尋找如何用更少的資源獲得更多的效益。

Epoch的研究發(fā)現(xiàn)，「每九個月，更好的算法的引入，相當于讓計算預(yù)算翻番?！?/span>

訓(xùn)練模型的帕累托邊界，以實現(xiàn)知名模型隨時間推移的性能

而算法進步也就是意味著，模型可以憑借著更少的計算和數(shù)據(jù)，達到相同的性能水平。

下圖是在六個不同年份中，在圖像識別測試中達到80.9%的準確度所需的計算量和數(shù)據(jù)點數(shù)。

對于在1萬億個數(shù)據(jù)點上訓(xùn)練的模型，2021年訓(xùn)練的模型所需的計算量比2012年訓(xùn)練的模型少~16,500倍。

在圖像識別測試中，達到80.9%準確率所需的計算量和數(shù)據(jù)量

調(diào)查涉及的是ImageNet基準測試上的ResNeXt-101計算機視覺系統(tǒng)，計算以FLOP為單位，數(shù)據(jù)以訓(xùn)練集中的圖像數(shù)量來衡量。

AI的下一個階段

根據(jù)Sevilla的預(yù)測，研究人員用于訓(xùn)練系統(tǒng)的計算量很可能在一段時間內(nèi)繼續(xù)以目前的加速度增長，企業(yè)在訓(xùn)練AI系統(tǒng)上花費的資金也會增加，而隨著計算成本的持續(xù)下降，效率也會提高。

直到個時刻，繼續(xù)增加計算量只能略微提高性能為止。在此之后，計算量將繼續(xù)增加，但速度會放慢。而這完全是因為摩爾定律導(dǎo)致計算成本下降。

目前，AI系統(tǒng)（如 LLaMA）所使用的數(shù)據(jù)來自互聯(lián)網(wǎng)。在以往，能輸入AI系統(tǒng)多少數(shù)據(jù)量，主要取決于有多少算力。

而最近訓(xùn)練AI系統(tǒng)所需的數(shù)據(jù)量的爆炸性增長，已經(jīng)超過了互聯(lián)網(wǎng)上新文本數(shù)據(jù)的生產(chǎn)速度。

因此，Epoch預(yù)測，研究人員將在2026年用盡高質(zhì)量的語言數(shù)據(jù)。

不過，開發(fā)AI系統(tǒng)的人對這個問題似乎不太擔心。

在3月份參加Lunar Society的播客節(jié)目時，OpenAI的首席科學(xué)家Ilya Sutskever表示：「我們的數(shù)據(jù)情況還不錯。還有很多可用的數(shù)據(jù)?！?/span>

在7月份參加Hard Fork播客節(jié)目時，Dario Amodei估計：「在數(shù)據(jù)不足的情況下，這種擴展可能有10%的幾率會受到影響?！?/span>

Sevilla也相信，數(shù)據(jù)的不足并不會阻止AI的進一步發(fā)展，例如找到使用低質(zhì)量語言數(shù)據(jù)的方法。因為與計算不同，數(shù)據(jù)不足以前并沒有成為AI發(fā)展的瓶頸。

他預(yù)計，在創(chuàng)新方面，研究人員將很可能會發(fā)現(xiàn)很多簡單的方法來解決這個問題。

到目前為止，算法的大部分改進，都源于如何更高效地利用算力這一目標。Epoch發(fā)現(xiàn)，過去超過四分之三的算法進步，都是被用來彌補計算的不足。

未來，隨著數(shù)據(jù)成為AI訓(xùn)練發(fā)展的瓶頸，可能會有更多的算法改進，被用來彌補數(shù)據(jù)上的不足。

綜合以上三個方面，包括Sevilla在內(nèi)的專家們預(yù)計，AI進展將在未來幾年內(nèi)繼續(xù)以驚人的速度進行。

計算量將繼續(xù)增加，因為公司投入更多資金，底層技術(shù)也變得更加便宜。

互聯(lián)網(wǎng)上剩余有用的數(shù)據(jù)將被用于訓(xùn)練AI模型，研究人員將繼續(xù)找到訓(xùn)練和運行AI系統(tǒng)的更高效方法，從而更好地利用算力和數(shù)據(jù)。

而AI在這些十年的發(fā)展趨勢，也將繼續(xù)延續(xù)下去。

當然，這種趨勢也讓很多AI專家感到擔憂。

在參議院委員會聽證會上，Anthropic CEO Amodei提出，如果AI再繼續(xù)進步下去，兩到三年內(nèi)，普通人都可以獲得即使是專家也無法獲得的科學(xué)知識了。

這可能造成的網(wǎng)絡(luò)安全、核技術(shù)、化學(xué)、生物學(xué)等領(lǐng)域造成的嚴重破壞和濫用，誰都無法想象。