數(shù)據(jù)和算力，是AI大模型最重要的兩把「鏟子」。

算力方面，英偉達(dá)的不斷創(chuàng)新和各家代工廠的產(chǎn)能提高，讓世界各處的數(shù)據(jù)中心拔地而起，研究人員暫時(shí)不用擔(dān)心計(jì)算資源。

然而，近些年來，數(shù)據(jù)成為愈發(fā)嚴(yán)峻的問題。

根據(jù)華爾街日?qǐng)?bào)的報(bào)道，OpenAI在訓(xùn)練GPT-5時(shí)已經(jīng)遇到了文本數(shù)據(jù)不足的問題，正在考慮使用Youtube公開視頻轉(zhuǎn)錄出的文本。

關(guān)于「數(shù)據(jù)耗盡」這個(gè)問題，非營利研究機(jī)構(gòu)Epoch AI在6月4日發(fā)布了一篇最新論文。

根據(jù)他們的預(yù)測(cè)，未來10年內(nèi)，數(shù)據(jù)增長的速度無法支撐起大模型的擴(kuò)展，LLM會(huì)在2028年耗盡互聯(lián)網(wǎng)上的所有文本數(shù)據(jù)。

論文地址：??https://arxiv.org/abs/2211.04325??

目前這篇論文已被ICML 2024接收。著名的硅谷天才少年Alexandr Wang也轉(zhuǎn)發(fā)了這篇論文，并附上了自己的一番見解。

他創(chuàng)辦的Scale AI專門為AI模型提供訓(xùn)練數(shù)據(jù)，估值已經(jīng)飆升到138億，是當(dāng)下硅谷最炙手可熱的明星獨(dú)角獸。

??估值飆至138億美元！27歲華裔天才少年再獲融資，數(shù)據(jù)標(biāo)注會(huì)是下一個(gè)風(fēng)口？??

論文作者所屬的機(jī)構(gòu)Epoch AI則是一家非營利研究組織，成立于2022年4月，他們致力于調(diào)查人工智能的歷史趨勢(shì)，并幫助預(yù)測(cè)其未來發(fā)展。

雖然這個(gè)組織目前只有13名員工，且分布在世界各地，但他們的工作有非常廣泛的影響。

英國和荷蘭的政府報(bào)告都曾引用Epoch AI發(fā)表的論文。RAND智庫的研究員表示，Epoch的AI模型數(shù)據(jù)庫對(duì)于政策制定者來說是寶貴的資源，「世界上沒有其他數(shù)據(jù)庫如此詳盡和嚴(yán)謹(jǐn)」。

預(yù)測(cè)方法

Epoch AI憑什么預(yù)測(cè)出2028年這個(gè)時(shí)間點(diǎn)？

說得直白一點(diǎn)，數(shù)據(jù)量就像一個(gè)水池。有存量、有增量，是否夠用就要同時(shí)看供給側(cè)和需求側(cè)，預(yù)測(cè)AI模型的數(shù)據(jù)集會(huì)不會(huì)把水池抽干。

數(shù)據(jù)存量

首先需要估計(jì)目前互聯(lián)網(wǎng)上的文本數(shù)據(jù)存量S。

定期更新的開源數(shù)據(jù)集Common Crawl爬取到了超過2500億個(gè)網(wǎng)頁，包含130T tokens。但這不是全部的網(wǎng)絡(luò)內(nèi)容，還需要統(tǒng)計(jì)索引網(wǎng)絡(luò)的大小。

我們先假設(shè)谷歌搜索引擎包含了所有索引網(wǎng)站，可以使用「詞頻法」估計(jì)其中的頁面數(shù)量。

比如，如果「chair」這個(gè)詞出現(xiàn)在Common Crawl 0.2%的頁面中，而且谷歌可以搜索到40B個(gè)包含「chair」的網(wǎng)頁結(jié)果，就能初步預(yù)估出整個(gè)索引網(wǎng)絡(luò)的大小約為40B/0.002=20T個(gè)頁面。

采用這種方法，論文估算出谷歌索引包含約270B個(gè)頁面，每個(gè)網(wǎng)頁約有1.9KB純文本數(shù)據(jù)，這表明整個(gè)索引網(wǎng)絡(luò)的數(shù)據(jù)量大概為500T，是Common Crawl的5倍。

除此之外，還可以用另一種思路建模，估算整個(gè)互聯(lián)網(wǎng)的數(shù)據(jù)總量——從使用人數(shù)入手。

網(wǎng)絡(luò)上大部分文本數(shù)據(jù)都是用戶生成的，并存儲(chǔ)在各種平臺(tái)上，因此，考慮互聯(lián)網(wǎng)用戶數(shù)和人均產(chǎn)生數(shù)據(jù)量，即可估計(jì)人類生成的公開文本數(shù)據(jù)量。

根據(jù)人口增長以及互聯(lián)網(wǎng)逐漸普及的趨勢(shì)，論文對(duì)互聯(lián)網(wǎng)用戶增長趨勢(shì)進(jìn)行建模，得出的曲線與歷史數(shù)據(jù)非常吻合。

假設(shè)每個(gè)用戶平均生成數(shù)據(jù)率保持不變，論文預(yù)計(jì)2024年上傳的文本數(shù)據(jù)總量為180T~500T tokens。

根據(jù)這個(gè)預(yù)測(cè)結(jié)果以及已知的增長趨勢(shì)，論文預(yù)估，互聯(lián)網(wǎng)上的存量數(shù)據(jù)為3100T。

由于同時(shí)考慮了索引網(wǎng)絡(luò)和深層網(wǎng)絡(luò)（搜索引擎無法觸及的網(wǎng)頁），這個(gè)數(shù)字可以看作索引網(wǎng)絡(luò)數(shù)據(jù)量的上限。

數(shù)據(jù)質(zhì)量

5G時(shí)代的沖浪選手應(yīng)該都有體會(huì)，雖然在同一個(gè)互聯(lián)網(wǎng)，但文本和文本的質(zhì)量可以有云泥之別。

比如，在書籍或維基百科的文本上訓(xùn)練出的模型，與Youtube評(píng)論喂出的模型，可能有很大的性能差異。因此，只用token數(shù)量衡量數(shù)據(jù)的話，就過于片面了。

但也不能對(duì)網(wǎng)絡(luò)數(shù)據(jù)失去信心。之前有多項(xiàng)研究表明，通過仔細(xì)的過濾和數(shù)據(jù)處理，網(wǎng)絡(luò)數(shù)據(jù)帶來的性能依舊優(yōu)于人工精心挑選的語料庫。

論文地址：https://arxiv.org/abs/2306.01116

研究人員嘗試對(duì)Common Crawl數(shù)據(jù)集進(jìn)行類似的處理，發(fā)現(xiàn)過濾后數(shù)據(jù)集大小會(huì)降低30%。同時(shí)，另一項(xiàng)去年的研究也發(fā)現(xiàn)，剪除Common Crawl中50%的重復(fù)數(shù)據(jù)可以實(shí)現(xiàn)最佳性能。

因此，有比較充足的理由相信，數(shù)據(jù)總量的10%-30%可作為高質(zhì)量數(shù)據(jù)用于訓(xùn)練，相當(dāng)于索引網(wǎng)絡(luò)510T數(shù)據(jù)中的100T左右。

數(shù)據(jù)集大小

以上是對(duì)互聯(lián)網(wǎng)數(shù)據(jù)池的預(yù)估，是數(shù)據(jù)的供給方。接下來，需要對(duì)數(shù)據(jù)使用方——數(shù)據(jù)集容量（變量D）進(jìn)行預(yù)估。

Epoch曾經(jīng)在2022年發(fā)表了一個(gè)知名的機(jī)器學(xué)習(xí)模型數(shù)據(jù)庫，包含了300多個(gè)模型，從中選取2010年-2024年間發(fā)表的80余個(gè)LLM進(jìn)行分析。

上圖表明，目前LLM使用的最大訓(xùn)練集約為10T。Epoch AI之前也曾預(yù)估過，GPT-4訓(xùn)練集大小達(dá)到了12T tokens。

如果直接根據(jù)歷史趨勢(shì)進(jìn)行外插（圖中藍(lán)線），那么到2030年，模型可以接受超過1000T tokens的訓(xùn)練。

但這個(gè)結(jié)果沒有同時(shí)考慮算力的限制。根據(jù)Scaling Law，Transformer架構(gòu)所需的數(shù)據(jù)量大致隨訓(xùn)練算力的平方根擴(kuò)展。

將計(jì)算資源和電力資源的約束引入后，就得到了下圖中的預(yù)測(cè)曲線。

由此，論文就得出了預(yù)測(cè)結(jié)果。按照目前互聯(lián)網(wǎng)數(shù)據(jù)總量和訓(xùn)練數(shù)據(jù)集的增長速度，如果以當(dāng)前趨勢(shì)繼續(xù)下去，數(shù)據(jù)耗盡年份的中位數(shù)是2028年，最大可能性是2032年。

這意味著，未來10年內(nèi)，數(shù)據(jù)將成為LLM的重大瓶頸，「數(shù)據(jù)墻」將成為現(xiàn)實(shí)。

慢著，記不記得之前我們預(yù)估過，整個(gè)互聯(lián)網(wǎng)上的文本數(shù)據(jù)總量約為3100T，這些數(shù)據(jù)怎么沒有算進(jìn)去？

遺憾的是，這部分?jǐn)?shù)據(jù)大多分布在Fackbook、Instagram、WhatsApp等社交媒體上，抓取過程不僅復(fù)雜、昂貴，而且涉及個(gè)人隱私相關(guān)的法律問題，因此幾乎無法應(yīng)用于LLM的訓(xùn)練。

但Meta公司等機(jī)構(gòu)似乎沒有放棄，仍在探索可能的路徑來利用這些數(shù)據(jù)。

「數(shù)據(jù)墻」擋不住LLM？

這篇論文并沒有止步于一個(gè)偏向于悲觀的預(yù)測(cè)結(jié)論，因?yàn)橥瑫r(shí)考慮其他的因素，「數(shù)據(jù)墻」只會(huì)讓模型擴(kuò)展的速度放緩，而不是完全停滯。

Epoch AI的創(chuàng)始人也在此前的采訪中表示過，雖然我們能看到「數(shù)據(jù)耗盡」的前景，但「目前還沒有感到恐慌的理由。」

目前就至少有兩種策略可以繞過人類文本數(shù)據(jù)的瓶頸，而且在論文作者看來，這兩種方法都是「前途無量」。

AI生成數(shù)據(jù)

根據(jù)報(bào)道，僅OpenAI一家公司的模型每天就能生成100B個(gè)單詞，也就是每年36.5T個(gè)單詞，相當(dāng)于Common Crawl中優(yōu)質(zhì)單詞的總數(shù)。

這遠(yuǎn)遠(yuǎn)快于人類生成文本的速度，可以讓數(shù)據(jù)存量急劇擴(kuò)大，而且在模型輸出相對(duì)容易驗(yàn)證的領(lǐng)域很有前景，比如數(shù)學(xué)、編程、游戲等等。

使用合成數(shù)據(jù)訓(xùn)練的最著名模型莫過于AlphaZero，它通過自我對(duì)弈達(dá)到了人類棋手都未能企及的水平。

此外2024年最新發(fā)布的AlphaGeometry同樣使用合成數(shù)據(jù)進(jìn)行訓(xùn)練，嘗試解決幾何問題。

然而，當(dāng)合成數(shù)據(jù)推廣到自然語言領(lǐng)域時(shí)，似乎存在一些本質(zhì)問題。

之前有研究表明，使用模型輸出的文本進(jìn)行迭代訓(xùn)練，會(huì)丟失有關(guān)人類文本數(shù)據(jù)分布的信息，讓生成的語言越來越同質(zhì)化且不切實(shí)際。

有研究者還把合成數(shù)據(jù)導(dǎo)致的模型崩潰形象比喻為「近親結(jié)婚」，稱這種LLM為「哈布斯堡模型」。

但這個(gè)問題也并非無解。有之前的研究證明，通過使用多樣的訓(xùn)練數(shù)據(jù)，或者混合一些人類文本數(shù)據(jù)，既可以合理利用訓(xùn)練數(shù)據(jù)，又能一定程度上緩解副作用。

多模態(tài)和遷移學(xué)習(xí)

另一種選擇就是超越文本數(shù)據(jù)，從其他領(lǐng)域「掘金」。

除了我們熟知的視頻、圖像之外，金融市場(chǎng)數(shù)據(jù)或科學(xué)數(shù)據(jù)庫也可以使用。有人預(yù)測(cè)，到2025年，基因組學(xué)數(shù)據(jù)將以每年200-4000萬兆字節(jié)的速度增長。

除了這兩種方法，很多實(shí)驗(yàn)室和初創(chuàng)公司也正在積極探索。比如DatologyAI正在研究一種名為「課程學(xué)習(xí)」（curriculum learning）的方法，把數(shù)據(jù)按特定順序輸入，以期LLM能夠在概念之間形成更智能的聯(lián)系。

2022年他們發(fā)表的論文顯示，如果數(shù)據(jù)無誤，使用這種訓(xùn)練方法的模型可以用一半的數(shù)據(jù)實(shí)現(xiàn)相同的效果。

也許，Epoch AI創(chuàng)始人的話的確有道理。雖然數(shù)據(jù)是有限的，「數(shù)據(jù)墻」也是可預(yù)期的，但方法總比困難多。

「最大的不確定性在于，你會(huì)看到什么樣的技術(shù)突破?！?/p>

本文轉(zhuǎn)自 新智元 ，作者：新智元

原文鏈接:??https://mp.weixin.qq.com/s/Iu5sxYAy98wQpuBZn53ncA??