沒有指數(shù)級數(shù)據(jù)就沒有Zero-shot！生成式AI或已到達(dá)頂峰 精華
生成式人工智能已經(jīng)觸及峰頂了嗎？
在大模型正火的時候提這個問題，似乎不合時宜。
畢竟，隨著數(shù)據(jù)和模型規(guī)模的增大、計算能力的增加，我們似乎不再懷疑擁有超強(qiáng)人工智能的未來。
——但是！來自University of Tübingen、劍橋和牛津大學(xué)的最新研究，用實驗告訴我們：沒有指數(shù)級數(shù)據(jù)，就沒有Zero-shot！
論文地址：https://arxiv.org/pdf/2404.04125
換句話說，模型要想達(dá)到AGI水平，所需的訓(xùn)練數(shù)據(jù)量是我們無法提供的。
根據(jù)實驗數(shù)據(jù)，模型未來的性能提升將越來越緩慢，最終會因為拿不到指數(shù)級的數(shù)據(jù)而觸及瓶頸。
——所以，你以為大模型真的實現(xiàn)了zero-shot，真的在吸收和記憶的基礎(chǔ)上，涌現(xiàn)了推理甚至創(chuàng)新，實際上都是人家見過千萬次，早已倒背如流的答案。
你以為是素質(zhì)教育出英才，其實人家走的是題海戰(zhàn)術(shù)、應(yīng)試教育路線。
?
Youtube上239萬訂閱的Computerphile頻道，根據(jù)這篇文章的結(jié)果發(fā)表了類似的看法和擔(dān)憂，立時受到廣泛關(guān)注。
視頻地址：https://www.youtube.com/watch?v=dDUC-LqVrPU
對數(shù)魔咒
當(dāng)前，由于大模型展現(xiàn)出的zero-shot learning能力，人們樂觀地預(yù)計大模型的性能可以相對于訓(xùn)練數(shù)據(jù)呈指數(shù)級增長，——這也是人們對AGI抱有期望的原因。
就算再退一步，兩者呈線性關(guān)系，我們也能接受，畢竟只要多花時間、多花錢、多喂數(shù)據(jù)，到達(dá)了某個臨界值之后，大模型就將無所不能。
但是，這篇論文指出，實際上訓(xùn)練數(shù)據(jù)（樣本或概念的數(shù)量）和性能（在下游任務(wù)上對應(yīng)概念的表現(xiàn)）呈對數(shù)關(guān)系。
也許現(xiàn)下的模型還能在一段時間內(nèi)快速提升，但以后會越來越難，付出的代價也會越來越大，
——比如萬億token換來1%的性能，比如GPT-5,6,7的性能可能沒啥差別。
文章通過大量的實驗得到了類似的數(shù)據(jù)和圖表，
這些曲線的走向一致，證明了在當(dāng)前的情況下，無論用什么樣的訓(xùn)練方法、什么樣的數(shù)據(jù)集、執(zhí)行什么樣的下游任務(wù)，都難逃對數(shù)關(guān)系的魔咒。
而且，雖然這篇工作針對于多模態(tài)模型，但LLM也會有相同的問題，比如我們熟知的幻覺就是一種表現(xiàn)形式，面對訓(xùn)練數(shù)據(jù)中沒有的東西，LLM就開始胡編。
另一方面，訓(xùn)練數(shù)據(jù)的分布往往都是不均勻的，有些種類的數(shù)據(jù)頻度高，那么對應(yīng)到推理結(jié)果上的表現(xiàn)自然就好。
這種情況被稱為長尾分布（Long-Tail Distribution），指在分類任務(wù)中，訓(xùn)練數(shù)據(jù)的分布呈現(xiàn)長尾形狀，少數(shù)類別擁有大量樣本，而大多數(shù)類別只有很少的樣本。
這種現(xiàn)象在現(xiàn)實世界中很常見，也就加劇了前面提到的指數(shù)級數(shù)據(jù)的難題。
當(dāng)下模型的訓(xùn)練數(shù)據(jù)主要來自于互聯(lián)網(wǎng)，咱也不知道數(shù)據(jù)是不是已經(jīng)被吃得差不多了，反正這種指數(shù)級關(guān)系總會有無法滿足的一天。
未來，我們可能需要「something else」，比如新的方法、新的數(shù)據(jù)表示、或者是不同于Transformer的新架構(gòu)。
網(wǎng)友熱議
除了油管上一天23萬的播放量，Hacker News上也是熱鬧非凡。
「這感覺像是當(dāng)前人工智能炒作的最壞結(jié)果」。
網(wǎng)友表示，我們基本上已經(jīng)把整個互聯(lián)網(wǎng)都喂給模型了，這幾乎是目前能得到的最大的數(shù)據(jù)集，而且由于AI生成的垃圾數(shù)據(jù)也在不斷進(jìn)入互聯(lián)網(wǎng)，以后可能也不會有更大更好的數(shù)據(jù)集了。
給大模型喂這些數(shù)據(jù)花費(fèi)了數(shù)十億美元，卻只得到了有一些用處，又沒有太大用處的人工智能。——如果這些人力物力財力花在別的地方，我們可能會過得更好。
對于人工智能產(chǎn)生垃圾數(shù)據(jù)所帶來的影響，網(wǎng)友們表示贊同。
也有網(wǎng)友認(rèn)為，數(shù)據(jù)還是有的，但是很多人正在利用技術(shù)手段，拒絕人工智能爬取自己的數(shù)據(jù)。
「這意味著谷歌搜索變得更糟，生成式AI變得更糟，互聯(lián)網(wǎng)變得更糟」。
還有網(wǎng)友表示，相比于互聯(lián)網(wǎng)上那點(diǎn)數(shù)據(jù)，現(xiàn)實世界要復(fù)雜幾個數(shù)量級。
不過，對于Computerphile在視頻中表達(dá)的略顯悲觀的結(jié)論，有大佬表示質(zhì)疑。
前谷歌高級工程師、現(xiàn)任RekaAI CMO的Piotr Padlewski認(rèn)為：
首先，縮放定律告訴我們，模型越大，獲得相同性能所需的樣本就越少。
其次，這篇論文研究的是零樣本學(xué)習(xí)（zero-shot），而不是in-context learning。即使是訓(xùn)練數(shù)據(jù)中不常見/不存在的主題，只要在上下文中提供示例和說明，LLM也能理解。
「我認(rèn)為沒有人期望LLM能在zero-shot的情況下證明出P=NP，可能發(fā)生的情況是利用Agent找到所有相關(guān)文件并從中學(xué)習(xí)?！?/p>
「首先需要開發(fā)更好的算法和智能體，但我們也需要更好的基礎(chǔ)模型?！?/p>
沒有指數(shù)級數(shù)據(jù)，就沒有Zero-shot。
目前，人們對于AI發(fā)展的一個主要爭論是，規(guī)模的擴(kuò)大能帶來真正的泛化能力嗎？看了一輩子貓狗的大模型真的能認(rèn)識大象嗎？
——大模型的zero-shot似乎已經(jīng)為自己正名。
Zero-shot learning (ZSL) is a fascinating machine learning scenario. In ZSL, an AI model is trained to recognize and categorize objects or concepts without having seen any examples of those categories or concepts beforehand.
不需要在訓(xùn)練集中出現(xiàn)某個分類的樣本，憑借已經(jīng)學(xué)到的語義信息，就可以識別從來沒有見過的類別。
比如下面這個例子，模型在之前的訓(xùn)練中學(xué)到了馬的形狀、老虎的條紋和熊貓的黑白色，
這時你再告訴模型：斑馬長得像馬，并且有黑白相間的條紋，模型就可以在從沒有見過斑馬的情況下對其進(jìn)行分類。
當(dāng)前，CLIP模型是零樣本圖像識別，和圖像文本檢索的事實標(biāo)準(zhǔn)，而Stable Diffusion則是零樣本文生圖的事實標(biāo)準(zhǔn)。
CLIP：把文本decoder和圖像decoder（VIT）對應(yīng)到同一個嵌入空間
——不過這種zero-shot的泛化能力，究竟在多大程度上是靠譜的？或者說：這種能力的代價是什么？
實驗
為了回答這個問題，研究人員決定用實驗數(shù)據(jù)說話。
首先，問題涉及兩個主要因素的比較分析：
（1）模型在各種下游任務(wù)中的性能
（2）測試概念在其預(yù)訓(xùn)練數(shù)據(jù)集中的頻率
研究人員從涵蓋分類、檢索和圖像生成的27個下游任務(wù)中，提取出4029個概念，根據(jù)這些概念來評估模型性能。
概念：定義為試圖在預(yù)訓(xùn)練數(shù)據(jù)集中分析的特定對象或類別。
對于零樣本分類任務(wù)，概念表示類名，例如ImageNet中的1000個類別（金魚、黃貂魚等）。
對于圖像文本檢索和圖像生成任務(wù)，概念表示測試集標(biāo)題或生成提示中出現(xiàn)的所有名詞，比如在標(biāo)題「一個男人戴著帽子」中，提取出「男人」和「帽子」作為相關(guān)概念。
實驗選取了五個具有不同尺度、數(shù)據(jù)管理方法和來源的大規(guī)模預(yù)訓(xùn)練數(shù)據(jù)集（CC-3M、CC-12M、YFCC-15M、LAION-Aesthetics、LAION-400M），以及具有不同架構(gòu)和參數(shù)大小的10個CLIP模型，和24個文生圖（T2I）模型。
評估指標(biāo)
對于分類任務(wù)，計算平均零樣本分類精度。對于檢索，使用文本到圖像和圖像到文本檢索任務(wù)的傳統(tǒng)指標(biāo)來評估性能（Recall@1，Recall@5，Recall@10）。
而在文生圖這邊，評估包括圖像-文本對齊和美學(xué)分?jǐn)?shù)（aesthetic score）。
使用預(yù)期和最大CLIP分?jǐn)?shù)來衡量圖像-文本對齊，并使用預(yù)期和最大美學(xué)分?jǐn)?shù)來衡量美觀度。
在以上的16個圖中，我們可以觀察到概念頻率和zero-shot性能之間，存在明顯的對數(shù)關(guān)系。
實驗考慮了多個不同的維度：
（i）判別模型與生成模型，
（ii）分類與檢索任務(wù)，
（iii）模型架構(gòu)和參數(shù)尺度，
（iv）不同方法和尺度的預(yù)訓(xùn)練數(shù)據(jù)集，
（v）不同的評估指標(biāo)，
（vi）零樣本分類的不同提示策略，
（vii）僅從圖像或文本域中分離的概念頻率
而結(jié)果表明，對數(shù)線性縮放趨勢在所有七個實驗維度上都持續(xù)存在。
因此，CLIP和Stable Diffusion等多模態(tài)模型令人印象深刻的zero-shot性能，在很大程度上歸因于其龐大的預(yù)訓(xùn)練數(shù)據(jù)集，而并不是真正的零樣本泛化。
恰恰相反，這些模型需要一個概念的數(shù)據(jù)呈指數(shù)級增長，才能以線性方式提高它們在與該概念相關(guān)的任務(wù)上的性能，——極端的樣本低效率。
本文轉(zhuǎn)自 新智元 ，作者：新智元
