今年5月，DeepMind發(fā)布了一個(gè)多模態(tài)人工智能系統(tǒng)Gato，僅靠一套模型參數(shù)即可同時(shí)執(zhí)行600多種不同的任務(wù)，一時(shí)引起行業(yè)內(nèi)對(duì)通用人工智能（AGI）的熱議。

DeepMind的研究部主管Nando de Freitas當(dāng)時(shí)還發(fā)了一個(gè)推特表示，只要不斷提升規(guī)模（scale）就能把AI給通關(guān)了！

我們要做的只是讓模型更大、更安全、計(jì)算更有效率、采樣更快、更智能的存儲(chǔ)、更多模態(tài)、在數(shù)據(jù)上創(chuàng)新、在線/離線等。

只要解決規(guī)模上的問(wèn)題就能抵達(dá)AGI，業(yè)界需要多關(guān)注這些問(wèn)題！

最近，著名AI學(xué)者、Robust.AI的創(chuàng)始人兼 CEO 、紐約大學(xué)的名譽(yù)教授Gary Marcus又發(fā)表了一篇博客，認(rèn)為這種說(shuō)法「為時(shí)太早了」，并且已經(jīng)開始出現(xiàn)危機(jī)了！

Marcus對(duì)AI行業(yè)發(fā)展持續(xù)關(guān)注，但對(duì)AI的炒作持批判態(tài)度，曾表達(dá)過(guò)「深度學(xué)習(xí)撞墻」、「GPT-3完全沒(méi)意義」等反對(duì)意見(jiàn)。

大模型玩不下去怎么辦？

Nando認(rèn)為，人工智能不需要進(jìn)行范式轉(zhuǎn)變，只需要更多的數(shù)據(jù)、更高的效率和更大的服務(wù)器。

Marcus把這個(gè)假設(shè)轉(zhuǎn)述為: 如果沒(méi)有根本性的新創(chuàng)新，AGI可能會(huì)從更大規(guī)模的模型中產(chǎn)生。這個(gè)假設(shè)也可以稱之為「規(guī)模超越一切」(scaling- über-alles)。

他的假設(shè)，現(xiàn)在通常被稱為規(guī)模最大化（scaling maximalism），仍然非常流行，很大程度上是因?yàn)樵絹?lái)越大的模型確實(shí)性能很強(qiáng)，比如圖像生成等任務(wù)都需要借助大模型。

但也僅僅是到目前為止。

問(wèn)題在于，數(shù)月乃至數(shù)年來(lái)不斷提高的一些技術(shù)，實(shí)際上遠(yuǎn)遠(yuǎn)不能達(dá)到我們所需要的那種規(guī)模。

龐氏騙局越來(lái)越多，規(guī)模帶來(lái)的性能優(yōu)勢(shì)只是經(jīng)驗(yàn)觀察得出的結(jié)果，無(wú)法確保正確。

Marcus分享了三個(gè)最近看到的前兆，可能預(yù)示著規(guī)模最大化假說(shuō)可能將要終結(jié)。

1.世界上可能沒(méi)有足夠的數(shù)據(jù)量來(lái)支持規(guī)模最大化。

這點(diǎn)很多人已經(jīng)開始擔(dān)心了。

來(lái)自紐約大學(xué)和蘇黎世聯(lián)邦理工大學(xué)的研究人員William Merrill、Alex Warstadt和Tal Linzen最近提出了一個(gè)證明，稱「目前的神經(jīng)語(yǔ)言模型不太適合在沒(méi)有大量數(shù)據(jù)的情況下提取自然語(yǔ)言的語(yǔ)義」。

論文鏈接：https://arxiv.org/pdf/2209.12407.pdf

盡管這個(gè)證明中包含了太多的前置假設(shè)，以至于無(wú)法被當(dāng)作一個(gè)反駁證據(jù)，但是如果這個(gè)假設(shè)接近正確的話，那么在規(guī)模上可能很快就會(huì)出現(xiàn)真正的麻煩。

2.世界上可能沒(méi)有足夠的可用計(jì)算資源支撐規(guī)模最大化。

Miguel Solano最近給Marcus寄來(lái)了一份合作撰寫的手稿 ，作者認(rèn)為，要想達(dá)到當(dāng)前的超級(jí)基準(zhǔn)，例如BIG-bench，將會(huì)需要消耗2022年全美國(guó)電力消耗的四分之一還多。

倉(cāng)庫(kù)鏈接：??https://github.com/google/BIG-bench??

BIG-bench是一個(gè)眾包的基準(zhǔn)數(shù)據(jù)集，旨在探索大型語(yǔ)言模型并推斷其未來(lái)的能力，其中包含200多個(gè)任務(wù)。

3.一些重要的任務(wù)可能根本無(wú)法在規(guī)模上擴(kuò)展。

最明顯的例子是最近由Ruis, Khan, Biderman, Hooker, Rockt?schl和Grefenstette共同完成的一項(xiàng)語(yǔ)言學(xué)任務(wù)，他們研究了語(yǔ)言的語(yǔ)用含義。

比如對(duì)于問(wèn)題「你留下指紋了嗎?」，收到回答可能是「我戴了手套」，其語(yǔ)義是「不」。

正如Marcus長(zhǎng)期以來(lái)所主張的那樣，在沒(méi)有認(rèn)知模型和常識(shí)的情況下讓模型意識(shí)到這一點(diǎn)真的很困難。

規(guī)模在這類任務(wù)中基本沒(méi)什么作用，即使是最好的模型也只有80.6%的準(zhǔn)確率，對(duì)于大多數(shù)模型來(lái)說(shuō)，規(guī)模的效果最多只能忽略不計(jì)。

并且，你可以很容易地想象出該任務(wù)的更復(fù)雜版本，模型的性能還會(huì)進(jìn)一步降低。

更讓Marcus深受打擊的是，即使是像這樣單一的重要任務(wù)，約80%的性能也可能意味著規(guī)模的游戲無(wú)法繼續(xù)玩下去。

如果模型只是學(xué)會(huì)了語(yǔ)法和語(yǔ)義，但是在語(yǔ)用或常識(shí)推理方面失敗了，那么你可能根本就無(wú)法獲得可信任的AGI

「摩爾定律」并沒(méi)有像最初期望的那樣帶領(lǐng)我們走得那么遠(yuǎn)，那么快，因?yàn)樗⒉皇怯钪娴囊蚬?，永遠(yuǎn)成立。

規(guī)模最大化只是一個(gè)有趣的假設(shè)，它不會(huì)讓我們抵達(dá)通用人工智能，比如上述三個(gè)問(wèn)題的解決將會(huì)迫使我們進(jìn)行范式轉(zhuǎn)換。

網(wǎng)友Frank van der Velde表示，規(guī)模最大化的追隨者往往傾向于使用「大」和「更多」這樣模糊的術(shù)語(yǔ)。

與人類在學(xué)習(xí)語(yǔ)言中使用的訓(xùn)練數(shù)據(jù)相比，深度學(xué)習(xí)模型用到的訓(xùn)練數(shù)據(jù)太大了。

但與人類語(yǔ)言真正語(yǔ)義集合相比，這些所謂的海量數(shù)據(jù)仍然微不足道，大約需要100億人每秒生成一句話，持續(xù)300年才有可能得到這么大規(guī)模的訓(xùn)練集。

網(wǎng)友Rebel Science更是直言，規(guī)模最大化不是一個(gè)有趣的假設(shè)，而是一個(gè)愚蠢的假設(shè)，不僅會(huì)輸在AI這條賽道上，而且還會(huì)死的很難看。

規(guī)模最大化過(guò)于極端

哥倫比亞大學(xué)哲學(xué)系講師、牛津大學(xué)博士Rapha?l Millière在「規(guī)模最大化」問(wèn)題爭(zhēng)斗最激烈時(shí)也發(fā)表了一些自己的看法。

規(guī)模最大化曾經(jīng)被看作是深度學(xué)習(xí)批評(píng)家的抓手（比如Gary Marcus），隨著行業(yè)內(nèi)人士如Nando de Freitas和Alex Dimakis加入爭(zhēng)論，兩方吵得不可開交。

從業(yè)者的反應(yīng)大多喜憂參半，但并非過(guò)于消極，同時(shí)預(yù)測(cè)平臺(tái)Metaculus上對(duì)AGI實(shí)現(xiàn)的預(yù)測(cè)日期已經(jīng)提前到了歷史最低點(diǎn)(2028年5月) ，這也可能增大了規(guī)模最大化的可信度。

人們對(duì)「規(guī)模」逐漸信任可能是由于新模型的發(fā)布，諸如PaLM, DALL-E 2, Flamingo和Gato的成功為規(guī)模最大化添了一把火。

Sutton 的「Bitter Lesson」在關(guān)于規(guī)模最大化的討論中拋出了很多觀點(diǎn)，不過(guò)并非完全等價(jià)，他認(rèn)為將人類知識(shí)構(gòu)建到人工智能模型(例如，特征工程)中的效率低于利用數(shù)據(jù)和計(jì)算來(lái)學(xué)習(xí)的效率。

文章鏈接：http://www.incompleteideas.net/IncIdeas/BitterLesson.html

雖然并非沒(méi)有爭(zhēng)議，但Sutton的觀點(diǎn)似乎明顯沒(méi)有規(guī)模最大化那么激進(jìn)。

它確實(shí)強(qiáng)調(diào)了規(guī)模的重要性，但是并沒(méi)有把人工智能研究中的每一個(gè)問(wèn)題簡(jiǎn)化為僅僅是規(guī)模的挑戰(zhàn)。

事實(shí)上，很難確定規(guī)模最大化的具體含義，從字面上理解，「Scaling is all you need」表明我們不需要任何算法創(chuàng)新或者架構(gòu)變化就能實(shí)現(xiàn) AGI，可以擴(kuò)展現(xiàn)有的模型，并強(qiáng)制輸入更多的數(shù)據(jù)。

這種字面上的解釋看起來(lái)很荒謬: 即使是像 PalM、 DALL-E 2、 Flamingo或者Gato這樣的模型也仍然需要對(duì)以前的方法進(jìn)行架構(gòu)上的改變。

如果有人真的認(rèn)為我們可以將現(xiàn)成的自回歸Transformer擴(kuò)展到 AGI，那真的會(huì)讓人感到驚訝。

目前還不清楚認(rèn)同規(guī)模最大化的人覺(jué)得AGI需要多大程度的算法創(chuàng)新，這也使得從這一觀點(diǎn)很難產(chǎn)生可證偽的預(yù)測(cè)。

擴(kuò)大規(guī)?？赡苁菢?gòu)建任何應(yīng)該被貼上「通用人工智能」標(biāo)簽系統(tǒng)的必要條件，但是我們不應(yīng)該把必要誤認(rèn)為是充分條件。