今天的主角，是一對(duì)AI界相愛相殺的老冤家：

Yann LeCun和Gary Marcus

在正式講述這一次的「新仇」之前，我們先來回顧一下，兩位大神的「舊恨」。

LeCun與Marcus之爭(zhēng)

Facebook首席人工智能科學(xué)家和紐約大學(xué)教授，2018年圖靈獎(jiǎng)（Turing Award）得主楊立昆（Yann LeCun）在NOEMA雜志發(fā)表文章，回應(yīng)此前Gary Marcus對(duì)AI與深度學(xué)習(xí)的評(píng)論。

此前，Marcus在雜志Nautilus中發(fā)文，稱深度學(xué)習(xí)已經(jīng)「無法前進(jìn)」

Marcus此人，屬于是看熱鬧的不嫌事大的主。

一有點(diǎn)風(fēng)吹草動(dòng)，就發(fā)言「AI已死」，掀起圈內(nèi)軒然大波！

此前多次發(fā)文，稱GPT-3為「Nonsense」「bullshit」。

鐵證在此：

好家伙，竟說「深度學(xué)習(xí)撞墻了」，看到如此猖獗的評(píng)論，AI界的大牛LeCun可坐不住了，立馬發(fā)文回應(yīng)！

并表示，你想對(duì)線我奉陪！

LeCun在文中把Marcus的觀點(diǎn)一一懟了個(gè)遍。

我們一起看一下大神是如何撰文回懟的吧~~

以下是LeCun的長(zhǎng)文：

當(dāng)代人工智能的主導(dǎo)技術(shù)是深度學(xué)習(xí)（DL）神經(jīng)網(wǎng)絡(luò)（NN），這是一種大規(guī)模的自學(xué)習(xí)算法，擅長(zhǎng)識(shí)別和利用數(shù)據(jù)中的模式。從一開始，批判者們就過早地認(rèn)為，神經(jīng)網(wǎng)絡(luò)已經(jīng)撞上了「一堵不可逾越的墻」，然而每一次，它都被證明是一個(gè)暫時(shí)的障礙。

在20世紀(jì)60年代，NN還不能解出非線性函數(shù)。但這種情況并沒有持續(xù)很長(zhǎng)時(shí)間，在20世紀(jì)80年代隨著反向傳播（Backpropagation）的出現(xiàn)得以改變，但是新的「不可逾越的墻」又出現(xiàn)了，即訓(xùn)練系統(tǒng)十分困難。

在20世紀(jì)90年代，人類有研究出了簡(jiǎn)化程序和標(biāo)準(zhǔn)化架構(gòu)，這使得訓(xùn)練更加可靠，但無論取得什么樣的成績(jī)，好像永遠(yuǎn)都會(huì)存在一堵「不可逾越的墻」，這一次是缺乏訓(xùn)練數(shù)據(jù)和計(jì)算的能力。

2012年，當(dāng)最新的GPU可以在龐大的ImageNet數(shù)據(jù)集上進(jìn)行訓(xùn)練時(shí)，深度學(xué)習(xí)開始成為主流，輕松地?fù)魯×怂懈?jìng)爭(zhēng)對(duì)手。但隨后，就出現(xiàn)了質(zhì)疑的聲音：人們發(fā)現(xiàn)了「一堵新墻」——深度學(xué)習(xí)訓(xùn)練需要大量的手工標(biāo)注的數(shù)據(jù)。

不過在過去的幾年里，這種質(zhì)疑變得不再有意義，因?yàn)樽员O(jiān)督學(xué)習(xí)已經(jīng)取得了相當(dāng)不錯(cuò)的效果，比如不需要標(biāo)記數(shù)據(jù)的GPT-3。

現(xiàn)如今似乎不可逾越的障礙是「符號(hào)推理」，即以代數(shù)或邏輯的方式操作符號(hào)的能力。正如我們小時(shí)候?qū)W到的，解決數(shù)學(xué)問題需要根據(jù)嚴(yán)格的規(guī)則一步一步地處理符號(hào)(例如，解方程)。

《The Algebraic Mind》的作者、《Rebooting AI》的合著者Gary Marcus最近認(rèn)為，DL無法取得進(jìn)一步進(jìn)展，是因?yàn)樯窠?jīng)網(wǎng)絡(luò)難以處理這種符號(hào)操作。與之相對(duì)的是，許多DL研究人員相信DL已經(jīng)在進(jìn)行符號(hào)推理，并將繼續(xù)改進(jìn)。

這場(chǎng)爭(zhēng)論的核心是符號(hào)在人工智能中的作用，存在著兩種不同看法：一種認(rèn)為符號(hào)推理必須從一開始就被硬編碼，而另一種則認(rèn)為機(jī)器可以通過經(jīng)驗(yàn)學(xué)習(xí)到符號(hào)推理的能力。因此，問題的關(guān)鍵在于我們應(yīng)該如何理解人類智能，從而，又應(yīng)該如何追求能夠具有人類水平的人工智能。

不同類型的人工智能

符號(hào)推理最重要的是精確:根據(jù)排列組合，符號(hào)可以有很多種不同的順序，比如「(3-2)-1和3-(2-1)」之間的差異很重要，所以如何以正確的順序執(zhí)行正確的符號(hào)推理是至關(guān)重要的。

Marcus認(rèn)為，這種推理是認(rèn)知的核心，對(duì)于為語言提供潛在的語法邏輯和為數(shù)學(xué)提供基本操作至關(guān)重要。他認(rèn)為這可以延伸到我們更基本的能力，在這些能力的背后，存在著一個(gè)潛在的符號(hào)邏輯。

而我們所熟知的人工智能，它就是從研究這種推理開始的，通常被稱為「符號(hào)人工智能」。但是將人類的專業(yè)知識(shí)提煉成一組規(guī)則是非常具有挑戰(zhàn)性的，會(huì)消耗巨大的時(shí)間成本和人力成本。這就是所謂的「知識(shí)獲取瓶頸」。

雖然為數(shù)學(xué)或邏輯編寫規(guī)則很簡(jiǎn)單，但世界本身是非黑即白的、是非常模糊的，事實(shí)證明，人類不可能編寫出控制每個(gè)模式的規(guī)則或者為每一個(gè)模糊的概念定義符號(hào)。

但是，科技發(fā)展到現(xiàn)在，造就出了神經(jīng)網(wǎng)絡(luò)，而神經(jīng)網(wǎng)絡(luò)最擅長(zhǎng)的地方就是發(fā)現(xiàn)模式并接受模糊性。

神經(jīng)網(wǎng)絡(luò)是一個(gè)相對(duì)簡(jiǎn)單的方程，它學(xué)習(xí)一個(gè)函數(shù)，為輸入到系統(tǒng)的任何東西提供適當(dāng)?shù)妮敵觥?/p>

例如，訓(xùn)練一個(gè)二分類網(wǎng)絡(luò)，通過將大量的樣本數(shù)據(jù)（此處拿椅子作為例子）放入神經(jīng)網(wǎng)絡(luò)，對(duì)其進(jìn)行若干個(gè)epoch的訓(xùn)練，最后實(shí)現(xiàn)讓該網(wǎng)絡(luò)成功推斷出新圖片是否是椅子。

說白了，這不僅是單純的關(guān)乎人工智能的問題，更本質(zhì)的是，到底什么是智能以及人類的大腦又是如何工作的問題?！?/p>

這些神經(jīng)網(wǎng)絡(luò)可以精確訓(xùn)練，因?yàn)閷?shí)現(xiàn)它的函數(shù)是可微的。換句話說，如果符號(hào)AI類似于符號(hào)邏輯中使用的離散token，那么神經(jīng)網(wǎng)絡(luò)就是微積分的連續(xù)函數(shù)。

這允許通過微調(diào)參數(shù)來學(xué)習(xí)更好的表示，這意味著它可以更恰到好處的去擬合數(shù)據(jù)，而不出現(xiàn)欠擬合或者過擬合的問題。然而，當(dāng)涉及到嚴(yán)格的規(guī)則和離散token時(shí)，這種流動(dòng)性帶來了新的「一堵墻」:當(dāng)我們求解一個(gè)方程時(shí)，我們通常想要確切的答案，而不是近似的答案。

這正是Symbolic AI的亮點(diǎn)所在，所以Marcus建議將二者簡(jiǎn)單地結(jié)合起來:在DL模塊之上插入一個(gè)硬編碼的符號(hào)操作模塊。

這是很有吸引力的，因?yàn)檫@兩種方法可以很好地互補(bǔ)，所以看起來，具有不同工作方式的模塊“混合”，將最大化兩種方法的優(yōu)勢(shì)。

但爭(zhēng)論的焦點(diǎn)轉(zhuǎn)向了是否需要將符號(hào)操作內(nèi)置到系統(tǒng)中，在系統(tǒng)中，符號(hào)和操作能力是由人類設(shè)計(jì)的，而該模塊不可微的——因此與DL不兼容。

傳奇的「符號(hào)推理」

這個(gè)假設(shè)是非常有具爭(zhēng)議性的。

傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)認(rèn)為，我們不需要手工進(jìn)行符號(hào)推理，而是可以學(xué)習(xí)符號(hào)推理，即用符號(hào)的例子訓(xùn)練機(jī)器進(jìn)行正確類型的推理，可以讓它學(xué)習(xí)抽象模式的完成。簡(jiǎn)而言之，機(jī)器可以學(xué)習(xí)操作世界上的符號(hào)，盡管沒有內(nèi)置的手工制作的符號(hào)和符號(hào)操作規(guī)則。

當(dāng)代大型語言模型(如GPT-3和LaMDA)顯示了這種方法的潛力。他們操縱符號(hào)的能力令人印嘆為觀止，這些模型表現(xiàn)出了驚人的常識(shí)推理、組合能力、多語言能力、邏輯和數(shù)學(xué)能力，甚至有模仿死者的可怕能力。

但其實(shí)這樣做并不可靠。如果你讓DALL-E制作一個(gè)羅馬雕塑，一個(gè)留著胡子、戴著眼鏡、穿著熱帶襯衫的哲學(xué)家，那它會(huì)很出色。但是如果你讓它畫一只戴著粉色玩具的小獵犬，去追逐一只松鼠，有時(shí)你會(huì)得到一只戴著粉色小獵犬或松鼠。

當(dāng)它可以將所有屬性分配給一個(gè)對(duì)象時(shí)，它做得很好，但當(dāng)有多個(gè)對(duì)象和多個(gè)屬性時(shí)，它就會(huì)處于懵逼狀態(tài)。許多研究人員的態(tài)度是，這是DL在通往更像人類的智能道路上的「一堵墻」。

那么符號(hào)化操作到底是需要硬編碼?還是可學(xué)習(xí)的呢?

這并不是Marcus的理解。

他假設(shè)符號(hào)推理是全有或全無的——因?yàn)镈ALL-E沒有符號(hào)和邏輯規(guī)則作為其操作的基礎(chǔ)，它實(shí)際上不是用符號(hào)進(jìn)行推理。因此，大型語言模型的無數(shù)次失敗表明它們不是真正的推理，而只是沒有感情的機(jī)械模仿。

對(duì)Marcus來說，爬上一棵足夠大的樹是不可能到達(dá)月球的。因此，他認(rèn)為目前的DL語言模型并不比Nim Chimpsky（一只會(huì)使用美國(guó)手語的雄性黑猩猩）基更接近真正的語言。DALL-E的問題不是缺乏訓(xùn)練。它們只是系統(tǒng)沒有掌握句子潛在的邏輯結(jié)構(gòu)，因此不能正確地掌握不同部分應(yīng)該如何連接成一個(gè)整體。

相比之下，Geoffrey Hinton等人認(rèn)為神經(jīng)網(wǎng)絡(luò)不需要硬編碼符號(hào)和代數(shù)推理既可以成功地操縱符號(hào)。DL的目標(biāo)不是機(jī)器內(nèi)部的符號(hào)操作，而是學(xué)會(huì)從世界上的系統(tǒng)中產(chǎn)生正確的符號(hào)。

拒絕將兩種模式混合并非草率的，而是基于一個(gè)人是否認(rèn)為符號(hào)推理可以學(xué)習(xí)的哲學(xué)性差異。

人類思想的底層邏輯

Marcus對(duì)DL的批評(píng)源于認(rèn)知科學(xué)中的一場(chǎng)相關(guān)爭(zhēng)論，即智能是如何運(yùn)作的，以及是什么讓人類獨(dú)一無二。他的觀點(diǎn)與心理學(xué)中一個(gè)著名的「本土主義」學(xué)派一致，該學(xué)派認(rèn)為認(rèn)知的許多關(guān)鍵特征是天生的——實(shí)際上，我們?cè)诤艽蟪潭壬仙鷣砭椭朗澜缡侨绾芜\(yùn)轉(zhuǎn)的。

這種與生俱來的感知的核心是符號(hào)操作的能力（但是這究竟是在整個(gè)自然中發(fā)現(xiàn)的，還是人類特有的，尚且沒有結(jié)論)。對(duì)Marcus來說，這種符號(hào)操作能力奠定了常識(shí)的許多基本特征：遵循規(guī)則、抽象、因果推理、重新識(shí)別細(xì)節(jié)、泛化和許多其他能力。

簡(jiǎn)而言之，我們對(duì)世界的很多理解都是自然賦予的，學(xué)習(xí)就是充實(shí)細(xì)節(jié)。

還有另一種經(jīng)驗(yàn)主義觀點(diǎn)打破了上述想法：符號(hào)操縱在自然界中是罕見的，主要是我們的古人類祖先在過去200萬年中逐漸獲得的一種學(xué)習(xí)交流能力。

從這個(gè)觀點(diǎn)來看，主要的認(rèn)知能力是非符號(hào)學(xué)習(xí)能力，與提高生存能力有關(guān)，比如快速識(shí)別獵物，預(yù)測(cè)它們可能的行動(dòng)，以及發(fā)展熟練的反應(yīng)。

這一觀點(diǎn)認(rèn)為，絕大多數(shù)復(fù)雜的認(rèn)知能力都是通過一般的、自監(jiān)督的學(xué)習(xí)能力獲得的。它還假設(shè)，我們的大部分復(fù)雜認(rèn)知能力不會(huì)依賴于符號(hào)操作。相反，他們通過模擬各種場(chǎng)景并預(yù)測(cè)最佳結(jié)果。

這種經(jīng)驗(yàn)主義的觀點(diǎn)認(rèn)為符號(hào)和符號(hào)操縱只是另一種習(xí)得的能力，是隨著人類越來越依賴合作行為來獲得成功而獲得的能力。這將符號(hào)視為我們用來協(xié)調(diào)團(tuán)隊(duì)間合作的發(fā)明——比如文字，但也包括地圖、標(biāo)志性描述、儀式甚至社會(huì)角色。

這兩種觀點(diǎn)之間的差異非常明顯。對(duì)于本土主義傳統(tǒng)來說，符號(hào)和符號(hào)操縱原本就在頭腦中，對(duì)單詞和數(shù)字的使用也源自這種原始能力。這一觀點(diǎn)很有吸引力地解釋了那些源自進(jìn)化適應(yīng)的能力(盡管對(duì)符號(hào)操縱如何進(jìn)化或?yàn)槭裁催M(jìn)化的解釋一直存在爭(zhēng)議)。

從經(jīng)驗(yàn)主義傳統(tǒng)角度看，符號(hào)和符號(hào)推理是一項(xiàng)有用的交流發(fā)明，它源于一般的學(xué)習(xí)能力和我們復(fù)雜的社會(huì)世界。這將內(nèi)部計(jì)算和內(nèi)心獨(dú)白等發(fā)生在我們頭腦中的象征性事物，視為源自于數(shù)學(xué)和語言使用的外部實(shí)踐。

人工智能和認(rèn)知科學(xué)領(lǐng)域是緊密交織的，所以這些爭(zhēng)斗在這里重現(xiàn)也就不足為奇了。既然人工智能中任一觀點(diǎn)的成功都將部分(但僅部分)證明認(rèn)知科學(xué)中的一種或另一種方法是正確的，那么這些辯論的激烈程度也就不足為奇了。

問題的關(guān)鍵不僅在于如何正確地解決當(dāng)代人工智能領(lǐng)域的問題，還在于解決智能是什么以及大腦如何工作。

對(duì)AI，是押注，還是做空？

為什么「深度學(xué)習(xí)撞墻」的說法這樣具有挑釁性？

如果Marcus是對(duì)的，那深度學(xué)習(xí)將永遠(yuǎn)無法實(shí)現(xiàn)與人類相似的AI，無論它提出了多少新的架構(gòu)，也不管它投入了多少計(jì)算能力。

為神經(jīng)網(wǎng)絡(luò)繼續(xù)添加更多的層只會(huì)讓人更加困惑，因?yàn)檎嬲姆?hào)操縱需要一個(gè)天生的符號(hào)操縱者。由于這種符號(hào)化操作是幾種常識(shí)能力的基礎(chǔ)，所以DL只會(huì)對(duì)任何東西都「不求甚解」。

相比之下，如果DL的提倡者和經(jīng)驗(yàn)主義者是正確的，那么令人困惑的是插入一個(gè)用于符號(hào)操縱的模塊的想法。

在這種情況下，深度學(xué)習(xí)系統(tǒng)已經(jīng)在進(jìn)行符號(hào)推理，并將繼續(xù)改進(jìn)，因?yàn)樗鼈兺ㄟ^更多的多模態(tài)自監(jiān)督學(xué)習(xí)、越來越有用的預(yù)測(cè)世界模型以及用于模擬和評(píng)估結(jié)果的工作內(nèi)存的擴(kuò)展來更好的滿足約束。

引入符號(hào)操作模塊不會(huì)創(chuàng)造出更像人類的AI，相反會(huì)迫使所有的「推理」操作通過一個(gè)不必要的瓶頸，這將使我們更加遠(yuǎn)離「類人智能」。這可能會(huì)切斷深度學(xué)習(xí)最激動(dòng)人心的一個(gè)方面:它能夠提出超過人類的完美解決方案。

話說回來，這些都不能證明那些愚蠢的炒作是正確的：由于當(dāng)前的系統(tǒng)沒有意識(shí)，所以它們不能理解我們，強(qiáng)化學(xué)習(xí)是不夠的，你不能僅僅通過擴(kuò)大規(guī)模來構(gòu)建類人智能。但所有這些問題都是主要爭(zhēng)論的「擦邊問題」：符號(hào)操作到底是需要硬編碼?還是可學(xué)習(xí)?

這是在呼吁停止研究混合模型(即具有不可微符號(hào)操縱器的模型)嗎?當(dāng)然不是。人們應(yīng)該選擇有效的方法。

但是，研究人員自20世紀(jì)80年代以來一直在研究混合模型，不過它們還沒有被證明是一種有效的方式，在許多情況下，有可能甚至遠(yuǎn)不如神經(jīng)網(wǎng)絡(luò)。

更通俗地說，人們應(yīng)該懷疑深度學(xué)習(xí)是否達(dá)到了上限。