最近，LeCun接受了ZDNet的采訪，表示當(dāng)今的大多數(shù)人工智能方法永遠(yuǎn)不會(huì)帶來(lái)真正的人工智能。

而采訪中最為精彩的部分，當(dāng)然還是和老對(duì)手們的隔空炮火。

LeCun語(yǔ)不驚人死不休，犀利表示：Schmidhuber就是個(gè)插旗的，而Marcus根本不是搞AI的，他只是個(gè)心理學(xué)家。

LeCun懟老對(duì)手，語(yǔ)出驚人

在6月，Meta的首席人工智能科學(xué)家Yann LeCun曾經(jīng)發(fā)表了一篇60頁(yè)長(zhǎng)文，描述了他認(rèn)為有望在機(jī)器中實(shí)現(xiàn)人類(lèi)智能水平的方法。

論文地址：https://openreview.net/pdf?id=BZ5a1r-kVsf

他在論文中暗示道：今天的大多數(shù)人工智能大項(xiàng)目將永遠(yuǎn)無(wú)法達(dá)到人類(lèi)的水平。

而最近，LeCun在接收Z(yǔ)DNet采訪時(shí)表示：即使是目前深度學(xué)習(xí)領(lǐng)域最成功的研究途徑，他也抱有極大的懷疑。

「我認(rèn)為它們是必要的，但還不夠。」他說(shuō)。

其中就包括大型語(yǔ)言模型，比如如基于Transformer的GPT-3及其同類(lèi)。正如LeCun所描述的那樣，Transformer的信徒們相信：「只要我們把一切都標(biāo)記化，然后訓(xùn)練巨大的模型來(lái)進(jìn)行離散的預(yù)測(cè)，人工智能就會(huì)以某種方式從這里出現(xiàn)?！?/span>

「他們沒(méi)有錯(cuò)，」他說(shuō)，「從某種意義上說(shuō)，這可能是未來(lái)智能系統(tǒng)的一個(gè)組成部分，但我認(rèn)為它缺少必要的部分。」

對(duì)于在完美使用卷積神經(jīng)網(wǎng)絡(luò)的學(xué)者來(lái)說(shuō)，這種批評(píng)真是夠驚人的。

在人工智能的許多非常成功的領(lǐng)域中，LeCun看到了缺陷和局限。他對(duì)于強(qiáng)化學(xué)習(xí)領(lǐng)域，他也持同樣的觀點(diǎn)：跟這些領(lǐng)域一樣，強(qiáng)化學(xué)習(xí)也永遠(yuǎn)不夠完美。

雖然DeepMind的David Silver等研究人員已經(jīng)開(kāi)發(fā)出了掌握國(guó)際象棋、將棋和圍棋的AlphaZero程序，但LeCun說(shuō)：「我們的大部分學(xué)習(xí)過(guò)程，不是通過(guò)實(shí)際行動(dòng)來(lái)完成，而是通過(guò)觀察來(lái)完成的。」

Lecun已經(jīng)62歲了，在這個(gè)領(lǐng)域浸淫了幾十年后，他認(rèn)為自己有必要對(duì)許多人做出提醒：你們急匆匆走上的，是一條盲道。

「有很多人在討論，我們應(yīng)該做什么來(lái)實(shí)現(xiàn)人類(lèi)水平的人工智能。很多人的說(shuō)法是錯(cuò)誤的?！?/span>

「我們的智能機(jī)器還沒(méi)有達(dá)到像貓一樣具有常識(shí)的地步，」他說(shuō)?！肝覀?yōu)槭裁床粡倪@里開(kāi)始呢？」

他已經(jīng)放棄了在預(yù)測(cè)視頻中的下一幀上使用生成網(wǎng)絡(luò)的信念。「這是一次徹底的失敗?！?/span>

在他眼里，那些「宗教概率論者」應(yīng)該被譴責(zé)——在這些人看來(lái)， 概率論是可以用來(lái)解釋機(jī)器學(xué)習(xí)的唯一框架。

在LeCun看來(lái)，純粹的統(tǒng)計(jì)方法是不可能的?！敢屢粋€(gè)世界模型完全服從概率論，這要求也太高了；我們不知道該如何做到。」

LeCun認(rèn)為，不僅是學(xué)術(shù)界，工業(yè)上的人工智能也需要重新思考。在他看來(lái)，自動(dòng)駕駛汽車(chē)公司，比如Wayve，一直「過(guò)于樂(lè)觀」，因?yàn)樗麄冋J(rèn)為只要把數(shù)據(jù)扔到大型神經(jīng)網(wǎng)絡(luò)里，就可以學(xué)到任何東西。

「我們完全有可能擁有沒(méi)有ADAS（高級(jí)駕駛輔助系統(tǒng)）的五級(jí)自動(dòng)駕駛汽車(chē)，但不得不對(duì)它進(jìn)行工程設(shè)計(jì)?！?/span>

他認(rèn)為，這種過(guò)度設(shè)計(jì)的自動(dòng)駕駛技術(shù)，會(huì)和所有因深度學(xué)習(xí)而過(guò)時(shí)的計(jì)算機(jī)視覺(jué)程序一樣，非常脆弱，非常易碎。

「最終，會(huì)有一個(gè)更令人滿(mǎn)意、更好的解決方案，這個(gè)系統(tǒng)能更好地理解世界的運(yùn)轉(zhuǎn)方式。」

LeCun還提出了重要的一點(diǎn)：所有AI都面臨著同樣的基本問(wèn)題，特別是如何測(cè)量信息。

「你必須退一步說(shuō)，好吧，我們建了這個(gè)梯子，但我們的目的是去月球，這個(gè)梯子不可能把我們送上月球?！筁eCun說(shuō)他希望促使人們重新思考基本概念?！肝业囊馑际?，我們需要建造火箭，我不能告訴你建造火箭的細(xì)節(jié)，但這是基本原則?！?/span>

好了好了，采訪中最喜聞樂(lè)見(jiàn)的嘴炮part來(lái)了。

首先，被LeCun炮轟的對(duì)象是Dalle Molle人工智能研究所主任Jürgen Schmidhuber。Schmidhuber曾怒懟LeCun剽竊了自己的學(xué)術(shù)成果。

Le Cun表示，Schmidhuber在社交網(wǎng)絡(luò)上發(fā)表的觀點(diǎn)，根本不是事實(shí)。他只是在插旗：有了一個(gè)想法建議你怎么做，然后寫(xiě)下來(lái)，沒(méi)有任何實(shí)驗(yàn)，沒(méi)有任何理論。

像他這樣跟玩兒似的做法，和真正的做理論（說(shuō)明它為什么有用，然后付諸實(shí)踐），這其中有很大的區(qū)別。這之中有一個(gè)完整的鏈條。

而在Schmidhuber看來(lái)，誰(shuí)第一個(gè)有這個(gè)想法，誰(shuí)就占頭功，這很荒謬。

他說(shuō)我應(yīng)該引用的論文中，并不包含我論文中的任何主要觀點(diǎn)。他在GANs和其他事情上也是這么做的，結(jié)果根本不像他說(shuō)的那樣。插旗很容易，要做出貢獻(xiàn)可就難多了。

順便說(shuō)一下，對(duì)于這篇論文，我明確表示了這不是一篇通常意義上的科學(xué)論文，它更像是一份關(guān)于走向何處的立場(chǎng)文件。我并不要求我在論文中寫(xiě)的大部分內(nèi)容有任何優(yōu)先權(quán)。?

而LeCun的老對(duì)頭，紐約大學(xué)教授Gary Marcus自然也逃不過(guò)他的炮火。

在談到通過(guò)在神經(jīng)網(wǎng)絡(luò)上添加符號(hào)推理來(lái)推動(dòng)人類(lèi)水平的人工智能時(shí)，LeCun表示自己不知道如何做到這一點(diǎn)。

他表示，自己在論文中介紹了一種方法，可以在沒(méi)有明確符號(hào)操作的情況下就能做到這一點(diǎn)。這就是Gary Marcus的做法。

接著，LeCun爆出神評(píng)論——

「Gary Marcus不是一個(gè)搞AI的，他是一個(gè)心理學(xué)家。他從未對(duì)人工智能做出任何貢獻(xiàn)。他在實(shí)驗(yàn)心理學(xué)方面有不錯(cuò)的成果，但他從來(lái)沒(méi)有寫(xiě)過(guò)一篇關(guān)于人工智能的同行評(píng)審論文。沒(méi)錯(cuò)，有些人就是這樣?！?/span>

Marcus大翻老黃歷：LeCun說(shuō)的那些，我早就說(shuō)過(guò)了

ZDNet的專(zhuān)訪頭一天發(fā)出，Gary Marcus的回懟文章第二天就來(lái)了！

Marcus發(fā)文表示：

62歲的知名深度學(xué)習(xí)先驅(qū)Yann LeCun，紐約大學(xué)教授，圖靈獎(jiǎng)得主，Meta公司的首席人工智能科學(xué)家，近年來(lái)對(duì)深度學(xué)習(xí)的新想法是一個(gè)接一個(gè)。

就在六月初，LeCun發(fā)表了一篇被廣泛討論的「宣言」，以及一篇對(duì)我的工作的評(píng)論。但是他所說(shuō)的有多少是真正的新東西呢？

昨天那篇ZDNet對(duì)LeCun的采訪，我看了之后很震驚，因?yàn)長(zhǎng)eCun所說(shuō)的幾乎所有內(nèi)容，我之前都說(shuō)過(guò)，有些幾乎是一字不差，其中大部分是在2018年一篇名為《Deep Learing：A Critical Appraisal》的論文中，LeCun當(dāng)時(shí)說(shuō)我講的「大部分是錯(cuò)誤的」。

論文鏈接：

??https://arxiv.org/ftp/arxiv/papers/1801/1801.00631.pdf

那么他2022年講了什么？我之前在2018年甚至之前又講過(guò)什么？

我只舉幾個(gè)例子。

LeCun：今天的人工智能方法永遠(yuǎn)不會(huì)導(dǎo)致真正的智能

馬庫(kù)斯：如果我們要實(shí)現(xiàn)通用人工智能，深度學(xué)習(xí)必須得到其他技術(shù)的補(bǔ)充。

LeCun：目前的深度學(xué)習(xí)模型可能是未來(lái)智能系統(tǒng)的一個(gè)組成部分，但我認(rèn)為它缺少必要的部分。我認(rèn)為它們是必要的，但還不夠。"

馬庫(kù)斯：盡管我勾勒了所有的問(wèn)題，但我不認(rèn)為我們需要放棄深度學(xué)習(xí)。相反，我們需要重新認(rèn)識(shí)它：不是作為一種通用的工具，而只是作為眾多工具中的一種。"

LeCun：強(qiáng)化學(xué)習(xí)也永遠(yuǎn)無(wú)法滿(mǎn)足智能需求。

馬庫(kù)斯：將深度強(qiáng)化學(xué)習(xí)與誘導(dǎo)概念聯(lián)系在一起是一種誤導(dǎo)。

LeCun：我認(rèn)為AI系統(tǒng)需要能夠推理；

Marcus：那些與分類(lèi)關(guān)系不大、與常識(shí)性推理關(guān)系較大的問(wèn)題，基本上不在深度學(xué)習(xí)的范圍內(nèi)，而且就我所知，深度學(xué)習(xí)對(duì)這類(lèi)問(wèn)題沒(méi)有什么幫助。

LeCun（2022）：你必須退一步說(shuō)，好吧，我們建了這個(gè)梯子，但我們想去月球，這個(gè)梯子不可能把我們帶到月球。

馬庫(kù)斯（2012）：套用一個(gè)古老的寓言，Hinton通過(guò)深度學(xué)習(xí)造了個(gè)更好的梯子；但一個(gè)更好的梯子不一定能讓你上月球。

從來(lái)沒(méi)有人比LeCun更仔細(xì)地重述我講過(guò)的論點(diǎn)，而不注明出處。

讓一個(gè)這么厲害的人，幾次三番地講出我之前早就說(shuō)過(guò)的觀點(diǎn)，這算不算我又一次贏麻了？

如果說(shuō)上面這段屬于是為自己爭(zhēng)取Credit的話(huà)，Marcus博客后半部分的內(nèi)容看起來(lái)就完全是針對(duì)LeCun本人了。

比如Marcus說(shuō)，LeCun不想讓人發(fā)現(xiàn)說(shuō)過(guò)我曾經(jīng)說(shuō)過(guò)的觀點(diǎn)，也不對(duì)這些觀點(diǎn)分享任何credit，這是違反學(xué)術(shù)禮儀的。

另外，為了孤立我，他在采訪中對(duì)我進(jìn)行了無(wú)端的、完全不實(shí)的抨擊，聲稱(chēng)「Gary Marcus不是AI研究人員，他是一個(gè)心理學(xué)家，從未對(duì)AI做出任何貢獻(xiàn)。他在實(shí)驗(yàn)心理學(xué)方面做了非常好的工作，但他從來(lái)沒(méi)有寫(xiě)過(guò)一篇關(guān)于AI的同行評(píng)議的論文」。

這完全是錯(cuò)誤的。實(shí)際上，我在AI領(lǐng)域發(fā)表了大量的文章，有些是在同行評(píng)議的期刊上，有些不是。我最重要的人工智能論文，對(duì)神經(jīng)網(wǎng)絡(luò)做了實(shí)驗(yàn)性工作，在1998年就預(yù)見(jiàn)到了分布轉(zhuǎn)移和異常值的挑戰(zhàn)，這些問(wèn)題到現(xiàn)在還在困擾著B(niǎo)engio等人。

也許我最有影響力的AI工作恰好不是一篇期刊文章，而是2001年由MIT出版的《代數(shù)思維》一書(shū)。LeCun在ZDNet的訪談中的幾乎每一個(gè)觀點(diǎn)，在這本書(shū)里都有提及。

LeCun真正的意思是，他沒(méi)讀過(guò)這本書(shū)，讀都沒(méi)讀過(guò)，就認(rèn)為沒(méi)有影響的想法是可笑的。

LeCun的說(shuō)法過(guò)于離譜，以至于不少人在訪談發(fā)出后，都來(lái)為我說(shuō)話(huà)；ZDNet也立即發(fā)布了更正說(shuō)明。

Vmind.AI的首席執(zhí)行官M(fèi)iguel Solano發(fā)推表示對(duì)我表示支持。

Henning Schwabe 更是直接講LeCun的訪談過(guò)于自大，而自大正是理性的敵人:

為了建立自己的學(xué)術(shù)地位，人們有時(shí)會(huì)對(duì)credit做出不負(fù)責(zé)、不道德的行為。哈羅德·布魯姆曾經(jīng)寫(xiě)過(guò)一本書(shū)，他稱(chēng)之為《影響的焦慮》。直到今年，我還沒(méi)有在像LeCun這樣榮譽(yù)等身的人身上看到這樣的傾向。但從今年開(kāi)始，我從他身上看到了一次又一次。

LeCun最近的每篇論文和文章都以自己的方式表現(xiàn)出對(duì)過(guò)去的否定。

關(guān)于符號(hào)操作的問(wèn)題。LeCun花了不少時(shí)間來(lái)抨擊符號(hào)操作，他的合作者之一Hinton更是如此，他們?cè)?015年聯(lián)合撰寫(xiě)的一篇深度學(xué)習(xí)評(píng)論中說(shuō)， 「需要新的范式來(lái)取代基于規(guī)則的符號(hào)表達(dá)的操作」。

如今，LeCun卻在認(rèn)可符號(hào)操作了，并表現(xiàn)得好像之前的抨擊不存在一樣。

甚至斯坦福大學(xué)人工智能教授克里斯托弗·曼寧都感到震驚。

LeCun最近的另一篇文章涉及到一個(gè)重要的問(wèn)題，大型語(yǔ)言模型是否真的在通往AGI的正確道路上，模型是否真的可以?xún)H從語(yǔ)言中學(xué)習(xí)到足夠的知識(shí)。

LeCun和他的合作者Browning提出了一個(gè)強(qiáng)有力的理由，即僅有語(yǔ)言輸入（即GPT-3的訓(xùn)練對(duì)象）是不夠的.

他們寫(xiě)了一篇名為《AI And The Limits Of Language》的文章，認(rèn)為 「僅靠語(yǔ)言訓(xùn)練的系統(tǒng)永遠(yuǎn)不會(huì)接近人類(lèi)的智慧，即使從現(xiàn)在開(kāi)始訓(xùn)練到宇宙的盡頭也不行?！?/span>

但這個(gè)觀點(diǎn)又是我在2020年2月在一篇名為《人工智能的下一個(gè)十年》的arXiv預(yù)印本文章中就提出來(lái)的。

「等待認(rèn)知模型和推理從越來(lái)越大的訓(xùn)練語(yǔ)料庫(kù)中神奇地出現(xiàn)，就像是在等待一個(gè)奇跡......」

這幾乎就是LeCun和Browning的結(jié)論。

我之前早就說(shuō)過(guò)，大型語(yǔ)言模型的問(wèn)題在于缺乏認(rèn)知模型，光靠喂語(yǔ)料訓(xùn)練是達(dá)不到智能模型的。

然后LeCun說(shuō)我現(xiàn)在才說(shuō)這些已經(jīng)為時(shí)已晚:

我先提出的觀點(diǎn)，他現(xiàn)在發(fā)現(xiàn)我說(shuō)的對(duì)，就宣稱(chēng)這個(gè)觀點(diǎn)是他先提的，我還能說(shuō)什么呢？

而且現(xiàn)在看來(lái)，遠(yuǎn)不只是我一個(gè)人對(duì)LeCun的大包大攬有意見(jiàn)。

早先，LeCun那個(gè)「宣言」文剛發(fā)出來(lái)時(shí)，就有德國(guó)計(jì)算神經(jīng)學(xué)家、AI研究人員Patrick Krauss 發(fā)推「恭喜」，看起來(lái)我們離AGI只差兩個(gè)東西，一是常識(shí)、二是LeCun的世界模型。

我很難看出LeCun最近的一連串行動(dòng)中到底有什么新東西，所以我昨天在Twitter上要求他解釋。

到目前為止，他還沒(méi)有回應(yīng)。