本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

AI學(xué)術(shù)圈，又吵了起來，圖靈獎(jiǎng)得主、年近古稀的機(jī)器學(xué)習(xí)奠基者、唱衰AI的代表人物等等，紛紛下場(chǎng)“開懟”。

相關(guān)話題在Twitter上轉(zhuǎn)發(fā)過千，點(diǎn)贊數(shù)萬，場(chǎng)面極其激烈。

究其源頭，起于一個(gè)直擊靈魂的問題：什么是深度學(xué)習(xí)？

什么是深度學(xué)習(xí)？

你可能會(huì)很自然地想起那段再熟悉不過的定義：

深度學(xué)習(xí)（DL）是一類機(jī)器學(xué)習(xí)算法，使用多個(gè)層逐步從原始數(shù)據(jù)中提取更高層的特征。

——維基百科

有點(diǎn)懵逼？

現(xiàn)在，有人給出了更明確的說法，出手者不是旁人，正是深度學(xué)習(xí)三巨頭之一，圖靈獎(jiǎng)得主Yann LeCun。他說：

有些人似乎仍然對(duì)什么是深度學(xué)習(xí)感到困惑。以下是深度學(xué)習(xí)的定義：深度學(xué)習(xí)就是構(gòu)建由參數(shù)化功能模塊構(gòu)成的網(wǎng)絡(luò)，并利用基于梯度的優(yōu)化方法進(jìn)行樣本訓(xùn)練。

與此定義正交的是學(xué)習(xí)范式：強(qiáng)化學(xué)習(xí)、監(jiān)督學(xué)習(xí)或自監(jiān)督學(xué)習(xí)。不要說“深度學(xué)習(xí)沒法做X” ，如果你真正想的是“監(jiān)督學(xué)習(xí)需要太多數(shù)據(jù)所以沒法做X”。

對(duì)于其擴(kuò)展形態(tài)(動(dòng)態(tài)網(wǎng)絡(luò)、可微編程、圖神經(jīng)網(wǎng)絡(luò)等)，網(wǎng)絡(luò)結(jié)構(gòu)可以依數(shù)據(jù)動(dòng)態(tài)變化。

這話之后還沒完，他又一口氣放出了5個(gè)排比句，對(duì)當(dāng)前深度學(xué)習(xí)領(lǐng)域出現(xiàn)的“術(shù)語”進(jìn)行了解讀：

別說“DL對(duì)對(duì)抗樣本很敏感”，你真正的意思是“受監(jiān)督的卷積神經(jīng)網(wǎng)絡(luò)對(duì)對(duì)抗樣本很敏感”。

別說“DL存在偏見”，你真正的意思是“純監(jiān)督學(xué)習(xí)再現(xiàn)了訓(xùn)練數(shù)據(jù)中的偏見”。

別說“DL無法處理組合性”，你真正的意思是“此特定體系結(jié)構(gòu)不能推廣到許多以前不可見的部件組合”。

別說“DL不做邏輯推理”，你真正的意思是“一個(gè)簡(jiǎn)單的前饋神經(jīng)網(wǎng)絡(luò)不能做長(zhǎng)鏈的推理”。

別說“DL不做因果推理”，你真正的意思是“一個(gè)普通的、有監(jiān)督的神經(jīng)網(wǎng)絡(luò)不會(huì)自發(fā)地發(fā)現(xiàn)因果關(guān)系。”

本來是對(duì)自己去年初提出的觀點(diǎn)——“深度學(xué)習(xí)不再是流行概念”進(jìn)行了一次回應(yīng)。

但誰能想到，推文一出，各路大神紛紛出面發(fā)表觀點(diǎn)，展開了激烈的討論。

一場(chǎng)大型“互懟現(xiàn)場(chǎng)”就此拉開序幕。

機(jī)器學(xué)習(xí)奠基人下場(chǎng)激辯

馬庫斯開杠LeCun

第一批下場(chǎng)的，有DeepMind的高級(jí)研究科學(xué)家Danilo Jimenez Rezende。

他點(diǎn)贊認(rèn)同，對(duì)Yann LeCun的觀點(diǎn)進(jìn)行了簡(jiǎn)要總結(jié)：

深度學(xué)習(xí)是用于構(gòu)建復(fù)雜模塊化可微函數(shù)的工具的集合。討論深度學(xué)習(xí)能做或不能做什么毫無意義。真正有意義的是如何訓(xùn)練它，以及如何把數(shù)據(jù)喂給它。

但知名AI“杠精”——馬庫斯看到這條推特，當(dāng)場(chǎng)不干了：

如果不能討論一種方法可以做什么不能做什么，那它還算是一種方法？

推崇深度學(xué)習(xí)的人現(xiàn)在為了不被批評(píng)，總是在盡量避免提出具體、可驗(yàn)證的主張。這是有一個(gè)很危險(xiǎn)的信號(hào)。

機(jī)器學(xué)習(xí)先驅(qū)下場(chǎng)反擊：深度學(xué)習(xí)是方法論

對(duì)此，機(jī)器學(xué)習(xí)領(lǐng)域奠基人之一、AAAI前主席Thomas G. Dietterich迅速下場(chǎng)回?fù)簦?/p>

深度學(xué)習(xí)本來就不是一種方法，而是方法論。是一種研究路徑。

結(jié)果，這一辯論分會(huì)場(chǎng)又炸出了另一位大佬——機(jī)器人教父Rodney Brooks。

他說：啊，所以深度學(xué)習(xí)是AI還是AGI哇？還是說人能想到的未來科技都基于深度學(xué)習(xí)？

這一發(fā)言似乎又點(diǎn)燃了馬庫斯新的戰(zhàn)斗熱情：

Rodney Brooks說得對(duì)?。∩疃葘W(xué)習(xí)社區(qū)現(xiàn)在給自己的定位就是所有未來科技都將歸功于DL，但他們并沒有真正致力于任何事情。

等著吧，我馬上就會(huì)火力全開。

面對(duì)這樣的“挑釁”，Dietterich表示圖樣圖森破：DL（以及AI社區(qū)）的目標(biāo)是推動(dòng)智能系統(tǒng)的科學(xué)和工程進(jìn)步，而不是成為嘴炮王者。

深度學(xué)習(xí)沒有定義“是什么”，而是“如何進(jìn)行”

在各方互懟之外，Keras創(chuàng)造者François Chollet也另開新帖，對(duì)“什么是深度學(xué)習(xí)”發(fā)表了觀點(diǎn)。

他認(rèn)為，截至現(xiàn)在，深度學(xué)習(xí)的定義對(duì)他來說過于“嚴(yán)格”。并且和以下情況是相反的：

⑴ 非表征性學(xué)習(xí)(如SIFT、symbolic AI等人工特征工程)；
⑵ “淺層學(xué)習(xí)(shadow learning)”，其中只有一個(gè)特征提取層。

此外，它沒有規(guī)定一個(gè)特定的學(xué)習(xí)機(jī)制(如反向傳播)或一個(gè)特定的用例(如監(jiān)督學(xué)習(xí)或強(qiáng)化學(xué)習(xí))，也不需要端到端的聯(lián)合學(xué)習(xí)。

現(xiàn)在的定義描述的是我們?cè)撊绾芜M(jìn)行深度學(xué)習(xí)，而不是它是什么。

而現(xiàn)在的深度學(xué)習(xí)的定義，只是給出了一個(gè)比較清晰邊界：哪些是深度學(xué)習(xí)，哪些不是。例如：

DNN是深度學(xué)習(xí)，而遺傳編程、快速排序和支持向量機(jī)就不屬于深度學(xué)習(xí)。

單個(gè)的密集層(dense layer)不是深度學(xué)習(xí)，而密集堆棧(dense stack)是深度學(xué)習(xí)。

K-means不是深度學(xué)習(xí)，而堆疊K-means特征提取器是深度學(xué)習(xí)。

通常由人類工程師編寫的程序不是DL，參數(shù)化這樣的程序來自動(dòng)學(xué)習(xí)一些常量仍然不是DL。

需要用一連串的特征提取器來進(jìn)行表征學(xué)習(xí)。

François Chollet認(rèn)為，深度學(xué)習(xí)模型只代表了很小很小的程序空間。

本來Chollet并未加入論戰(zhàn)，誰知道還是被拉下了水。

有好事網(wǎng)友Ben Kamphaus在馬庫斯的推文下，當(dāng)場(chǎng)@了他，還有另一位深度學(xué)習(xí)巨頭、圖靈獎(jiǎng)得主Bengio，他說：

Bengio、Chollet以及其他人正在對(duì)需要解決的問題進(jìn)行實(shí)質(zhì)性的處理了。

不知道那些憤怒高呼讓DL研究人員去做他們已經(jīng)做了很多年工作的人，對(duì)解決這個(gè)問題有什么幫助。

馬庫斯則坦然解釋說：

我很了解Bengio和Chollet，只是希望他們更坦率些。

你曲解我的意思了。

對(duì)于馬庫斯的這一說法，Bengio和Chollet都沒有給出直接回應(yīng)。

吃瓜群眾一臉懵逼

場(chǎng)面上，感覺大半個(gè)AI學(xué)術(shù)圈都下場(chǎng)爭(zhēng)鳴了。如此盛景，吃瓜群眾不免有些懵逼。

有人問：這個(gè)問題這么棘手的嗎？

當(dāng)然，還有一臉懵逼的。

那么，你是怎么看的呢？

第一現(xiàn)場(chǎng)傳送門

https://bit.ly/2ZqjKkA