[[174241]]

從廣義上來說，NN(或是更美的DNN)確實可以認為包含了CNN、RNN這些具體的變種形式。在實際應(yīng)用中，所謂的深度神經(jīng)網(wǎng)絡(luò)DNN，往往融合了多種已知的結(jié)構(gòu)，包括卷積層或是LSTM單元。但是就題主的意思來看，這里的DNN應(yīng)該特指全連接的神經(jīng)元結(jié)構(gòu)，并不包含卷積單元或是時間上的關(guān)聯(lián)。

因此，題主一定要將DNN、CNN、RNN等進行對比，也未嘗不可。 其實，如果我們順著神經(jīng)網(wǎng)絡(luò)技術(shù)發(fā)展的脈絡(luò)，就很容易弄清這幾種網(wǎng)絡(luò)結(jié)構(gòu)發(fā)明的初衷，和他們之間本質(zhì)的區(qū)別。 神經(jīng)網(wǎng)絡(luò)技術(shù)起源于上世紀五、六十年代，當時叫感知機(perceptron)，擁有輸入層、輸出層和一個隱含層。輸入的特征向量通過隱含層變換達到輸出層，在輸出層得到分類結(jié)果。

早期感知機的推動者是Rosenblatt。(扯一個不相關(guān)的：由于計算技術(shù)的落后，當時感知器傳輸函數(shù)是用線拉動變阻器改變電阻的方法機械實現(xiàn)的，腦補一下科學(xué)家們扯著密密麻麻的導(dǎo)線的樣子…) 但是，Rosenblatt的單層感知機有一個嚴重得不能再嚴重的問題，即它對稍復(fù)雜一些的函數(shù)都無能為力(比如最為典型的“異或”操作)。

連異或都不能擬合，你還能指望這貨有什么實際用途么o(╯□╰)o 隨著數(shù)學(xué)的發(fā)展，這個缺點直到上世紀八十年代才被Rumelhart、Williams、Hinton、LeCun等人(反正就是一票大牛)發(fā)明的多層感知機(multilayer perceptron)克服。多層感知機，顧名思義，就是有多個隱含層的感知機(廢話……)。好好，我們看一下多層感知機的結(jié)構(gòu)：

圖1上下層神經(jīng)元全部相連的神經(jīng)網(wǎng)絡(luò)——多層感知機

多層感知機可以擺脫早期離散傳輸函數(shù)的束縛，使用sigmoid或tanh等連續(xù)函數(shù)模擬神經(jīng)元對激勵的響應(yīng)，在訓(xùn)練算法上則使用Werbos發(fā)明的反向傳播BP算法。

對，這貨就是我們現(xiàn)在所說的神經(jīng)網(wǎng)絡(luò)NN——神經(jīng)網(wǎng)絡(luò)聽起來不知道比感知機高端到哪里去了!這再次告訴我們起一個好聽的名字對于研(zhuang)究(bi)很重要! 多層感知機解決了之前無法模擬異或邏輯的缺陷，同時更多的層數(shù)也讓網(wǎng)絡(luò)更能夠刻畫現(xiàn)實世界中的復(fù)雜情形。

相信年輕如Hinton當時一定是春風(fēng)得意。 多層感知機給我們帶來的啟示是，神經(jīng)網(wǎng)絡(luò)的層數(shù)直接決定了它對現(xiàn)實的刻畫能力——利用每層更少的神經(jīng)元擬合更加復(fù)雜的函數(shù)[1]。 (Bengio如是說：functions that can be compactly represented by a depth k architecture might require an exponential number of computational elements to be represented by a depth k − 1 architecture.)

即便大牛們早就預(yù)料到神經(jīng)網(wǎng)絡(luò)需要變得更深，但是有一個夢魘總是縈繞左右。隨著神經(jīng)網(wǎng)絡(luò)層數(shù)的加深，優(yōu)化函數(shù)越來越容易陷入局部最優(yōu)解，并且這個“陷阱”越來越偏離真正的全局最優(yōu)。利用有限數(shù)據(jù)訓(xùn)練的深層網(wǎng)絡(luò)，性能還不如較淺層網(wǎng)絡(luò)。

同時，另一個不可忽略的問題是隨著網(wǎng)絡(luò)層數(shù)增加，“梯度消失”現(xiàn)象更加嚴重。具體來說，我們常常使用sigmoid作為神經(jīng)元的輸入輸出函數(shù)。對于幅度為1的信號，在BP反向傳播梯度時，每傳遞一層，梯度衰減為原來的0.25。層數(shù)一多，梯度指數(shù)衰減后低層基本上接受不到有效的訓(xùn)練信號。

2006年，Hinton利用預(yù)訓(xùn)練方法緩解了局部最優(yōu)解問題，將隱含層推動到了7層[2]，神經(jīng)網(wǎng)絡(luò)真正意義上有了“深度”，由此揭開了深度學(xué)習(xí)的熱潮。這里的“深度”并沒有固定的定義——在語音識別中4層網(wǎng)絡(luò)就能夠被認為是“較深的”，而在圖像識別中20層以上的網(wǎng)絡(luò)屢見不鮮。

為了克服梯度消失，ReLU、maxout等傳輸函數(shù)代替了sigmoid，形成了如今DNN的基本形式。單從結(jié)構(gòu)上來說，全連接的DNN和圖1的多層感知機是沒有任何區(qū)別的。 值得一提的是，今年出現(xiàn)的高速公路網(wǎng)絡(luò)(highway network)和深度殘差學(xué)習(xí)(deep residual learning)進一步避免了梯度消失，網(wǎng)絡(luò)層數(shù)達到了前所未有的一百多層(深度殘差學(xué)習(xí)：152層)[3,4]!

具體結(jié)構(gòu)題主可自行搜索了解。如果你之前在懷疑是不是有很多方法打上了“深度學(xué)習(xí)”的噱頭，這個結(jié)果真是深得讓人心服口服。

圖2縮減版的深度殘差學(xué)習(xí)網(wǎng)絡(luò)，僅有34層，終極版有152層

如圖1所示，我們看到全連接DNN的結(jié)構(gòu)里下層神經(jīng)元和所有上層神經(jīng)元都能夠形成連接，帶來的潛在問題是參數(shù)數(shù)量的膨脹。假設(shè)輸入的是一幅像素為1K*1K的圖像，隱含層有1M個節(jié)點，光這一層就有10^12個權(quán)重需要訓(xùn)練，這不僅容易過擬合，而且極容易陷入局部最優(yōu)。

另外，圖像中有固有的局部模式(比如輪廓、邊界，人的眼睛、鼻子、嘴等)可以利用，顯然應(yīng)該將圖像處理中的概念和神經(jīng)網(wǎng)絡(luò)技術(shù)相結(jié)合。此時我們可以祭出題主所說的卷積神經(jīng)網(wǎng)絡(luò)CNN。 對于CNN來說，并不是所有上下層神經(jīng)元都能直接相連，而是通過“卷積核”作為中介。同一個卷積核在所有圖像內(nèi)是共享的，圖像通過卷積操作后仍然保留原先的位置關(guān)系。

兩層之間的卷積傳輸?shù)氖疽鈭D如下：

圖3卷積神經(jīng)網(wǎng)絡(luò)隱含層

通過一個例子簡單說明卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。假設(shè)圖3中m-1=1是輸入層，我們需要識別一幅彩色圖像，這幅圖像具有四個通道ARGB(透明度和紅綠藍，對應(yīng)了四幅相同大小的圖像)，假設(shè)卷積核大小為100*100，共使用100個卷積核w1到w100(從直覺來看，每個卷積核應(yīng)該學(xué)習(xí)到不同的結(jié)構(gòu)特征)。

用w1在ARGB圖像上進行卷積操作，可以得到隱含層的第一幅圖像;這幅隱含層圖像左上角第一個像素是四幅輸入圖像左上角100*100區(qū)域內(nèi)像素的加權(quán)求和，以此類推。

同理，算上其他卷積核，隱含層對應(yīng)100幅“圖像”。每幅圖像對是對原始圖像中不同特征的響應(yīng)。按照這樣的結(jié)構(gòu)繼續(xù)傳遞下去。CNN中還有max-pooling等操作進一步提高魯棒性。

圖4一個典型的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

注意到最后一層實際上是一個全連接層，在這個例子里，我們注意到輸入層到隱含層的參數(shù)瞬間降低到了100*100*100=10^6個!這使得我們能夠用已有的訓(xùn)練數(shù)據(jù)得到良好的模型。題主所說的適用于圖像識別，正是由于CNN模型限制參數(shù)了個數(shù)并挖掘了局部結(jié)構(gòu)的這個特點。順著同樣的思路，利用語音語譜結(jié)構(gòu)中的局部信息，CNN照樣能應(yīng)用在語音識別中。

全連接的DNN還存在著另一個問題——無法對時間序列上的變化進行建模。然而，樣本出現(xiàn)的時間順序?qū)τ谧匀徽Z言處理、語音識別、手寫體識別等應(yīng)用非常重要。對了適應(yīng)這種需求，就出現(xiàn)了題主所說的另一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)——循環(huán)神經(jīng)網(wǎng)絡(luò)RNN。

在普通的全連接網(wǎng)絡(luò)或CNN中，每層神經(jīng)元的信號只能向上一層傳播，樣本的處理在各個時刻獨立，因此又被成為前向神經(jīng)網(wǎng)絡(luò)(Feed-forward Neural Networks)。而在RNN中，神經(jīng)元的輸出可以在下一個時間戳直接作用到自身，即第i層神經(jīng)元在m時刻的輸入，除了(i-1)層神經(jīng)元在該時刻的輸出外，還包括其自身在(m-1)時刻的輸出!表示成圖就是這樣的：

圖5 RNN網(wǎng)絡(luò)結(jié)構(gòu)

我們可以看到在隱含層節(jié)點之間增加了互連。為了分析方便，我們常將RNN在時間上進行展開，得到如圖6所示的結(jié)構(gòu)：

圖6 RNN在時間上進行展開

Cool，(t+1)時刻網(wǎng)絡(luò)的最終結(jié)果O(t+1)是該時刻輸入和所有歷史共同作用的結(jié)果!這就達到了對時間序列建模的目的。 不知題主是否發(fā)現(xiàn)，RNN可以看成一個在時間上傳遞的神經(jīng)網(wǎng)絡(luò)，它的深度是時間的長度!正如我們上面所說，“梯度消失”現(xiàn)象又要出現(xiàn)了，只不過這次發(fā)生在時間軸上。

對于t時刻來說，它產(chǎn)生的梯度在時間軸上向歷史傳播幾層之后就消失了，根本就無法影響太遙遠的過去。因此，之前說“所有歷史”共同作用只是理想的情況，在實際中，這種影響也就只能維持若干個時間戳。

為了解決時間上的梯度消失，機器學(xué)習(xí)領(lǐng)域發(fā)展出了長短時記憶單元LSTM，通過門的開關(guān)實現(xiàn)時間上記憶功能，并防止梯度消失，一個LSTM單元長這個樣子：

圖7 LSTM的模樣

除了題主疑惑的三種網(wǎng)絡(luò)，和我之前提到的深度殘差學(xué)習(xí)、LSTM外，深度學(xué)習(xí)還有許多其他的結(jié)構(gòu)。舉個例子，RNN既然能繼承歷史信息，是不是也能吸收點未來的信息呢?

因為在序列信號分析中，如果我能預(yù)知未來，對識別一定也是有所幫助的。因此就有了雙向RNN、雙向LSTM，同時利用歷史和未來的信息。

圖8雙向RNN

事實上，不論是那種網(wǎng)絡(luò)，他們在實際應(yīng)用中常常都混合著使用，比如CNN和RNN在上層輸出之前往往會接上全連接層，很難說某個網(wǎng)絡(luò)到底屬于哪個類別。不難想象隨著深度學(xué)習(xí)熱度的延續(xù)，更靈活的組合方式、更多的網(wǎng)絡(luò)結(jié)構(gòu)將被發(fā)展出來。

盡管看起來千變?nèi)f化，但研究者們的出發(fā)點肯定都是為了解決特定的問題。題主如果想進行這方面的研究，不妨仔細分析一下這些結(jié)構(gòu)各自的特點以及它們達成目標的手段。

入門的話可以參考：

Ng寫的Ufldl：UFLDL教程 – Ufldl

也可以看Theano內(nèi)自帶的教程，例子非常具體：Deep Learning Tutorials

歡迎大家繼續(xù)推薦補充。

參考文獻：

[1] Bengio Y. Learning Deep Architectures for AI[J]. Foundations & Trends® in Machine Learning, 2009, 2(1):1-127.

[2] Hinton G E, Salakhutdinov R R. Reducing the Dimensionality of Data with Neural Networks[J]. Science, 2006, 313(5786):504-507.

[3] He K, Zhang X, Ren S, Sun J. Deep Residual Learning for Image Recognition. arXiv:1512.03385, 2015.

[4] Srivastava R K, Greff K, Schmidhuber J. Highway networks. arXiv:1505.00387, 2015.