深度神經(jīng)網(wǎng)絡(luò)在2012年興起，當(dāng)時(shí)深度學(xué)習(xí)模型能夠在傳統(tǒng)機(jī)器學(xué)習(xí)問(wèn)題，例如圖像分類(lèi)和語(yǔ)音識(shí)別，擊敗***進(jìn)的傳統(tǒng)方法。這要?dú)w功于支撐深度學(xué)習(xí)的各種哲學(xué)思想和各種思維。

抓住主要矛盾，忽略次要矛盾--池化

神經(jīng)網(wǎng)絡(luò)中經(jīng)過(guò)池化后，得到的是突出化的概括性特征。相比使用所有提取得到的特征，不僅具有低得多的維度，同時(shí)還可以防止過(guò)擬合。

比如max_pooling： 夜晚的地球俯瞰圖，燈光耀眼的穿透性讓人們只注意到最max的部分，產(chǎn)生亮光區(qū)域被放大的視覺(jué)錯(cuò)覺(jué)。故而 max_pooling 對(duì)較抽象一點(diǎn)的特征(如紋理)提取更好。

池化是一種降采樣技術(shù)，減少參數(shù)數(shù)量，也可防止過(guò)擬合。如卷積核一樣，在池化層中的每個(gè)神經(jīng)元被連接到上面一層輸出的神經(jīng)元，只對(duì)應(yīng)一小塊感受野的區(qū)域。

池化體現(xiàn)了“抓住主要矛盾，忽略次要矛盾”哲學(xué)思想，在抽取特征的過(guò)程中，抓住圖片特征中最關(guān)鍵的部分，放棄一些不重要、非決定性的小特征。

避免梯度消失--ReLU和批歸一化

深度神經(jīng)網(wǎng)絡(luò)隨著層數(shù)的增多，梯度消失是一個(gè)很棘手的問(wèn)題。

ReLU主要好處是降低梯度彌散可能性和增加稀疏性。

線性整流函數(shù)ReLU(Rectified Linear Unit)的定義是h = max(0,a)其中a = Wx + b。

降低梯度消失可能性。特別是當(dāng)a > 0時(shí)，此時(shí)梯度具有恒定值。作為對(duì)比，隨著x的絕對(duì)值增加，sigmoid函數(shù)的梯度變得越來(lái)越小。ReLU的恒定梯度導(dǎo)致更快的學(xué)習(xí)。

增加稀疏性。當(dāng)a≤ 0稀疏性出現(xiàn)。網(wǎng)絡(luò)層中存在的這樣單元越多，得到越多的表示稀疏性。另一方面，Sigmoid激活函數(shù)總是可能產(chǎn)生一些非零值，從而產(chǎn)生密集的表示。稀疏表示比密集表示更有益。

批歸一化BN(Batch Normalization)很好地解決了梯度消失問(wèn)題，這是由其減均值除方差保證的：

把每一層的輸出均值和方差規(guī)范化，將輸出從飽和區(qū)拉倒了非飽和區(qū)(導(dǎo)數(shù))，很好的解決了梯度消失問(wèn)題。下圖中對(duì)于第二層與***層的梯度變化，在沒(méi)有使用BN時(shí)，sigmoid激活函數(shù)梯度消失5倍，使用BN時(shí)，梯度只消失33%;在使用BN時(shí)，relu激活函數(shù)梯度沒(méi)有消失。

集成學(xué)習(xí)的思想--Dropout

Dropout是可以避免過(guò)擬合的一種正則化技術(shù)。

Dropout是一種正則化形式，它限制了網(wǎng)絡(luò)在訓(xùn)練時(shí)對(duì)數(shù)據(jù)的適應(yīng)性，以避免它在學(xué)習(xí)輸入數(shù)據(jù)時(shí)變得"過(guò)于聰明"，因此有助于避免過(guò)度擬合。

dropout本質(zhì)上體現(xiàn)了集成學(xué)習(xí)思想。在集成學(xué)習(xí)中，我們采用了一些"較弱"的分類(lèi)器，分別訓(xùn)練它們。由于每個(gè)分類(lèi)器都經(jīng)過(guò)單獨(dú)訓(xùn)練，因此它學(xué)會(huì)了數(shù)據(jù)的不同"方面"，并且它們的錯(cuò)誤也不同。將它們組合起來(lái)有助于產(chǎn)生更強(qiáng)的分類(lèi)器，不容易過(guò)度擬合。隨機(jī)森林、GBDT是典型的集成算法。

一種集成算法是裝袋(bagging)，其中每個(gè)成員用輸入數(shù)據(jù)的不同子集訓(xùn)練，因此僅學(xué)習(xí)了整個(gè)輸入特征空間的子集。

dropout，可以看作是裝袋的極端版本​​。在小批量的每個(gè)訓(xùn)練步驟中，dropout程序創(chuàng)建不同的網(wǎng)絡(luò)(通過(guò)隨機(jī)移除一些單元)，其像往常一樣使用反向傳播進(jìn)行訓(xùn)練。從概念上講，整個(gè)過(guò)程類(lèi)似于使用許多不同網(wǎng)絡(luò)(每個(gè)步驟一個(gè))的集合，每個(gè)網(wǎng)絡(luò)用單個(gè)樣本訓(xùn)練(即極端裝袋)。

在測(cè)試時(shí)，使用整個(gè)網(wǎng)絡(luò)(所有單位)但按比例縮小。在數(shù)學(xué)上，這近似于整體平均。

顯然這是一種非常好應(yīng)用于深度學(xué)習(xí)的集成思想。

深層提取復(fù)雜特征的思維

今天深度學(xué)習(xí)已經(jīng)取得了非常多的成功。深度神經(jīng)網(wǎng)絡(luò)，由AlexNet的8層到GoogLeNet的22層，再到ResNet的152層，隨著層數(shù)的增加，top5錯(cuò)誤率越來(lái)越低，達(dá)到3.57%。

由于圖像和文本包含復(fù)雜的層次關(guān)系，因此在特征提取器中找到表示這些關(guān)系的公式并不容易。深度學(xué)習(xí)系統(tǒng)具有多層表示能力，它能夠讓網(wǎng)絡(luò)模擬所有這些復(fù)雜的關(guān)系。

所以在學(xué)習(xí)和應(yīng)用深度學(xué)習(xí)時(shí)，不要懼怕網(wǎng)絡(luò)層次之深，正是這種深層結(jié)構(gòu)才提取了圖像、文本、語(yǔ)音等原始數(shù)據(jù)的抽象的本質(zhì)特征。

神經(jīng)網(wǎng)絡(luò)構(gòu)建一個(gè)逐步抽象的特征層次結(jié)構(gòu)。

每個(gè)后續(xù)層充當(dāng)越來(lái)越復(fù)雜的特征的過(guò)濾器，這些特征結(jié)合了前一層的特征。

• 每一層對(duì)其輸入應(yīng)用非線性變換，并在其輸出中提供表示。
• 每一層中的每個(gè)神經(jīng)元都會(huì)將信息發(fā)送到下一層神經(jīng)元，下一層神經(jīng)元會(huì)學(xué)習(xí)更抽象的數(shù)據(jù)。

所以你上升得越高，你學(xué)到的抽象特征就越多。。目標(biāo)是通過(guò)將數(shù)據(jù)傳遞到多個(gè)轉(zhuǎn)換層，以分層方式學(xué)習(xí)數(shù)據(jù)的復(fù)雜和抽象表示。感官數(shù)據(jù)(例如圖像中的像素)被饋送到***層。因此，每層的輸出作為其下一層的輸入提供。

深層次網(wǎng)絡(luò)結(jié)構(gòu)所具有的強(qiáng)大的抽象學(xué)習(xí)和表征能力

拿圖像識(shí)別舉例，在***層，是像素這些東西。當(dāng)我們一層一層往上的時(shí)候，慢慢的可能有邊緣，再往上可能有輪廓，甚至對(duì)象的部件，等等?？傮w上，當(dāng)我們逐漸往上的時(shí)候，它確實(shí)是不斷在對(duì)對(duì)象進(jìn)行抽象。而由現(xiàn)象到本質(zhì)的抽象過(guò)程中，是需要很多階段、很多過(guò)程的，需要逐步去粗取精、逐步凸顯，才能最終完成。

層數(shù)為什么要那么多?這其中體現(xiàn)了從整體到部分、從具體到抽象的認(rèn)識(shí)論哲學(xué)思想。

抽取共同的、本質(zhì)性的特征，舍棄非本質(zhì)的特征。這過(guò)程本來(lái)就是一個(gè)逐漸抽象的過(guò)程，抽絲剝繭、層層萃取、逐漸清晰、統(tǒng)一匯總，層數(shù)少抽取出的特征是模糊的、無(wú)法表征的!

非線性思維

每一層進(jìn)行非線性變換是深度學(xué)習(xí)算法的基本思想。數(shù)據(jù)在深層架構(gòu)中經(jīng)過(guò)的層越多，構(gòu)造的非線性變換就越復(fù)雜。這些變換表示數(shù)據(jù)，因此深度學(xué)習(xí)可以被視為表示學(xué)習(xí)算法的特例，其在深層體系結(jié)構(gòu)中學(xué)習(xí)具有多個(gè)表示級(jí)別的數(shù)據(jù)表示。所實(shí)現(xiàn)的最終表示是輸入數(shù)據(jù)的高度非線性函數(shù)。

深層體系結(jié)構(gòu)層中的非線性變換，試圖提取數(shù)據(jù)中潛在的解釋因素。不能像PCA那樣使用線性變換作為深層結(jié)構(gòu)層中的變換算法，因?yàn)榫€性變換的組合產(chǎn)生另一種線性變換。因此，擁有深層架構(gòu)是沒(méi)有意義的。

例如，通過(guò)向深度學(xué)習(xí)算法提供一些人臉圖像，在***層，它可以學(xué)習(xí)不同方向的邊緣; 在第二層中，它組成這些邊緣以學(xué)習(xí)更復(fù)雜的特征，如嘴唇，鼻子和眼睛等臉部的不同部分。在第三層中，它組成了這些特征，以學(xué)習(xí)更復(fù)雜的特征，如不同人的面部形狀。這些最終表示可以用作面部識(shí)別應(yīng)用中的特征。

提供該示例是為了簡(jiǎn)單地以可理解的方式解釋深度學(xué)習(xí)算法如何通過(guò)組合在分層體系結(jié)構(gòu)中獲取的表示來(lái)找到更抽象和復(fù)雜的數(shù)據(jù)表示。

省去特征工程的思維

傳統(tǒng)機(jī)器學(xué)習(xí)中，特征工程作為機(jī)器學(xué)習(xí)技能的一部分。在這種情況下，需要以可以理解的形式將數(shù)據(jù)轉(zhuǎn)換并輸入到算法中。然而，在訓(xùn)練和測(cè)試模型之前，并不知道這些特征的用處，數(shù)據(jù)挖掘人員往往會(huì)陷入開(kāi)發(fā)新特征、重建模型、測(cè)量結(jié)果的繁雜循環(huán)中，直到對(duì)結(jié)果滿(mǎn)意為止。這是一項(xiàng)非常耗時(shí)的任務(wù)，需要花費(fèi)大量時(shí)間。

穿著黑色襯衫的男人正在彈吉他

這個(gè)圖像的下邊的標(biāo)題是由神經(jīng)網(wǎng)絡(luò)生成的，它與我們想象這個(gè)圖片的方式非常相似。對(duì)于涉及此類(lèi)復(fù)雜解釋的案例，必須使用深度學(xué)習(xí)。這背后的主要原因是超參數(shù)。標(biāo)題圖像所需的超參數(shù)的數(shù)量將非常高，并且在SVM的情況下手動(dòng)選擇這些超參數(shù)幾乎是不可能的。但是深度神經(jīng)網(wǎng)絡(luò)可以通過(guò)訓(xùn)練集和學(xué)習(xí)來(lái)自主地進(jìn)行。