本文旨在提供直觀(guān)簡(jiǎn)明的深度學(xué)習(xí)引導(dǎo)，涵蓋深度學(xué)習(xí)的基本概念，而不涉及很多數(shù)學(xué)和理論細(xì)節(jié)。當(dāng)然如果要做更深入的研究，數(shù)學(xué)肯定是必不可少的，但是本系列主要還是用圖片和類(lèi)比等方式，幫助初學(xué)者快速建立大局觀(guān)。

核心概念

機(jī)器學(xué)習(xí)(Machine Learning)

在機(jī)器學(xué)習(xí)中，我們(1)讀取數(shù)據(jù)，(2)訓(xùn)練模型，(3)使用模型對(duì)新數(shù)據(jù)做預(yù)測(cè)。訓(xùn)練可以看作是當(dāng)模型拿到新數(shù)據(jù)的時(shí)候、逐步學(xué)習(xí)一個(gè)的過(guò)程。在每一步，模型做出預(yù)測(cè)并且得到準(zhǔn)確度的反饋。反饋的形式即是某種衡量標(biāo)準(zhǔn)(比如與正確解的距離)下的誤差，再被用于修正預(yù)測(cè)誤差。

學(xué)習(xí)是一個(gè)在參數(shù)空間里循環(huán)往復(fù)的過(guò)程：當(dāng)你調(diào)整參數(shù)改正一次預(yù)測(cè)，但是模型卻可能把原先對(duì)的又搞錯(cuò)了。需要很多次的迭代，模型才能具有良好的預(yù)測(cè)能力，這一“預(yù)測(cè)-修正”的過(guò)程一直持續(xù)到模型再無(wú)改良空間。

特征工程(Feature Engineering)

特征工程從數(shù)據(jù)中提取有用的模式，使之更容易被機(jī)器學(xué)習(xí)模型進(jìn)行分類(lèi)。比如，把一堆綠色或藍(lán)色的像素區(qū)域作為標(biāo)準(zhǔn)，來(lái)判斷照片上是陸生動(dòng)物還是水生動(dòng)物。這一特征對(duì)于機(jī)器學(xué)習(xí)模型十分有效，因?yàn)槠湎拗屏诵枰紤]的類(lèi)別數(shù)量。

在多數(shù)預(yù)測(cè)任務(wù)中，特征工程是取得好結(jié)果的必備技能。然而，因?yàn)椴煌臄?shù)據(jù)集有著不同的特征工程方法，所以很難得出普遍規(guī)律，只有一些大概的經(jīng)驗(yàn)，這使得特征工程更是一門(mén)藝術(shù)而非科學(xué)。一個(gè)數(shù)據(jù)集里極其關(guān)鍵的特征，到了另一個(gè)數(shù)據(jù)集里可能沒(méi)有卵用(比如下一個(gè)數(shù)據(jù)集里全是植物)。正因?yàn)樘卣鞴こ踢@么難，才會(huì)有科學(xué)家去研發(fā)自動(dòng)提取特征的算法。

很多任務(wù)已經(jīng)可以自動(dòng)化(比如物體識(shí)別、語(yǔ)音識(shí)別)，特征工程還是復(fù)雜任務(wù)中最有效的技術(shù)(比如Kaggle機(jī)器學(xué)習(xí)競(jìng)賽中的大多數(shù)任務(wù))。

特征學(xué)習(xí)(Feature Learning)

特征學(xué)習(xí)算法尋找同類(lèi)之間的共有模式，并自動(dòng)提取用以分類(lèi)或回歸。特征學(xué)習(xí)就是由算法自動(dòng)完成的特征工程。在深度學(xué)習(xí)中，卷積層就極其擅長(zhǎng)尋找圖片中的特征，并映射到下一層，形成非線(xiàn)性特征的層級(jí)結(jié)構(gòu)，復(fù)雜度逐漸提升(例如：圓圈，邊緣 -> 鼻子，眼睛，臉頰)。最后一層使用所有生成的特征來(lái)進(jìn)行分類(lèi)或回歸(卷積網(wǎng)絡(luò)的最后一層，本質(zhì)上就是多項(xiàng)式邏輯回歸)。

圖1：深度學(xué)習(xí)算法學(xué)得的層級(jí)特征。  

每個(gè)特征都相當(dāng)于一個(gè)濾波器，

用特征(比如鼻子)去過(guò)濾輸入圖片。

如果這個(gè)特征找到了，相應(yīng)的單元就會(huì)產(chǎn)生高激勵(lì)，

在之后的分類(lèi)階段中，就是此類(lèi)別存在的高指標(biāo)。

圖1顯示了深度學(xué)習(xí)算法生成的特征，很難得的是，這些特征意義都很明確，因?yàn)榇蠖鄶?shù)特征往往不知所云，特別是循環(huán)神經(jīng)網(wǎng)絡(luò)、LSTM或特別深的深度卷積網(wǎng)絡(luò)。

深度學(xué)習(xí)(Deep Learning)

在層級(jí)特征學(xué)習(xí)中，我們提取出了好幾層的非線(xiàn)性特征，并傳遞給分類(lèi)器，分類(lèi)器整合所有特征做出預(yù)測(cè)。我們有意堆疊這些深層的非線(xiàn)性特征，因?yàn)閷訑?shù)少了，學(xué)不出復(fù)雜特征。數(shù)學(xué)上可以證明，單層神經(jīng)網(wǎng)絡(luò)所能學(xué)習(xí)的最好特征，就是圓圈和邊緣，因?yàn)樗鼈儼藛蝹€(gè)非線(xiàn)性變換所能承載的最多信息。為了生成信息量更大的特征，我們不能直接操作這些輸入，而要對(duì)第一批特征(邊緣和圓圈)繼續(xù)進(jìn)行變換，以得到更復(fù)雜的特征。

研究顯示，人腦有著相同的工作機(jī)理：視錐細(xì)胞接受信息的第一層神經(jīng)，對(duì)邊緣和圓圈更加敏感，而更深處的大腦皮層則對(duì)更加復(fù)雜的結(jié)構(gòu)敏感，比如人臉。

層級(jí)特征學(xué)習(xí)誕生在深度學(xué)習(xí)之前，其結(jié)構(gòu)面臨很多嚴(yán)重問(wèn)題，比如梯度消失——梯度在很深的層級(jí)處變得太小，以致于不能提供什么學(xué)習(xí)信息了。這使得層級(jí)結(jié)構(gòu)反而表現(xiàn)不如一些傳統(tǒng)機(jī)器學(xué)習(xí)算法(比如支持向量機(jī))。

為解決梯度消失問(wèn)題，以便我們能夠訓(xùn)練幾十層的非線(xiàn)性層及特征，很多新的方法和策略應(yīng)運(yùn)而生，“深度學(xué)習(xí)”這個(gè)詞就來(lái)自于此。在2010年代早期，研究發(fā)現(xiàn)在GPU的幫助下，激勵(lì)函數(shù)擁有足以訓(xùn)練出深層結(jié)構(gòu)的梯度流，從此深度學(xué)習(xí)開(kāi)始了穩(wěn)步發(fā)展。

深度學(xué)習(xí)并非總是與深度非線(xiàn)性層級(jí)特征綁定，有時(shí)也與序列數(shù)據(jù)中的長(zhǎng)期非線(xiàn)性時(shí)間依賴(lài)相關(guān)。對(duì)于序列數(shù)據(jù)，多數(shù)其他算法只有最后10個(gè)時(shí)間步的記憶，而LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)(1997年由Sepp Hochreiter和Jürgen Schmidhuber發(fā)明)，使網(wǎng)絡(luò)能夠追溯上百個(gè)時(shí)間步之前的活動(dòng)以做出正確預(yù)測(cè)。盡管LSTM曾被雪藏將近10年，但自從2013年與卷積網(wǎng)絡(luò)結(jié)合以來(lái)，其應(yīng)用飛速成長(zhǎng)。

基本概念

邏輯回歸(Logistic Regression)

回歸分析預(yù)測(cè)統(tǒng)計(jì)輸入變量之間的關(guān)系，以預(yù)測(cè)輸出變量。邏輯回歸用輸入變量，在有限個(gè)輸類(lèi)別變量中產(chǎn)生輸出，比如“得癌了” / “沒(méi)得癌”，或者圖片的種類(lèi)如“鳥(niǎo)” / “車(chē)” / “狗” / “貓” / “馬”。

邏輯回歸使用logistic sigmoid函數(shù)(見(jiàn)圖2)給輸入值賦予權(quán)重，產(chǎn)生二分類(lèi)的預(yù)測(cè)(多項(xiàng)式邏輯回歸中，則是多分類(lèi))。

邏輯回歸與非線(xiàn)性感知機(jī)或沒(méi)有隱藏層的神經(jīng)網(wǎng)絡(luò)很像。主要區(qū)別在于，只要輸入變量滿(mǎn)足一些統(tǒng)計(jì)性質(zhì)，邏輯回歸就很易于解釋而且可靠。如果這些統(tǒng)計(jì)性質(zhì)成立，只需很少的輸入數(shù)據(jù)，就能產(chǎn)生很穩(wěn)的模型。因而邏輯回歸在很多數(shù)據(jù)稀疏的應(yīng)用中，具有極高價(jià)值。比如醫(yī)藥或社會(huì)科學(xué)，邏輯回歸被用來(lái)分析和解釋實(shí)驗(yàn)結(jié)果。因?yàn)檫壿嫽貧w簡(jiǎn)單、快速，所以對(duì)大數(shù)據(jù)集也很友好。

在深度學(xué)習(xí)中，用于分類(lèi)的神經(jīng)網(wǎng)絡(luò)中，最后幾層一般就是邏輯回歸。本系列將深度學(xué)習(xí)算法看作若干特征學(xué)習(xí)階段，然后將特征傳遞給邏輯回歸，對(duì)分類(lèi)進(jìn)行輸入。

人工神經(jīng)網(wǎng)絡(luò)(Aritificial Neural Network)

人工神經(jīng)網(wǎng)絡(luò)(1)讀取輸入數(shù)據(jù)，(2)做計(jì)算加權(quán)和的變換，(3)對(duì)變換結(jié)果應(yīng)用非線(xiàn)性函數(shù)，計(jì)算出一個(gè)中間狀態(tài)。這三步合起來(lái)稱(chēng)為一“層”，變換函數(shù)則稱(chēng)為一個(gè)“單元”。中間狀態(tài)——特征——也是另一層的輸入。

通過(guò)這些步驟的重復(fù)，人工神經(jīng)網(wǎng)絡(luò)學(xué)的了很多層的非線(xiàn)性特征，最后再組合起來(lái)得出一個(gè)預(yù)測(cè)。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程是產(chǎn)生誤差信號(hào)——網(wǎng)絡(luò)預(yù)測(cè)與期望值的差——再用這些誤差調(diào)整權(quán)重(或其他參數(shù))使預(yù)測(cè)結(jié)果更加準(zhǔn)確。

Kaiser：以下為幾個(gè)名詞的辨析，包括最近幾年的習(xí)慣變遷，我認(rèn)為不需要深究。

單元(Unit)

單元有時(shí)指一層中的激勵(lì)函數(shù)，輸入正是經(jīng)由這些非線(xiàn)性激勵(lì)函數(shù)進(jìn)行變換，比如logistic sigmoid函數(shù)。通常一個(gè)單元會(huì)連接若干輸入和多個(gè)輸出，也有更加復(fù)雜的，比如長(zhǎng)短期記憶(LSTM)單元就包含多個(gè)激勵(lì)函數(shù)，并以特別的布局連接到非線(xiàn)性函數(shù)，或最大輸出單元。LSTM經(jīng)過(guò)對(duì)輸入的一系列非線(xiàn)性變換，計(jì)算最終的輸出。池化，卷積及其他輸入變換函數(shù)一般不稱(chēng)作單元。

人工神經(jīng)元(Artificial Neuron)

人工神經(jīng)元——或神經(jīng)元——與“單元”是同義詞，只不過(guò)是為了表現(xiàn)出與神經(jīng)生物學(xué)和人腦的緊密聯(lián)系。實(shí)際上深度學(xué)習(xí)和大腦沒(méi)有太大關(guān)系，比如現(xiàn)在認(rèn)為，一個(gè)生物神經(jīng)元更像是一整個(gè)多層感知機(jī)，而不是單個(gè)人工神經(jīng)元。神經(jīng)元是在上一次AI寒冬時(shí)期被提出來(lái)的，目的是將最成功的神經(jīng)網(wǎng)絡(luò)與失敗棄置的感知機(jī)區(qū)別開(kāi)來(lái)。不過(guò)自從2012年以后深度學(xué)習(xí)的巨大成功以來(lái)，媒體經(jīng)常拿“神經(jīng)元”這個(gè)詞來(lái)說(shuō)事兒，并把深度學(xué)習(xí)比作人腦的擬態(tài)。這其實(shí)是具有誤導(dǎo)性，對(duì)深度學(xué)習(xí)領(lǐng)域來(lái)講也是危險(xiǎn)的。如今業(yè)界不推薦使用“神經(jīng)元”這個(gè)詞，而改用更準(zhǔn)確的“單元”。

激勵(lì)函數(shù)(Acitivation Function)

激勵(lì)函數(shù)讀取加權(quán)數(shù)據(jù)(輸入數(shù)據(jù)和權(quán)重進(jìn)行矩陣乘法)，輸出數(shù)據(jù)的非線(xiàn)性變換。比如output = max(0, weight_{data})就是修正線(xiàn)性激勵(lì)函數(shù)(本質(zhì)上就是把負(fù)值變成0)。“單元”和“激勵(lì)函數(shù)”之間的區(qū)別是，單元可以更加復(fù)雜，比如一個(gè)單元可以包含若干個(gè)激勵(lì)函數(shù)(就像LSTM單元)或者更復(fù)雜的結(jié)構(gòu)(比如Maxout單元)。

Kaiser：原文這個(gè)例子顯然把簡(jiǎn)單的問(wèn)題說(shuō)復(fù)雜了，建議跳過(guò)。

線(xiàn)性激勵(lì)函數(shù)，與非線(xiàn)性激勵(lì)函數(shù)的區(qū)別，可以通過(guò)一組加權(quán)值之間的關(guān)系體現(xiàn)：想象4個(gè)點(diǎn)A1, A2, B1, B2。點(diǎn)(A1 / A2)，和(B1 / B2)很接近，但是A1和B1, B2都很遠(yuǎn)，A2亦然。

經(jīng)過(guò)線(xiàn)性變換，點(diǎn)之間的關(guān)系會(huì)變化，比如A1和A2遠(yuǎn)離了，但同時(shí)B1和B2也遠(yuǎn)離了。但是(A1 / A2)和(B1 / B2)的關(guān)系不變。

而非線(xiàn)性變換則不同，我們可以增加A1和A2的距離，同時(shí)減小B1和B2的距離，如此就建立了復(fù)雜度更高的新關(guān)系。在深度學(xué)習(xí)中，每一次層的非線(xiàn)性激勵(lì)函數(shù)都創(chuàng)造了更復(fù)雜的特征。

而純線(xiàn)性變換，哪怕有1000層，也可以用一個(gè)單層來(lái)表示(因?yàn)橐贿B串的矩陣相乘可以用一個(gè)矩陣乘法來(lái)表示)。這就是為什么非線(xiàn)性激勵(lì)函數(shù)在深度學(xué)習(xí)中如此重要。

層(Layer)

層是深度學(xué)習(xí)更高級(jí)的基本構(gòu)成單位。一層，就是接受加權(quán)輸入、經(jīng)過(guò)非線(xiàn)性激勵(lì)函數(shù)變換、作為輸出傳遞給下一層的容器。一層通常只含一種激勵(lì)函數(shù)，池化、卷積等等，所以可以簡(jiǎn)單地與網(wǎng)絡(luò)其他部分作對(duì)比。第一層和最后一層分別稱(chēng)為“輸入層”和“輸出層”，中間的都稱(chēng)作“隱藏層”。

卷積深度學(xué)習(xí)

卷積(Convolution)

卷積是一種數(shù)學(xué)操作，表述了混合兩個(gè)函數(shù)或兩塊信息的規(guī)則：(1)特征映射或輸入數(shù)據(jù)嗎，與(2)卷積核混合，形成(3)變換特征映射。卷積也經(jīng)常被當(dāng)做是一種濾波器，卷積核(kernel)過(guò)濾特征映射以找到某種信息，比如一個(gè)卷積核可能是只找邊緣，而拋掉其他信息。

圖3：用邊緣檢測(cè)卷積核，對(duì)圖像進(jìn)行卷積操作。

卷積在物理和數(shù)學(xué)中都很重要，因?yàn)樗⒘藭r(shí)域和空間(位置(0,30)的，像素值147)以及頻域(幅度0.3，頻率30Hz，相位60度)的橋梁。這一橋梁的建立是通過(guò)傅里葉變換：當(dāng)你對(duì)卷積核與特征映射都做傅里葉變換時(shí)，卷積操作就被極大簡(jiǎn)化了(積分變成了相乘)。

圖4：用圖像窗在整個(gè)圖像上滑動(dòng)計(jì)算卷積。

原始圖像(綠色)的圖像窗(黃色)

與卷積核(紅字)相乘再相加，

得到特征映射中的一個(gè)向量

(Convolved Feature里的粉紅單元)。

卷積，可以描述信息的擴(kuò)散。比如當(dāng)你把牛奶倒進(jìn)咖啡卻不攪拌，這是擴(kuò)散就發(fā)生了，而且可以通過(guò)卷積精確描述(像素向著圖像邊緣擴(kuò)散)。在量子力學(xué)當(dāng)中，這描述了當(dāng)你測(cè)量一個(gè)量子的位置時(shí)，其在特定位置出現(xiàn)的概率(像素在邊緣處于最高位置的概率)。在概率論中，者描述了互相關(guān)，也就是兩個(gè)序列的相似度(如果一個(gè)特征(如鼻子)里的像素，與一個(gè)圖像(比如臉)重疊，那么相似度就高)。在統(tǒng)計(jì)學(xué)中，卷積描述了正太輸入血獵的加權(quán)動(dòng)平均(邊緣權(quán)重高，其他地方權(quán)重低)。另有其它很多不同角度的解釋。

Kaiser：這里的“邊緣”不同于之前的edge，原詞為contour，指決策邊界。比如對(duì)于人臉識(shí)別，人臉的輪廓就是contour，識(shí)別的重點(diǎn)。

不過(guò)對(duì)于深度學(xué)習(xí)，我們也不知道卷積的哪一種解釋才是正確的，互相關(guān)(cross-correlation)解釋是目前最有效的：卷積濾波器是特征檢測(cè)器，輸入(特征映射)被某個(gè)特征(kernel)所過(guò)濾，如果該特征被檢測(cè)到了，那么輸出就高。這也是圖像處理中互相關(guān)的解釋。

圖5： 圖像的互相關(guān)。

卷積核上下倒過(guò)來(lái)，就是互相關(guān)了。

核Kernel可以解釋為特征檢測(cè)器，

如果檢測(cè)到了，就會(huì)產(chǎn)生高輸出(白色)，

反之則為低輸出(黑色)。

池化/下采樣(Pooling/Sub-Sampling)

池化過(guò)程從特定區(qū)域讀取輸入，并壓縮為一個(gè)值(下采樣)。在卷積神經(jīng)網(wǎng)絡(luò)中，信息的集中是種很有用的性質(zhì)，這樣輸出連接通常接收的都是相似信息(信息像經(jīng)過(guò)漏斗一樣，流向?qū)?yīng)下一個(gè)卷積層的正確位置)。這提供了基本的旋轉(zhuǎn)/平移不變性。比如，如果臉不在圖片的中心位置，而是略有偏移，這應(yīng)該不影響識(shí)別，因?yàn)槌鼗僮鲗⑿畔?dǎo)入到了正確位置，故卷積濾波器仍能檢測(cè)到臉。

池化區(qū)域越大，信息壓縮就越多，從而產(chǎn)生更“苗條”的網(wǎng)絡(luò)，也更容易配合顯存。但是如果池化面積太大，丟失信息太多，也會(huì)降低預(yù)測(cè)能力。

Kaiser：以下部分將之前羅列的概念串了起來(lái)，是全文的精華所在。

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)

卷積神經(jīng)網(wǎng)絡(luò)，或卷積網(wǎng)絡(luò)，使用卷積層過(guò)濾輸入以獲得有效信息。卷積層有的參數(shù)是自動(dòng)學(xué)習(xí)獲得的，濾波器自動(dòng)調(diào)整以提取最有用的信息(特征學(xué)習(xí))。比如對(duì)于一個(gè)普適的物體識(shí)別任務(wù)，物體的形狀可能是最有用的;而對(duì)于鳥(niǎo)類(lèi)識(shí)別人物，顏色可能是最有用的(因?yàn)轼B(niǎo)的形狀都差不多，而顏色卻五花八門(mén))。

一般我們使用多個(gè)卷積層過(guò)濾圖像，每一層之后獲得的信息，都越來(lái)越抽象(層級(jí)特征)。

卷積網(wǎng)絡(luò)使用池化層，獲得有限的平移/旋轉(zhuǎn)不變性(即使目標(biāo)不在通常位置，也能檢測(cè)出來(lái))。池化也降低了內(nèi)存消耗，從而能夠使用更多卷積層。

最近的卷積網(wǎng)絡(luò)使用inception模塊，即1x1的卷積核進(jìn)一步降低內(nèi)存消耗，加速計(jì)算和訓(xùn)練過(guò)程。

圖6：一個(gè)交通標(biāo)志圖像被4個(gè)5x5卷積核濾波，

生成了4個(gè)特征映射，這些特征映射經(jīng)過(guò)“最大池化”。

下一層對(duì)之前下采樣過(guò)的圖像應(yīng)用10個(gè)5x5卷積核，

并在此池化。

最后一層是全連接層，

所有的特征都組合起來(lái)傳遞給分類(lèi)器(本質(zhì)上就是邏輯回歸)。

Inception

卷積網(wǎng)絡(luò)中，inception模塊的設(shè)計(jì)初衷是為了以更高的計(jì)算效率，執(zhí)行更深、更大的卷積層。Inception使用1x1的卷積核，生成很小的特征映射。比如192個(gè)28x28的特征映射，可以經(jīng)過(guò)64個(gè)1x1的卷積，被壓縮成64個(gè)28x28的特征映射。因?yàn)槌叽缈s小了，這些1x1的卷積后面還可以跟跟大的卷積，比如3x3，5x5。除了1x1卷積，最大池化也用來(lái)降維。

Inception模塊的輸出，所有的大卷積都拼接成一個(gè)大的特征映射，再傳遞給下一層(或inception模塊)。