大概從20世紀(jì)50年代的早期研究開(kāi)始，機(jī)器學(xué)習(xí)的所有工作就都是隨著神經(jīng)網(wǎng)絡(luò)的創(chuàng)建積累而來(lái)的。隨后出現(xiàn)了一個(gè)又一個(gè)新算法，從邏輯回歸到支持向量機(jī)。但是十分確切地說(shuō)，神經(jīng)網(wǎng)絡(luò)是算法的算法及機(jī)器學(xué)習(xí)的巔峰?？梢哉f(shuō)，神經(jīng)網(wǎng)絡(luò)是對(duì)機(jī)器學(xué)習(xí)的普遍概括，而不是僅僅一次嘗試。

[[337856]]

這樣說(shuō)來(lái)，與其說(shuō)神經(jīng)網(wǎng)絡(luò)是簡(jiǎn)單的算法，不如說(shuō)是框架和概念，這是顯而易見(jiàn)的，因?yàn)樵跇?gòu)建神經(jīng)網(wǎng)絡(luò)時(shí)有很大的自由度——比如對(duì)于隱藏層&節(jié)點(diǎn)個(gè)數(shù)、激活函數(shù)、優(yōu)化器、損失函數(shù)、網(wǎng)絡(luò)類型(卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)等)以及特殊層(批歸一化、隨機(jī)失活等)。

如果把神經(jīng)網(wǎng)絡(luò)看作是概念而非嚴(yán)格的算法，一個(gè)有趣的推論就應(yīng)運(yùn)而生了：任何機(jī)器學(xué)習(xí)算法，無(wú)論是決策樹(shù)還是k近鄰，都可以用神經(jīng)網(wǎng)絡(luò)表示。直覺(jué)上，我們可以通過(guò)幾個(gè)例子理解，更嚴(yán)謹(jǐn)?shù)刂v，這種說(shuō)法也可以通過(guò)數(shù)學(xué)方法證明。

我們先來(lái)定義一下什么是神經(jīng)網(wǎng)絡(luò)：它是一個(gè)體系結(jié)構(gòu)，包括輸入層、隱藏層和輸出層，各層的節(jié)點(diǎn)之間互相連接。信息通過(guò)線性變換(權(quán)重和偏置)和非線性變換(激活函數(shù))從輸入層轉(zhuǎn)換到輸出層，有一些方法可以更新模型的可訓(xùn)練參數(shù)。

邏輯回歸簡(jiǎn)單定義為一個(gè)標(biāo)準(zhǔn)回歸，每個(gè)輸入的乘法系數(shù)和附加截距都要通過(guò)一個(gè)sigmoid函數(shù)，這可以通過(guò)不包括隱藏層的神經(jīng)網(wǎng)絡(luò)來(lái)建模，結(jié)果是通過(guò)sigmoid輸出神經(jīng)元的多元回歸;線性回歸也可以通過(guò)將輸出神經(jīng)元激活函數(shù)替換為線性激活函數(shù)來(lái)建模(線性激活函數(shù)只是映射輸出f(x)= x，換句話說(shuō)，它什么也不做)。

支持向量機(jī)(SVM)算法試圖通過(guò)所謂的“核技巧”將數(shù)據(jù)投影到一個(gè)新的空間，從而優(yōu)化數(shù)據(jù)的線性可分性。數(shù)據(jù)轉(zhuǎn)換完成后，該算法繪制出沿組界最佳分離數(shù)據(jù)的超平面。超平面簡(jiǎn)單定義為現(xiàn)有維度的線性結(jié)合，很像是二維的直線和三維的平面。

這樣說(shuō)來(lái)，可以將SVM算法看成是將數(shù)據(jù)投影到一個(gè)新的空間，隨后進(jìn)行多元回歸。神經(jīng)網(wǎng)絡(luò)的輸出可以通過(guò)某種有界輸出函數(shù)來(lái)實(shí)現(xiàn)概率結(jié)果。

可能需要進(jìn)行一些限制，比如限制節(jié)點(diǎn)間的連接，并固定某些參數(shù)，當(dāng)然，這些變化不會(huì)影響“神經(jīng)網(wǎng)絡(luò)”標(biāo)簽的完整性，也許還需要添加更多層來(lái)確保支持向量機(jī)的表現(xiàn)與實(shí)際情況一樣。

基于樹(shù)的算法會(huì)更加復(fù)雜一些，如決策樹(shù)算法。至于如何構(gòu)建此類神經(jīng)網(wǎng)絡(luò)，在于它如何劃分自己的特征空間。當(dāng)一個(gè)訓(xùn)練點(diǎn)穿過(guò)一系列分割節(jié)點(diǎn)時(shí)，特征空間被分割成幾個(gè)超立方體;在二維空間示例中，垂直線和水平線構(gòu)成了正方形。

圖源：DataCamp社區(qū)

因此，沿著這些線分割特征空間的類似方式可以用更嚴(yán)格的激活函數(shù)來(lái)模擬，如階躍函數(shù)，其中輸入值本質(zhì)上是分割線?？赡苄枰拗茩?quán)重和偏置的值，因此它們僅用于通過(guò)拉伸、收縮和定位來(lái)確定分界線的方向。為了得到概率結(jié)果，其結(jié)果可以通過(guò)激活函數(shù)傳遞。

盡管在技術(shù)上神經(jīng)網(wǎng)絡(luò)對(duì)算法的表示和實(shí)際算法有很多差異，但是重點(diǎn)在于神經(jīng)網(wǎng)絡(luò)表達(dá)了相同的思想，并且可以運(yùn)用相同的策略處理問(wèn)題，其表現(xiàn)與實(shí)際算法也是一樣的。

然而一些人或許并不滿足于粗略地將算法轉(zhuǎn)換為神經(jīng)網(wǎng)絡(luò)的形式，或者希望看到對(duì)于更復(fù)雜算法的通用應(yīng)用，如k近鄰和樸素貝葉斯，而不是具體情況具體分析。

通用逼近定理(UniversalApproximation Theorem)可以解決這個(gè)問(wèn)題，它是神經(jīng)網(wǎng)絡(luò)巨大成功背后的數(shù)學(xué)解釋，從本質(zhì)上表明一個(gè)足夠大的神經(jīng)網(wǎng)絡(luò)可以以任意精度模擬任何函數(shù)。假設(shè)有一個(gè)代表數(shù)據(jù)的函數(shù)f(x)，對(duì)于每個(gè)數(shù)據(jù)點(diǎn)(x, y)，f(x)總是返回一個(gè)等于或非常接近y的值。

建模的目的是找到這個(gè)有代表性的或標(biāo)注正確的函數(shù)f(x)，并用p(x)來(lái)表示預(yù)測(cè)。所有機(jī)器學(xué)習(xí)算法都以不同的方法處理這個(gè)任務(wù)，將不同的假設(shè)視為有效，并且給出最佳結(jié)果p(x)。如果寫(xiě)出創(chuàng)建p(x)的算法，你可能會(huì)得到從條件列表到純數(shù)學(xué)運(yùn)算之間的任何結(jié)果。描述函數(shù)如何將目標(biāo)映射到輸入的函數(shù)實(shí)際上可以采用任何形式。

這些函數(shù)有時(shí)有用，有時(shí)沒(méi)用——它們有固定數(shù)量的參數(shù)，是否使用它們是一個(gè)需要思考的問(wèn)題。然而，不同的神經(jīng)網(wǎng)絡(luò)在尋找f(x)的方法上有點(diǎn)不同。任何函數(shù)都可以用許多類似階梯的部分進(jìn)行合理的逼近，階梯越多，逼近就越準(zhǔn)確。

每層階梯都用一個(gè)神經(jīng)網(wǎng)絡(luò)來(lái)表示，它們是隱藏層中具有sigmoid激活函數(shù)的節(jié)點(diǎn)，sigmoid激活函數(shù)本質(zhì)上是概率階躍函數(shù)。本質(zhì)上，每個(gè)節(jié)點(diǎn)都被“分配”給f(x)的一部分。

然后通過(guò)權(quán)重和偏置系統(tǒng)，網(wǎng)絡(luò)可以決定節(jié)點(diǎn)的存在，使sigmoid函數(shù)的輸入值達(dá)到正無(wú)窮(輸出值為1)，如果對(duì)于特定的輸入值需要激活神經(jīng)元，則輸出值為負(fù)無(wú)窮。這種使用節(jié)點(diǎn)尋找數(shù)據(jù)函數(shù)特定部分的模式不僅可以在數(shù)字?jǐn)?shù)據(jù)中觀察到，在圖像中也可以。

雖然通用逼近定理已經(jīng)擴(kuò)大范圍到適用于其他激活函數(shù)，如ReLU和神經(jīng)網(wǎng)絡(luò)類型，但是其原理依然是正確的：神經(jīng)網(wǎng)絡(luò)是完美的。

神經(jīng)網(wǎng)絡(luò)不再依賴復(fù)雜的數(shù)學(xué)方程和關(guān)系系統(tǒng)，而是將自身的一部分委派給數(shù)據(jù)函數(shù)的一部分，并機(jī)械記憶其指定區(qū)域內(nèi)的歸納。當(dāng)這些節(jié)點(diǎn)聚合成一個(gè)巨大的神經(jīng)網(wǎng)絡(luò)時(shí)，結(jié)果看似是智能模型，實(shí)際上是設(shè)計(jì)巧妙的逼近器。

如果神經(jīng)網(wǎng)絡(luò)可以構(gòu)建——至少在理論上——一個(gè)精度符合你預(yù)期的函數(shù)(節(jié)點(diǎn)越多，逼近就越精確，當(dāng)然不考慮過(guò)擬合的技術(shù)性)，一個(gè)結(jié)構(gòu)正確的神經(jīng)網(wǎng)絡(luò)可以模擬其他任何算法的預(yù)測(cè)函數(shù)p(x)。對(duì)于其他任何機(jī)器學(xué)習(xí)算法來(lái)說(shuō)，這是不可能的。

神經(jīng)網(wǎng)絡(luò)運(yùn)用的方法不是優(yōu)化現(xiàn)有模型中的一些參數(shù)，如多項(xiàng)式曲線和節(jié)點(diǎn)系統(tǒng)，而是對(duì)數(shù)據(jù)建模的一種特定視角，它不尋求充分利用任何獨(dú)立系統(tǒng)，而是直接逼近數(shù)據(jù)函數(shù);我們?nèi)绱耸煜さ纳窠?jīng)網(wǎng)絡(luò)架構(gòu)僅僅是將思想進(jìn)行建模展現(xiàn)。

有了神經(jīng)網(wǎng)絡(luò)的力量和對(duì)于深度學(xué)習(xí)這一無(wú)底洞領(lǐng)域的持續(xù)研究，數(shù)據(jù)——無(wú)論是視頻、聲音、流行病學(xué)數(shù)據(jù)，還是任何介于兩者之間的數(shù)據(jù)——將能夠以前所未有的程度建模，神經(jīng)網(wǎng)絡(luò)確實(shí)是算法的算法。

本文轉(zhuǎn)載自微信公眾號(hào)「讀芯術(shù)」，可以通過(guò)以下二維碼關(guān)注。轉(zhuǎn)載本文請(qǐng)聯(lián)系讀芯術(shù)公眾號(hào)。