關(guān)于神經(jīng)網(wǎng)絡(luò)的文章寫的也不少了，但一直沒(méi)弄明白神經(jīng)網(wǎng)絡(luò)到底是怎么運(yùn)作的；而現(xiàn)有的神經(jīng)網(wǎng)絡(luò)模型又太復(fù)雜，如Transformer，CNN，RNN，以及各種應(yīng)用場(chǎng)景(NLP，CV，分類任務(wù)，回歸任務(wù)等等)；導(dǎo)致我們無(wú)法看到神經(jīng)網(wǎng)絡(luò)最本質(zhì)的東西。

所以，今天我們就來(lái)從最簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)開始學(xué)起。

簡(jiǎn)單神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)的基本原理很簡(jiǎn)單，那就是模仿由人類大腦神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡(luò)；神經(jīng)元結(jié)構(gòu)如下圖所示：

上圖是生物學(xué)中神經(jīng)元的基本結(jié)構(gòu)，神經(jīng)元由樹突和軸突以及細(xì)胞核組成；而不同神經(jīng)元之間通過(guò)軸突進(jìn)行連接；當(dāng)然這些都是中學(xué)生物學(xué)的基礎(chǔ)，就不多說(shuō)了。

我們主要是把現(xiàn)在的神經(jīng)網(wǎng)絡(luò)模型與生物學(xué)的神經(jīng)網(wǎng)絡(luò)模型做對(duì)比；如下圖所示，其中每個(gè)圓圈就代表一個(gè)神經(jīng)元；對(duì)應(yīng)著生物學(xué)模型中的紫色部分，而每個(gè)神經(jīng)元的計(jì)算過(guò)程就相當(dāng)于生物學(xué)神經(jīng)元中的細(xì)胞核部分；而突觸就是下圖中的箭頭部分。

神經(jīng)網(wǎng)絡(luò)模型一般情況下分為多層，其中比較特殊的一點(diǎn)就是輸入層和輸出層；輸入層與輸出層根據(jù)不同的場(chǎng)景神經(jīng)元數(shù)量各不相同，但基本上節(jié)點(diǎn)數(shù)都是固定的，且輸入層和輸出層由于需要和外界交互，因此比較特殊；而中間的隱藏層由多層神經(jīng)網(wǎng)絡(luò)組成，且每一層的輸出都是下一層的輸入。

而神經(jīng)元的結(jié)構(gòu)是一個(gè)包含輸入，輸出與計(jì)算功能的模型；輸入可以類比生物神經(jīng)元中的樹突，而輸出則為神經(jīng)元的軸突；計(jì)算部分就是細(xì)胞核——進(jìn)行信號(hào)處理和轉(zhuǎn)換。

如下圖所示，紅色框中的就是一個(gè)簡(jiǎn)單的神經(jīng)元計(jì)算模型。

而在實(shí)際應(yīng)用中，不同的神經(jīng)元實(shí)現(xiàn)不盡相同，但大都基于以下的神經(jīng)元數(shù)學(xué)模型：

其實(shí)很多人都有一個(gè)錯(cuò)誤的認(rèn)知，那就是在神經(jīng)網(wǎng)絡(luò)中最重要的是神經(jīng)元；其實(shí)在神經(jīng)網(wǎng)絡(luò)中最重要的是權(quán)重(W)，神經(jīng)網(wǎng)絡(luò)訓(xùn)練的目的就是調(diào)整不同神經(jīng)元的不同權(quán)重值，當(dāng)然這里并不是說(shuō)神經(jīng)元不重要。

而當(dāng)有多個(gè)神經(jīng)元組成一個(gè)網(wǎng)絡(luò)層，然后再由多個(gè)網(wǎng)絡(luò)層組成一個(gè)復(fù)雜的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

如上圖所示，每個(gè)圓圈都是一個(gè)神經(jīng)元，一個(gè)神經(jīng)元可能存在多個(gè)輸入，也就是上層神經(jīng)元的軸突部分；然后神經(jīng)元接受到輸入之后，經(jīng)過(guò)細(xì)胞核(函數(shù)計(jì)算)之后產(chǎn)生一個(gè)結(jié)果，并輸出給下層的神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元；如上圖中的Z1的輸入來(lái)自于a1，a2和a3。而a1，a2和a3的輸出又可以同時(shí)輸出給Z1和Z2兩個(gè)神經(jīng)元。

而具體每個(gè)神經(jīng)元有幾個(gè)輸入，以及輸出結(jié)果給到幾個(gè)神經(jīng)元就有不同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)所決定。

雖然說(shuō)目前有單個(gè)神經(jīng)元或者由單層神經(jīng)網(wǎng)絡(luò)組成的神經(jīng)網(wǎng)絡(luò)模型并沒(méi)有太大實(shí)際應(yīng)用價(jià)值；但其為學(xué)習(xí)復(fù)雜神經(jīng)網(wǎng)絡(luò)提供了基礎(chǔ)的理論和數(shù)學(xué)模型。

而這也是神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)，面對(duì)復(fù)雜的各種神經(jīng)網(wǎng)絡(luò)模型和結(jié)構(gòu)，大部分人都被氣復(fù)雜的表象所蒙蔽，因此我們最好從最簡(jiǎn)單的學(xué)起。雖然它目前并沒(méi)有什么用，但能夠讓你了解神經(jīng)網(wǎng)絡(luò)的基本運(yùn)作原理；當(dāng)你再面對(duì)復(fù)雜神經(jīng)網(wǎng)絡(luò)時(shí)，你就知道了其底層的運(yùn)作原理。