不同神經(jīng)網(wǎng)絡(luò)之間的區(qū)別，僅僅只是網(wǎng)絡(luò)結(jié)構(gòu)的不同，明白了這個你才能知道應(yīng)該怎么學(xué)習(xí)神經(jīng)網(wǎng)絡(luò) 原創(chuàng)
“ 神經(jīng)網(wǎng)絡(luò)模型的主要難點(diǎn)就在于模型本身，而至于模型的效果還與其訓(xùn)練數(shù)據(jù)和過程有關(guān)。”
在學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)技術(shù)的過程中，會有多種不同的神經(jīng)網(wǎng)絡(luò)架構(gòu)；如常見的RNN，CNN等；因此，我們很多人都會被這些亂七八糟的神經(jīng)網(wǎng)絡(luò)架構(gòu)給迷惑住，即想學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)又不知道應(yīng)該怎么入手；面對各種各樣的網(wǎng)絡(luò)模型，也不知道應(yīng)該去學(xué)習(xí)哪種。
但是，我們從問題的最本質(zhì)出發(fā)，不同的神經(jīng)網(wǎng)絡(luò)唯一的區(qū)別就是網(wǎng)絡(luò)結(jié)構(gòu)的不同；之所以有多種神經(jīng)網(wǎng)絡(luò)模型的原因就在于不同的網(wǎng)絡(luò)架構(gòu)能夠完成不同的任務(wù)。
比如，RNN適合文本處理，機(jī)器翻譯；CNN適合圖像處理等。
神經(jīng)網(wǎng)絡(luò)架構(gòu)
在上一篇文章中——???怎么實(shí)現(xiàn)一個神經(jīng)網(wǎng)絡(luò)？神經(jīng)網(wǎng)絡(luò)的組成結(jié)構(gòu)???中，實(shí)現(xiàn)一個神經(jīng)網(wǎng)絡(luò)基本上需要經(jīng)過統(tǒng)一的幾個步驟；數(shù)據(jù)集，模型設(shè)計，模型訓(xùn)練等。
數(shù)據(jù)集根據(jù)不同的任務(wù)類型，需要整理和設(shè)計不同的數(shù)據(jù)；而模型設(shè)計就涉及到不同的模型架構(gòu)，如圖片處理就可以使用CNN架構(gòu)；文字處理就可以使用RNN或Transformer架構(gòu)等；或者用戶根據(jù)自己的需求自定義神經(jīng)網(wǎng)絡(luò)架構(gòu)。
所以，從這個角度來看，一個可以使用的神經(jīng)網(wǎng)絡(luò)模型，從流程上來看幾乎都是相同的；區(qū)別只是神經(jīng)網(wǎng)絡(luò)架構(gòu)的異同，但具體的架構(gòu)是由具體的任務(wù)類型所決定的；而不是由神經(jīng)網(wǎng)絡(luò)模型本身所決定的。
甚至在很多情況下，會把多種神經(jīng)網(wǎng)絡(luò)架構(gòu)結(jié)合起來使用。
因此，對我們這些學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)技術(shù)的人來說；我們首先需要的并不是去學(xué)習(xí)哪些復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型，而是應(yīng)該從最簡單的模型結(jié)構(gòu)開始；比如說神經(jīng)網(wǎng)絡(luò)技術(shù)中的Hello World——MINST手寫數(shù)字識別。
為什么很多神經(jīng)網(wǎng)絡(luò)的課程中都會把MINST手寫數(shù)字識別作為第一個神經(jīng)網(wǎng)絡(luò)教程？以及MINST神經(jīng)網(wǎng)絡(luò)模型能成為一個經(jīng)典模型？
原因就在于MINST神經(jīng)網(wǎng)絡(luò)模型——麻雀雖小，但五臟俱全。
在文章的開始，就介紹說不同神經(jīng)網(wǎng)絡(luò)模型的主要區(qū)別就在于模型結(jié)構(gòu)的不同；而MINST神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)特別簡單；加上輸入輸出層也僅僅只是一個三層模型。
MINST手寫數(shù)字識別模型，由一個輸入層，以及兩個全鏈接層組成(第二個全鏈接層也就是輸出層)；因此其模型結(jié)構(gòu)特別簡單，模型結(jié)構(gòu)代碼如下，由P yTorch實(shí)現(xiàn)：
# 定義神經(jīng)網(wǎng)絡(luò)
class MINSTNetwork(nn.Module):
def __init__(self):
super(Network, self).__init__()
# 線性層1 輸入層和隱藏層之間的線性層
self.layer1 = nn.Linear(784, 256)
self.layer2 = nn.Linear(256, 10)
# 前向傳播 forward 函數(shù)中 輸入圖像為x
def forward(self, x):
x = x.view(-1, 28 * 28) # 使用view函數(shù) 將x展平作為輸入層
x = self.layer1(x) # 將x輸入至layer1
x = torch.relu(x) # 使用relu激活
return self.layer2(x) # 輸入至layer2計算結(jié)果以上代碼即為MINST神經(jīng)網(wǎng)絡(luò)模型的模型結(jié)構(gòu)；layer1和layer2即為兩個全鏈接層；784是手寫數(shù)字識別的圖片——1*28*28，也就是784個神經(jīng)元作為輸入層；而中間的256就屬于用戶自定義神經(jīng)元的個數(shù)。
MINST手寫數(shù)字識別神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)圖如下所示，只不過代碼中的中間層神經(jīng)網(wǎng)絡(luò)個數(shù)為256。
我想很多對神經(jīng)網(wǎng)絡(luò)感興趣或者在學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的技術(shù)人員，都看過和實(shí)現(xiàn)過以上圖片和代碼；但網(wǎng)絡(luò)上很多教程都只是介紹，這樣就可以實(shí)現(xiàn)一個手寫數(shù)字識別的神經(jīng)網(wǎng)絡(luò)模型；但從來卻沒有講過這到底是為什么。
而由此這里也帶來了一個問題，即為什么一個神經(jīng)網(wǎng)絡(luò)經(jīng)過兩個全鏈接層，以及在兩個全鏈接層經(jīng)過一次激活函數(shù)之后，就可以實(shí)現(xiàn)手寫數(shù)字的分類？
下圖是詢問DeepSeek得到的回答：
訓(xùn)練過程
輸入數(shù)據(jù)：28x28 的圖像展平為 784 維向量。
第一次全連接層：將 784 維向量映射到 128 維隱藏層。
激活函數(shù)：使用 ReLU 引入非線性。
第二次全連接層：將 128 維隱藏層映射到 10 維輸出層。
輸出：通過 Softmax 函數(shù)得到 10 個類別的概率分布。
從DP的回答來看，它也沒完全說明白為什么兩次全鏈接就可以完成手寫數(shù)字識別；雖然它說了兩個全鏈接層就可以學(xué)習(xí)到輸入數(shù)據(jù)的非線性特征；但具體原因是什么？
而這也是目前學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型最疑惑的地方？
為什么經(jīng)過神經(jīng)網(wǎng)絡(luò)的變換之后，神經(jīng)網(wǎng)絡(luò)就可以學(xué)習(xí)到數(shù)據(jù)的特征；并以此生成新的內(nèi)容；當(dāng)然也可能是作者的數(shù)學(xué)功底不好，沒有真正去深入研究過神經(jīng)網(wǎng)絡(luò)模型的底層數(shù)學(xué)原理。
目前來看，在學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型的過程中，從零開始大模型開發(fā)與微調(diào)算是一本比較專業(yè)，也比較好的書；作者在剛開始學(xué)習(xí)的過程中，發(fā)現(xiàn)看不太懂這本書，但現(xiàn)在有了一定的基礎(chǔ)之后，再看這本書發(fā)現(xiàn)寫的是真有水平。從簡到難，從理論到實(shí)踐都包含在內(nèi)。而現(xiàn)在這本書也是作者經(jīng)?？吹囊槐緯?，雖然有些東西還是看不懂，但過段時間再看發(fā)現(xiàn)就能看懂了。
本文轉(zhuǎn)載自公眾號AI探索時代 作者：DFires
