神經(jīng)網(wǎng)絡(luò)理論與技術(shù)學(xué)習(xí)以及工具 原創(chuàng)
“ 為什么數(shù)據(jù)在神經(jīng)網(wǎng)絡(luò)模型中經(jīng)過數(shù)學(xué)變換，就能被學(xué)習(xí)？”
關(guān)于神經(jīng)網(wǎng)絡(luò)技術(shù)有兩個大的方向，一個是搞應(yīng)用，另一個是搞技術(shù)；當(dāng)然這里所說的應(yīng)用并不是指完全脫離技術(shù)，而是指以大模型技術(shù)為底座構(gòu)建上層應(yīng)用或產(chǎn)品。
而今天所講的主要是關(guān)于神經(jīng)網(wǎng)絡(luò)技術(shù)的學(xué)習(xí)，包括怎么實現(xiàn)一個神經(jīng)網(wǎng)絡(luò)，應(yīng)該使用哪些工具等等。
神經(jīng)網(wǎng)絡(luò)技術(shù)學(xué)習(xí)及工具
先科普一下，現(xiàn)在爆火的大模型技術(shù)就是基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型；所謂的大模型技術(shù)本質(zhì)上就是神經(jīng)網(wǎng)絡(luò)技術(shù)。
從應(yīng)用層面來看，我們給大模型一個輸入，然后大模型就會給我們一個輸出；不論是文字，圖片還是視頻都是如此，而這個也叫做AIGC。
但問題就在于大模型是怎么做到的呢？也就是怎么才能實現(xiàn)一個這樣的神經(jīng)網(wǎng)絡(luò)模型？
從原理上來看，神經(jīng)網(wǎng)絡(luò)模型就是模仿人類大腦的物理結(jié)構(gòu)，也就是大腦神經(jīng)網(wǎng)絡(luò)；然后使用數(shù)學(xué)建模的方式，根據(jù)人腦神經(jīng)網(wǎng)絡(luò)構(gòu)建的數(shù)學(xué)模型。
因此，第一個學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的重要工具就出現(xiàn)了——數(shù)學(xué)計算，具體落地就是pyTorch和Tensorflow等科學(xué)計算框架；pyTorch和Tensorflow框架中封裝了大量的數(shù)學(xué)計算公式，如微積分，概率，線性代數(shù)，向量計算等；當(dāng)然，除這兩者之外還有其它計算框架，這里就不多介紹了。
而從應(yīng)用上來說，數(shù)學(xué)只是一種工具，解決具體的問題還需要有具體的理論基礎(chǔ)；比如說，pytorch框架中有微分方程，向量計算；但第一步是先進(jìn)行向量計算還是進(jìn)行微分計算，這個就是有神經(jīng)網(wǎng)絡(luò)理論所決定的。
因此，這里就涉及到了學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型的第二個工具，神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)；典型的如Transformer，RNN，CNN，LSTM等模型結(jié)構(gòu)。由于目前神經(jīng)網(wǎng)絡(luò)這個數(shù)學(xué)模型還無法做到像真正的人腦一樣，因此根據(jù)不同的任務(wù)目標(biāo)設(shè)計出了不同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型。
在學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)中，雖然官方和網(wǎng)絡(luò)上給了大量的學(xué)習(xí)案例，但神經(jīng)網(wǎng)絡(luò)模型為什么能夠經(jīng)過多種網(wǎng)絡(luò)層的變換，就可以“學(xué)習(xí)”和“生成”新的內(nèi)容，這個就需要大量的基礎(chǔ)理論，如數(shù)學(xué)，腦科學(xué)，計算機(jī)科學(xué)等。
否則，即使你按照別人的架構(gòu)實現(xiàn)了一個神經(jīng)網(wǎng)絡(luò)模型，并且能夠很好的完成任務(wù)目標(biāo)；也不一定能真正理解神經(jīng)網(wǎng)絡(luò)的運(yùn)作原理。
再然后就是關(guān)于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，如損失計算，反向傳播，優(yōu)化函數(shù)，數(shù)據(jù)準(zhǔn)備等。
比如說，什么類型的神經(jīng)網(wǎng)絡(luò)使用什么樣的損失函數(shù)，以及反向傳播方式；而優(yōu)化函數(shù)又應(yīng)該怎么實現(xiàn)，這個需要根據(jù)具體的網(wǎng)絡(luò)模型設(shè)計來決定。
而數(shù)據(jù)準(zhǔn)備也是一個復(fù)雜的處理過程；比如多種數(shù)據(jù)格式，多種數(shù)據(jù)來源，怎么把多種數(shù)據(jù)格式處理成統(tǒng)一的格式，以及文本，圖像，視頻等向量化。
具體來說，文本數(shù)據(jù)需要創(chuàng)建詞庫，需要確定輸入數(shù)據(jù)等前后關(guān)系；圖像數(shù)據(jù)的特征提取，以及不同格式數(shù)據(jù)在高維空間和低維空間中的表示以及轉(zhuǎn)換問題。
總之，神經(jīng)網(wǎng)絡(luò)技術(shù)的學(xué)習(xí)是一個實踐性很強(qiáng)的領(lǐng)域；單純的實踐和單純的理論都很難學(xué)好神經(jīng)網(wǎng)絡(luò)這門技術(shù)。
有實踐沒理論，那么就像無頭蒼蠅一樣，知其然不知其所以然；有理論實踐，就會形成典型的眼高手低，感覺自己什么都懂，但一深入就直接傻眼。
所以，學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)先用別人的案例，自己實現(xiàn)一個神經(jīng)網(wǎng)絡(luò)模型；然后能不能用，以及好不好用并不重要，先搞明白神經(jīng)網(wǎng)絡(luò)的運(yùn)行機(jī)制再說。
本文轉(zhuǎn)載自公眾號AI探索時代 作者：DFires
