神經(jīng)網(wǎng)絡(luò)力量背后的證據(jù)

從字面上看，通用近似定理是神經(jīng)網(wǎng)絡(luò)起作用的理論基礎(chǔ)。 簡而言之，它聲明了一個神經(jīng)網(wǎng)絡(luò)，其中具有一個包含足夠但有限數(shù)量的神經(jīng)元的隱藏層，可以在激活函數(shù)的某些條件下(即，它們必須像S型一樣)以合理的精度近似任何連續(xù)函數(shù)。

[[335995]]

由George Cybenko于1989年制定，僅適用于S型曲線激活，并于1991年由Kurt Hornik證明適用于所有激活函數(shù)(神經(jīng)網(wǎng)絡(luò)的體系結(jié)構(gòu)而不是功能的選擇是性能背后的驅(qū)動力)，它的發(fā)現(xiàn)是一個重要的驅(qū)動力 促使神經(jīng)網(wǎng)絡(luò)的激動人心的發(fā)展成為當今使用它們的眾多應(yīng)用程序。

然而，最重要的是，該定理令人驚訝地解釋了為什么神經(jīng)網(wǎng)絡(luò)似乎表現(xiàn)得如此聰明。 理解它是發(fā)展對神經(jīng)網(wǎng)絡(luò)的深刻理解的關(guān)鍵一步。

更深入的探索

緊湊(有界，封閉)集合上的任何連續(xù)函數(shù)都可以通過分段函數(shù)來近似。 以-3和3之間的正弦波為例，可以很令人信服地用三個函數(shù)(兩個二次函數(shù)和一個線性函數(shù))近似。

 > Graphed in Desmos.

Cybenko對于此分段函數(shù)更為具體，因為它可以是恒定的，基本上由適合該函數(shù)的幾個步驟組成。 有了足夠的恒定區(qū)域("步長")，就可以在給定的范圍內(nèi)合理估計函數(shù)。

> Graphed in Desmos.

基于這種近似，可以通過將每個神經(jīng)元委托給一個"步驟"來構(gòu)建網(wǎng)絡(luò)。 使用權(quán)重和偏差作為"門"來確定哪個輸入下降，從而確定哪個神經(jīng)元應(yīng)該被激活，具有足夠數(shù)量神經(jīng)元的神經(jīng)網(wǎng)絡(luò)可以簡單地將一個函數(shù)分為幾個恒定區(qū)域來估計一個函數(shù)。

對于落入神經(jīng)元委托區(qū)域的輸入，通過將權(quán)重分配到巨大的值，最終值將接近1(使用S型函數(shù)進行評估時)。 如果未落入該部分，則將權(quán)重移向負無窮大將產(chǎn)生接近0的最終結(jié)果。使用S形函數(shù)作為各種"處理器"來確定神經(jīng)元的存在程度，幾乎可以近似任何函數(shù) 完美地給出了豐富的神經(jīng)元。 在多維空間中，Cybenko推廣了這種想法，每個神經(jīng)元"控制"多維函數(shù)中的空間超立方體。

通用逼近定理的關(guān)鍵在于，與其在輸入和輸出之間創(chuàng)建復(fù)雜的數(shù)學(xué)關(guān)系，不如使用簡單的線性操作將復(fù)雜的功能劃分為許多小的，較不復(fù)雜的部分，每個部分都由一個神經(jīng)元獲取。

> Image created by Author.

自Cybenko的初步證明以來，已經(jīng)做出了許多其他改進，例如針對不同的激活函數(shù)(例如ReLU)(無邊(在一側(cè))或具有各種體系結(jié)構(gòu)(遞歸，卷積等)測試通用逼近定理)。

無論如何，所有這些探索都圍繞著一個想法-神經(jīng)網(wǎng)絡(luò)在數(shù)字上找到了優(yōu)勢。 每個神經(jīng)元監(jiān)視特征空間的一個模式或區(qū)域，其大小取決于網(wǎng)絡(luò)中神經(jīng)元的數(shù)量。 神經(jīng)元越少，每個人需要監(jiān)視的空間就越大，因此逼近能力會下降。 但是，有了更多的神經(jīng)元，無論激活功能如何，任何功能都可以與許多小片段結(jié)合在一起。

泛化與外推

有人可能會指出，盡管如此簡單，但通用近似定理有點太簡單了(至少是概念)。 強大的神經(jīng)網(wǎng)絡(luò)實際上可以是一個復(fù)雜的近似器，它可以分離數(shù)字，產(chǎn)生音樂，并且通常表現(xiàn)得很聰明。

神經(jīng)網(wǎng)絡(luò)的目的是在給定數(shù)據(jù)點采樣的情況下概括或建模復(fù)雜的數(shù)學(xué)函數(shù)。 它們是很好的近似值，但是一旦您請求輸入的值超出訓(xùn)練有素的直接范圍，它就會慘遭失敗。 這類似于有限的泰勒級數(shù)逼近法，該方法令人信服地對一定范圍內(nèi)的正弦波進行建模，但在其外部產(chǎn)生了混亂。

> Graphed in Desmos.

外推或在給定訓(xùn)練范圍之外做出合理預(yù)測的能力并不是神經(jīng)網(wǎng)絡(luò)的設(shè)計目標。 從通用逼近定理中，我們了解到神經(jīng)網(wǎng)絡(luò)根本不是真正的智能，而只是隱藏在多維偽裝下的良好估計量，這使其功能(在兩三個維度上看起來很普通)似乎令人印象深刻。

神經(jīng)網(wǎng)絡(luò)是否在受過訓(xùn)練的范圍之外發(fā)生故障并不重要，因為那不是其目標。

定理的實際含義

由機器學(xué)習(xí)工程師的直覺和經(jīng)驗來構(gòu)造適合給定問題的神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)，以便在知道存在這樣的網(wǎng)絡(luò)的情況下，可以很好地近似多維空間，還可以平衡計算賬單的真實性。 是。 該定理讓機器學(xué)習(xí)工程師知道總會有一個解決方案。