當神經(jīng)網(wǎng)絡的研究方向逐漸轉為超大規(guī)模預訓練模型，研究人員的目標似乎變成了讓網(wǎng)絡擁有更大的參數(shù)量，更多的訓練數(shù)據(jù)，更多樣化的訓練任務。

當然，這個措施確實很有效，隨著神經(jīng)網(wǎng)絡越來越大，模型了解和掌握的數(shù)據(jù)也更多，在部分特定任務上已經(jīng)超越人類。

但在數(shù)學上，現(xiàn)代神經(jīng)網(wǎng)絡的規(guī)模實際上有些過于臃腫了，參數(shù)量通常遠遠超過了預測任務的需求，這種情況也被稱為過度參數(shù)化（overparameterization）。

NeurIPS上的一篇論文中最近就這一現(xiàn)象提出了一種全新的解釋。他們認為這種比預期規(guī)模更大的神經(jīng)網(wǎng)絡是完全有必要的，只有這樣才能避免某些基本問題，這篇論文中的發(fā)現(xiàn)也為這一問題提供一種更通用的見解。

論文地址：https://arxiv.org/abs/2105.12806

文章的第一作者Sébastien Bubeck在MSR Redmond管理機器學習基礎研究組，主要在機器學習和理論計算機科學中跨越各種主題進行交叉研究。

神經(jīng)網(wǎng)絡就該這么大

神經(jīng)網(wǎng)絡的一項常見任務是識別圖像中的目標對象。

為了創(chuàng)建一個能夠完成該任務的網(wǎng)絡，研究人員首先為其提供許多圖像和對應目標標簽，對其進行訓練以學習它們之間的相關性。之后，網(wǎng)絡將正確識別它已經(jīng)看到的圖像中的目標。

換句話說，訓練過程使得神經(jīng)網(wǎng)絡記住了這些數(shù)據(jù)。

并且，一旦網(wǎng)絡記住了足夠多的訓練數(shù)據(jù)，它還能夠以不同程度的準確度預測它從未見過的物體的標簽，這個過程稱為泛化。

網(wǎng)絡的大小決定了它能記憶多少東西。

可以用圖形化的空間來理解。假設有兩個數(shù)據(jù)點，把它們放在一個XY平面上，可以用一條由兩個參數(shù)描述的線來連接這些點：線的斜率和它與縱軸相交時的高度。如果其他人也知道這條直線的參數(shù)，以及其中一個原始數(shù)據(jù)點的X坐標，他們可以通過觀察這條直線（或使用參數(shù)）來計算出相應的Y坐標。

也就是說，這條線已經(jīng)記住了這兩個數(shù)據(jù)點，神經(jīng)網(wǎng)絡做的就是差不多類似的事情。

例如，圖像是由成百上千的數(shù)值描述的，每個像素都有一個對應的值?？梢园堰@個由許多自由值組成的集合在數(shù)學上相當于高維空間中一個點的坐標，坐標的數(shù)量也稱為維度。

傳統(tǒng)的數(shù)學結論認為，要用一條曲線擬合n個數(shù)據(jù)點，你需要一個有n個參數(shù)的函數(shù)。例如，在直線的例子中，兩個點是由一條有兩個參數(shù)的曲線描述的。

當神經(jīng)網(wǎng)絡在20世紀80年代首次作為一種新模型出現(xiàn)時，研究人員也這么認為，應該只需要n個參數(shù)來適應n個數(shù)據(jù)點，而跟數(shù)據(jù)的維度無關。

德克薩斯大學奧斯汀分校的Alex Dimakis表示，現(xiàn)在實際情況已經(jīng)不是這樣了，神經(jīng)網(wǎng)絡的參數(shù)數(shù)量遠遠超過了訓練樣本的數(shù)量，這說明了教科書上的內容必須得重寫進行修正。

研究人員正在研究神經(jīng)網(wǎng)絡的魯棒性（robustness），即網(wǎng)絡處理小變化的能力。例如，一個不魯棒的網(wǎng)絡可能已經(jīng)學會了識別長頸鹿，但它會把一個幾乎沒有修改的版本誤標為沙鼠。

2019年，Bubeck和同事們正在尋求證明關于這個問題的定理，當時他們就意識到這個問題與網(wǎng)絡的規(guī)模有關。

在他們的新證明中，研究人員表明，過度參數(shù)化對于網(wǎng)絡的魯棒性是必要的。他們提出平滑性（smoothness），來指出需要多少個參數(shù)才能用一條具有等同于魯棒性的數(shù)學特性的曲線來擬合數(shù)據(jù)點。

要想理解這一點，可以再次想象平面上的一條曲線，其中x坐標代表一個像素的顏色，y坐標代表一個圖像標簽。

由于曲線是平滑的，如果你稍微修改一下像素的顏色，沿著曲線移動一小段距離，相應的預測值只會有少量的變化。另一方面，對于一條鋸齒狀的曲線，X坐標（顏色）的微小變化會導致Y坐標（圖像標簽）的巨大變化，長頸鹿可以變成沙鼠。

Bubeck和Sellke在論文中證明，平滑擬合高維數(shù)據(jù)點不僅需要n個參數(shù)，而且需要n×d個參數(shù)，其中d是輸入的維度（例如，784個像素的圖像輸入維度為784）。

換句話說，如果你想讓一個網(wǎng)絡穩(wěn)健地記住它的訓練數(shù)據(jù)，過度參數(shù)化不僅是有幫助的，而且是必須的。該證明依賴于一個關于高維幾何的事實，即隨機分布在球體表面的點幾乎都是彼此相距一個直徑的距離，點與點之間的巨大間隔意味著用一條光滑的曲線來擬合它們需要許多額外的參數(shù)。

耶魯大學的Amin Karbasi稱贊論文中的證明是非常簡潔的，沒有大量的數(shù)學公式，而且它說的是非常通用的內容。

這一證明結果也為理解為什么擴大神經(jīng)網(wǎng)絡的簡單策略如此有效提供了一個新的途徑。

其他研究揭示了過量參數(shù)化有幫助的其他原因。例如，它可以提高訓練過程的效率，也可以提高網(wǎng)絡的泛化能力。

雖然我們現(xiàn)在知道過量參數(shù)化對魯棒性是必要的，但還不清楚魯棒性對其他事情有多大必要。但通過將其與過度參數(shù)化聯(lián)系起來，新的證明暗示魯棒性可能比人們想象的更重要，這也可能為其他解釋大模型的益處研究做鋪墊。

魯棒性確實是泛化的一個先決條件，如果你建立了一個系統(tǒng)，只是輕微地擾動它，然后它就失控了，那是什么樣的系統(tǒng)？顯然是不合理的。

所以，Bubeck認為這是一個非?；A和基本的要求。