本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

美國持續(xù)封鎖，華為的技術(shù)自研，已經(jīng)深入到了AI底層算法層面上，并開始將研究成果面向業(yè)界開源。

剛剛，華為諾亞實(shí)驗(yàn)室開源Disout算法（地址在文末），直接對標(biāo)谷歌申請專利的Dropout算法。

而且，在多項任務(wù)上，華為的新算法都超過了Dropout。比如，在ImageNet上訓(xùn)練的ResNet-50可以達(dá)到78.76%的準(zhǔn)確率，而谷歌Dropout系列方法僅為76.8%。

這一算法背后的論文，已被AAAI 2020收錄，并對外公開。華為到底提出的Disout到底如何，也得以呈現(xiàn)。

華為自研Disout：多項AI任務(wù)超越Dropout

在申請專利時，谷歌將Dropout定義為“解決神經(jīng)網(wǎng)絡(luò)過擬合的系統(tǒng)和方法”。

其核心的思路是，訓(xùn)練神經(jīng)網(wǎng)絡(luò)前向傳播過程中，Dropout能讓某個神經(jīng)元的激活值以一定的概率p停止工作，也就是“Drop”（丟棄），提升模型穩(wěn)定性，來緩解過擬合現(xiàn)象。

而Disout是提出的新型替代方案，是一種通過研究特征圖擾動來增強(qiáng)深度神經(jīng)網(wǎng)絡(luò)的泛化能力的方法。

簡單來說，就是根據(jù)網(wǎng)絡(luò)中間層的Rademacher 復(fù)雜度（ERC），確定給定深度神經(jīng)網(wǎng)絡(luò)的泛化誤差上界。

并將擾動引入特征圖，來降低網(wǎng)絡(luò)的Rademacher復(fù)雜度，從而提高其泛化能力。

它們之間的區(qū)別可以用下面這張圖來展示——也就是對輸出特征進(jìn)行擾動，而不是丟棄。

相比之下，華為的方法效果更好。

Disout不但在傳統(tǒng)視覺任務(wù)上表現(xiàn)優(yōu)異，超越谷歌Dropout性能，在NLP任務(wù)以及語音處理任務(wù)上，同樣具備有效性。

接下來，就讓我們一起看下Disout在各個數(shù)據(jù)集上與Dropout系列方法的對比。

首先，CIFAR-10的和CIFAR-100數(shù)據(jù)上的測試準(zhǔn)確率對比。

全連接層實(shí)驗(yàn)中，華為所提出的特征圖擾動方法，訓(xùn)練CNN達(dá)到85.24％的準(zhǔn)確度，相比于最新的RDdrop方法，測試準(zhǔn)確率分別在CIFAR-10和CIFAR-100數(shù)據(jù)集上提高了2.13％和1.58％。

華為研究人員表示，他們提出的Disout方法可以有效地降低經(jīng)驗(yàn)Rademacher的復(fù)雜度，同時保留模型的表示能力，從而具有較好的測試性能。

在卷積層實(shí)驗(yàn)上，華為的方法可以適用于卷積層，提高深度神經(jīng)網(wǎng)絡(luò)的性能，而且優(yōu)于DropBlock方法，性能分別提高了0.32％和0.63％。

ImageNet 數(shù)據(jù)集實(shí)驗(yàn)中結(jié)果也顯示，華為提出的特征擾動方法不僅可以替換常規(guī)的dropout方法提高深度神經(jīng)網(wǎng)絡(luò)的性能，而且可以提升最近提出的Dropblock方法的性能。

與傳統(tǒng)的dropout方法相比，Disout將準(zhǔn)確性從76.80％提高到77.71％，Block Disout方法達(dá)到了78.76％的top-1準(zhǔn)確率，超過其他現(xiàn)有技術(shù)。

華為研究人員說，他們的方法可以在提高泛化能力并保留原始特征的有用信息。

此外，他們還在文本數(shù)據(jù)集IMDB和語音數(shù)據(jù)集UrbanSound8k上進(jìn)行了實(shí)驗(yàn)，結(jié)果如下（上為文本、下為語音）：

核心突破：對輸出特征進(jìn)行擾動，而不是丟棄

那么，具體又是如何做到的呢？我們一起來了解一下泛化理論。

泛化理研究的是期望風(fēng)險與經(jīng)驗(yàn)風(fēng)險之間的關(guān)系。

以圖像分類任務(wù)為例，總體期望風(fēng)險R(fL)和訓(xùn)練集上的經(jīng)驗(yàn)風(fēng)險

是：

Rademacher經(jīng)驗(yàn)復(fù)雜度（ERC）被廣泛用于量化期望風(fēng)險和經(jīng)驗(yàn)風(fēng)險之間的差距，它的定義如定義1所示。

定義1：給定由分布Q成的個實(shí)例D= {(x,y)}的給定訓(xùn)練數(shù)據(jù)集，網(wǎng)絡(luò)的經(jīng)驗(yàn)Rademacher復(fù)雜度定義為：

其中Rademacher變量是{-1，+ 1}中的獨(dú)立統(tǒng)一隨機(jī)變量。

使用經(jīng)驗(yàn)Rademacher復(fù)雜度和MaDiarmid不等式，可以通過定理1得出預(yù)期風(fēng)險的上限。

定理1：給定 >0，對任意>0，至少以概率1−，對于所有的∈，滿足

根據(jù)定理1，研究人員發(fā)現(xiàn)，期望風(fēng)險和經(jīng)驗(yàn)風(fēng)險之間的差距，可以借助特定神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)集上的經(jīng)驗(yàn)Rademacher復(fù)雜度加以限制。

直接計算ERC比較難，因此通常在訓(xùn)練階段使用ERC的上限或近似值，來獲得具有更好泛化的模型。

了解完泛化理論，就來看下特征圖擾動。

研究人員通過減少網(wǎng)絡(luò)的ERC來學(xué)習(xí)特征圖的擾動值，而不是固定擾動值。

通常，對具有輸入數(shù)據(jù)xi的第l層的輸出特征fL(xi)所采用的干擾操作可以表示為：

其中，εli是特征圖上的擾動 。

上面的等式中擾動的形式是在ERC指導(dǎo)下自行學(xué)習(xí)得到的。由于ERC是通過網(wǎng)絡(luò)最后一層的輸出計算出來的，直接使用它來指導(dǎo)擾動將非常困難。

因此，研究人員使用以下定理，通過網(wǎng)絡(luò)中間層的輸出來間接表達(dá)網(wǎng)絡(luò)的ERC：

定理 2 用Kl[k;:]表示權(quán)重矩陣Kl的第k行 ||・||p是向量的 p-norm。假設(shè)|| Kl[k;:] ||p ≤ Bl，網(wǎng)絡(luò)輸出的ERC 可以被中間特征的ERC限制：

o 和 f 分別是在激活函數(shù)之前和之后的特征圖。令：

則：

那么，最優(yōu)的擾動，就可以通過求解下式得到：

直觀地, 過于劇烈的擾動將破壞原始的特征并降低網(wǎng)絡(luò)的表示能力；而過小的擾動不能很好地起到正則化效果。

算法如下所示：

實(shí)習(xí)生一作，華為諾亞實(shí)驗(yàn)室出品

這篇論文，一共有7名研究人員，分別來自北京大學(xué)、華為諾亞和悉尼大學(xué)，核心團(tuán)隊來自華為諾亞實(shí)驗(yàn)室。

一作是北京大學(xué)的唐業(yè)輝，這一研究是他在華為諾亞實(shí)驗(yàn)室實(shí)習(xí)期間完成。

二作是王云鶴，華為諾亞方舟實(shí)驗(yàn)室技術(shù)專家，也是唐業(yè)輝實(shí)習(xí)時的導(dǎo)師。

畢業(yè)于北京大學(xué)，在相關(guān)領(lǐng)域發(fā)表學(xué)術(shù)論文40余篇，包含NeurIPS、ICML、CVPR、ICCV、TPAMI、AAAI、IJCAI等。

主要從事邊緣計算領(lǐng)域的算法開發(fā)和工程落地，研究領(lǐng)域包含深度神經(jīng)網(wǎng)絡(luò)的模型裁剪、量化、蒸餾和自動搜索等。

其他作者有來自華為諾亞實(shí)驗(yàn)室的許奕星、許春景、北京大學(xué)的許超等人。

如果你對這項研究感興趣，請收好傳送門：

開源鏈接：https://github.com/huawei-noah/Disout