近日，NeurIPS 2019 近日在加拿大溫哥華召開。騰訊 AI Lab 共 14 篇論文入選，位居國內(nèi)企業(yè)前列。這也是騰訊 AI Lab 第四次參加 NeurIPS，會議期間，我們選取了一篇來自騰訊 AI Lab 的優(yōu)秀論文進行解讀。

在這篇由騰訊 AI Lab 主導(dǎo)，和華南理工大學(xué)合作完成的論文中，作者利用強化學(xué)習(xí)的方法學(xué)習(xí)了一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)轉(zhuǎn)換器。它能對任意的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進行優(yōu)化，將其轉(zhuǎn)換為更緊湊、識別精度更高的結(jié)構(gòu)。以下為論文的詳細解讀。

NAT: Neural Architecture Transformer for Accurate and Compact Architectures

論文鏈接：https://papers.nips.cc/paper/8362-nat-neural-architecture-transformer-for-accurate-and-compact-architectures.pdf

現(xiàn)有的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)要么是人工設(shè)計的，要么是通過神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索 (NAS) 方法自動搜索得到的。然而，這些網(wǎng)絡(luò)結(jié)構(gòu)可能包含許多冗余的計算操作，存在可優(yōu)化的空間。為了實現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化，作者提出了一個神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)轉(zhuǎn)換器（Neural Architecture Transformer，簡稱為 NAT）的方法。該方法可以用計算復(fù)雜度更低的計算操作代替網(wǎng)絡(luò)結(jié)構(gòu)中冗余的操作，從而實現(xiàn)性能提高的同時，保證不會引入額外的參數(shù)和計算量。

神經(jīng)網(wǎng)絡(luò)中的計算操作可以分為三類，即 S, N, O。其中，S 表示跳躍連接，N 表示為空連接（即兩個節(jié)點之間沒有連接），O 表示除了跳躍連接和空連接之外的其它操作（如：卷積、池化操作等）。顯然，這三者計算量的大小順序為：O>S>N。為了降低網(wǎng)絡(luò)結(jié)構(gòu)的計算復(fù)雜度，我們希望所學(xué)到的 NAT 用計算量更少的操作來代替原網(wǎng)絡(luò)結(jié)構(gòu)中的冗余操作。因此，NAT 遵循以下的轉(zhuǎn)換規(guī)則：OàS, OàN, SàN。由于跳躍連接往往有助于提升模型的性能而且其引入的計算量非常少，因此 NAT 也允許 NàS?？傊?，NAT 的轉(zhuǎn)換方案如下圖所示。

具體來講，對于任意一個服從分布p(·)的網(wǎng)絡(luò)結(jié)構(gòu)β，NAT 的目標(biāo)為尋求找到，僅僅通過上述所允許的操作變化得到的，最優(yōu)的結(jié)構(gòu)α。這個優(yōu)化問題可以寫成：

其中：

1. R(α│β)=R(α,w_α )-R(β,w_β )，R(α,w_α ) 表示最優(yōu)參數(shù)為 w_α的網(wǎng)絡(luò)結(jié)構(gòu)α在驗證集合上的性能；
2. c(α)≤κ 是所得到的模型的計算開銷的一個約束。

然而，直接獲得最優(yōu)的結(jié)構(gòu)α是很困難的。因此，NAT 首先學(xué)習(xí)一個策略，然后從學(xué)到的策略中采樣α，即α服從。為了學(xué)習(xí)策略π，我們解決以下優(yōu)化問題：

為了解決該優(yōu)化問題，作者采用了強化學(xué)習(xí)方法中的策略梯度方法。為此，需要構(gòu)造一個合適的策略函數(shù)。由于網(wǎng)絡(luò)結(jié)構(gòu)β可以用 (X,A) 表示（其中 A 為鄰接矩陣，X 為節(jié)點特征），來表示，作者在這里的策略π(α|β,θ) 采用了兩層的圖卷積神經(jīng)網(wǎng)絡(luò)（GCN），即：

其中，

此外文章采用了參數(shù)共享的方法來避免從頭訓(xùn)練每個結(jié)構(gòu)的參數(shù)?？傮w看來，優(yōu)化思路就是對下面兩步進行迭代優(yōu)化：

1、更新神經(jīng)網(wǎng)絡(luò)參數(shù) w，（利用了參數(shù)共享的思想）: 

2、更新θ，（利用最大熵鼓勵探索）:

其中第 2 步的流程示意圖如下所示：

為了驗證 NAT 的有效性，作者將 NAT 應(yīng)用于人工設(shè)計的結(jié)構(gòu)（如：VGG、ResNet、MobileNet）和 NAS 得到的結(jié)構(gòu)（如：ENAS、DARTS、NAONet）。結(jié)果分別見表 1 和表 2 所示。

表 1. NAT 在人工設(shè)計的網(wǎng)絡(luò)結(jié)構(gòu)上的優(yōu)化結(jié)果。

表 2. NAT 在 NAS 方法所得的網(wǎng)絡(luò)結(jié)構(gòu)上的優(yōu)化結(jié)果。

從表 1 和表 2，可以觀察到，在 ImageNet 數(shù)據(jù)集上，經(jīng)過 NAT 優(yōu)化后的模型都比原來的基準(zhǔn)模型，在計算復(fù)雜度相近甚至更低的情況下，獲得了更高的識別精度。

下面，對 NAT 優(yōu)化后的模型結(jié)構(gòu)進行可視化。圖 1 和圖 2 分別給出了 NAT 在人工和 NAS 所設(shè)計的網(wǎng)絡(luò)結(jié)構(gòu)上的優(yōu)化結(jié)果。

圖 1. NAT 在人工設(shè)計的網(wǎng)絡(luò)結(jié)構(gòu)上的優(yōu)化結(jié)果。

如圖 1 所示，對于人工設(shè)計的網(wǎng)絡(luò)結(jié)構(gòu)，NAT 引入額外的跳躍連接來提高識別精度。

圖 2. NAT 在 NAS 設(shè)計的網(wǎng)絡(luò)結(jié)構(gòu)上的優(yōu)化結(jié)果。

從圖 2 可以觀察到，對于 NAS 方法得到的網(wǎng)絡(luò)結(jié)構(gòu)，NAT 通過使用跳躍連接替換冗余操作或者直接刪除連接的方法來降低計算量。

此外，作者還對比了不同的策略函數(shù)，發(fā)現(xiàn) GCN 優(yōu)于傳統(tǒng)的 LSTM 模型?？傊@項研究對自動化機器學(xué)習(xí)、網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計，深度學(xué)習(xí)模型性能優(yōu)化等諸多實際機器學(xué)習(xí)問題有重要的指導(dǎo)意義。