[[275255]]

深度學(xué)習(xí)是人工智能模型的先驅(qū)。從圖像識(shí)別、語音識(shí)別，到文字理解，甚至自動(dòng)駕駛，深度學(xué)習(xí)的來臨極大地豐富了我們對(duì)AI潛力的想象。

那么，深度學(xué)習(xí)為何如此成功呢？

主流思想認(rèn)為，一個(gè)重要的原因是，深度學(xué)習(xí)成功的原因是不依靠人類直覺來構(gòu)建或表示數(shù)據(jù)的特征（視覺，文本，音頻......），而是建立一個(gè)神經(jīng)網(wǎng)絡(luò)架構(gòu)來自發(fā)學(xué)習(xí)這些特征。

關(guān)鍵詞是特征。從特征工程，到特征搜索，到特征學(xué)習(xí)——每一階段的進(jìn)步都能帶來巨大的性能提升。

既然“特征”上大有文章可做，那么“網(wǎng)絡(luò)結(jié)構(gòu)”是否也可以借鑒同樣的經(jīng)驗(yàn)?zāi)兀?/p>

沒錯(cuò)，也可以！

這個(gè)新穎的觀點(diǎn)已經(jīng)得到了Allen Institute for AI最新研究的支持。他們的最新研究表明，計(jì)算機(jī)學(xué)習(xí)來的神經(jīng)網(wǎng)絡(luò)架構(gòu)可以比人類設(shè)計(jì)的更好。

在訓(xùn)練期間，他們的網(wǎng)絡(luò)的可以靈活改變網(wǎng)絡(luò)架構(gòu)——它既學(xué)習(xí)網(wǎng)絡(luò)參數(shù)，也學(xué)習(xí)結(jié)構(gòu)本身。所學(xué)習(xí)的架構(gòu)具有高度稀疏的特性，因此就運(yùn)算運(yùn)算而言，它將是一個(gè)小得多卻可以實(shí)現(xiàn)高精度的模型。

在高效稀疏計(jì)算硬件大力發(fā)展的環(huán)境下，這可能是深度學(xué)習(xí)模型下一演變階段的重要觸發(fā)因素。

在了解他們的最新成果前，讓我們先回顧一下，從二十年前到開始進(jìn)入深度學(xué)習(xí)時(shí)代AI模型在計(jì)算機(jī)視覺技術(shù)領(lǐng)域的關(guān)鍵發(fā)展階段。同樣的趨勢(shì)在其他深度學(xué)習(xí)領(lǐng)域也有類似體現(xiàn)。

計(jì)算機(jī)視覺三個(gè)發(fā)展階段

特征工程階段

嘗試人工找到圖像中承載圖像語義的高維向量。成功的例子有：SIFT，HOG，ShapeContext，RBF和Intersection Kernel。這些特征和函數(shù)是基于對(duì)人類視覺識(shí)別過程的模擬。這是當(dāng)時(shí)計(jì)算機(jī)視覺技術(shù)背后的基礎(chǔ)科學(xué)。經(jīng)過了幾年的直覺驅(qū)動(dòng)研究，計(jì)算機(jī)視覺技術(shù)科學(xué)家并未能開發(fā)新的功能，這使得該領(lǐng)域進(jìn)入了第二階段。

特征搜索階段

又叫自動(dòng)搜索過程，通過組合不同的可能特征或核函數(shù)來提高特定應(yīng)用程序的準(zhǔn)確性（例如，對(duì)象分類）。一些成功方法的包括：Feature selection methods 以及 Multiple Kernel Models。這些過程雖然計(jì)算量大，但卻能提高計(jì)算機(jī)視覺模型的準(zhǔn)確性。另一個(gè)主要局限是搜索空間的構(gòu)建塊（特征函數(shù)）是基于人類對(duì)視覺識(shí)別的直覺手動(dòng)設(shè)計(jì)的。但有一些研究表明，人類可能無法準(zhǔn)確說出自己是如何區(qū)分對(duì)象類別的。

例如，你能說明自己如何區(qū)分狗與貓的照片嗎？你選擇的任何特征（例如耳朵上的清晰度，或眼睛中的形狀和顏色），都是貓和狗共有的，但是看照片卻能立即說出它是狗或貓。這使得一些科學(xué)家放棄用傳統(tǒng)的自下而上的模式設(shè)計(jì)特征驅(qū)動(dòng)的計(jì)算機(jī)視覺模型，轉(zhuǎn)向讓計(jì)算機(jī)自己設(shè)計(jì)特征識(shí)別的階段。

特征學(xué)習(xí)階段

這是自動(dòng)從高維向量空間確定視覺特征的階段，該過程通過釋義圖像的內(nèi)容來使計(jì)算機(jī)執(zhí)行特定任務(wù)，例如對(duì)象分類。深度卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)（CNN）的發(fā)展使這種能力成為可能。由于在設(shè)計(jì)特征的過程中沒有人為干預(yù)，這種算法也被稱為端到端模型。實(shí)際上，由于該過程是高度計(jì)算密集型并且需要大量數(shù)據(jù)來訓(xùn)練底層神經(jīng)網(wǎng)絡(luò)，人類幾乎無法解釋其構(gòu)造的特征。隨著并行處理器硬件（例如GPU和TPU）的進(jìn)步以及大規(guī)模數(shù)據(jù)集的可用性使其成為可能并取得成功。

太贊了！深度學(xué)習(xí)好像能獨(dú)立工作了。既然如此，那么計(jì)算機(jī)視覺科學(xué)家在其中需要扮演什么角色呢？！

展望未來

想象一下，如果我們用“架構(gòu)”來取代“特征”這個(gè)詞，結(jié)合上述三個(gè)階段，大概可以說明深度學(xué)習(xí)今后的發(fā)展趨勢(shì)。

架構(gòu)工程

這與“特征學(xué)習(xí)”階段幾乎完全一樣。需要手動(dòng)為特定任務(wù)設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)。其主要原理是簡(jiǎn)單但更深（即更多層）的架構(gòu)可以獲得更高的準(zhǔn)確性。在這個(gè)階段，設(shè)計(jì)架構(gòu)和訓(xùn)練（網(wǎng)絡(luò)優(yōu)化）技術(shù)是計(jì)算機(jī)視覺（以及許多其他DCNN應(yīng)用程序）的主要目標(biāo)。這些網(wǎng)絡(luò)設(shè)計(jì)基于人類自身視覺識(shí)別系統(tǒng)的認(rèn)知。一些成功的架構(gòu)設(shè)計(jì)包括：AlexNet，VGGNet，GoogleNet和ResNet。這些模型的主要的局限在于計(jì)算的復(fù)雜性。他們通常需要運(yùn)行數(shù)十億次算術(shù)運(yùn)算（浮點(diǎn)運(yùn)算）來處理單個(gè)圖像。在實(shí)踐中，為了使模型能夠以足夠快的速度運(yùn)行，通常需要使用GPU并消耗大量功率。因此，現(xiàn)代AI模型主要通過強(qiáng)大的云服務(wù)器來實(shí)現(xiàn)。

這促使科學(xué)家設(shè)計(jì)可以運(yùn)行在邊緣設(shè)備上的更高效的AI模型。一些成功的模型包括：Xnor-net，Mobilenet和Shufflenet。類似于“特征工程”階段，幾年后，江郎才盡的研究人員轉(zhuǎn)向了“搜索”階段。

深度學(xué)習(xí)出現(xiàn)后，計(jì)算機(jī)視覺背后的基礎(chǔ)科學(xué)變?yōu)榫W(wǎng)絡(luò)架構(gòu)設(shè)計(jì)（圖片來自Joseph Cohen）

架構(gòu)搜索

這是當(dāng)前最先進(jìn)的AI模型。主要原理是使用之前成功架構(gòu)的構(gòu)建塊并嘗試自動(dòng)搜索這些塊的組合，以構(gòu)建新的神經(jīng)網(wǎng)絡(luò)架構(gòu)。其關(guān)鍵目標(biāo)是建立一個(gè)需要少量運(yùn)算卻高精度的架構(gòu)。一些成功的神經(jīng)架構(gòu)搜索方法包括：NASNet，MNASNe和FBNet。由于其可能的組合的搜索空間非常大，訓(xùn)練這些模型比標(biāo)準(zhǔn)深度學(xué)習(xí)模型需要更多的計(jì)算量和數(shù)據(jù)。類似于“特征搜索”階段，這些模型也受到基于人類直覺的手動(dòng)設(shè)計(jì)其構(gòu)建塊的約束。根據(jù)以前的經(jīng)驗(yàn)，人類對(duì)如何設(shè)計(jì)神經(jīng)架構(gòu)的直覺沒有計(jì)算機(jī)好。最新研究表明，隨機(jī)連接的神經(jīng)網(wǎng)絡(luò)完勝幾種人工設(shè)計(jì)的架構(gòu)。

綜上所述，顯然深度學(xué)習(xí)的下一階段是讓計(jì)算機(jī)自己設(shè)計(jì)架構(gòu)。

搜索CNN不同構(gòu)建塊的組合以構(gòu)建更好的CNN模型

架構(gòu)學(xué)習(xí)階段

最近我們?cè)赬nor.ai和Allen Institute for AI建立了一個(gè)名為Discovering Neural Wirings的新模型，用于直接從數(shù)據(jù)中自動(dòng)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)架構(gòu)。在該模型中，我們將神經(jīng)網(wǎng)絡(luò)設(shè)置為無約束圖并且放寬層的概念，使節(jié)點(diǎn)（例如圖像的通道）能夠彼此形成獨(dú)立的連接。這會(huì)使得可能的網(wǎng)絡(luò)空間會(huì)更大。在訓(xùn)練期間，該網(wǎng)絡(luò)的搭建不固定——它既學(xué)習(xí)網(wǎng)絡(luò)參數(shù)，也學(xué)習(xí)結(jié)構(gòu)本身。網(wǎng)絡(luò)結(jié)構(gòu)可以包含圖中的循環(huán)，即形成了存儲(chǔ)器結(jié)構(gòu)的概念。所學(xué)習(xí)的架構(gòu)具有高度稀疏的特性，因此就算術(shù)運(yùn)算而言它將是一個(gè)小得多卻可以實(shí)現(xiàn)高精度的模型。

代碼：

https://github.com/allenai/dnw

當(dāng)然，類似于“特征學(xué)習(xí)”階段，這個(gè)深度學(xué)習(xí)階段需要在訓(xùn)練中進(jìn)行大量的計(jì)算以處理大圖并且需要大量的數(shù)據(jù)。我們堅(jiān)信，隨著專門用于稀疏圖形計(jì)算的硬件的發(fā)展，自動(dòng)發(fā)現(xiàn)最佳網(wǎng)絡(luò)架構(gòu)技術(shù)會(huì)越來越成熟，實(shí)現(xiàn)高度精確、高效計(jì)算的邊緣AI模型指日可待。

神經(jīng)架構(gòu)學(xué)習(xí)的過程：從數(shù)據(jù)中發(fā)現(xiàn)完整神經(jīng)圖中神經(jīng)元之間的最小連接

鏈接：

https://medium.com/xnor-ai/the-next-phase-of-deep-learning-neural-architecture-learning-automatic-discovering-of-neural-d08fc9a6065d