本文總結(jié)了深度學(xué)習(xí)中常用的八大類型的卷積，以非常形象的方式幫助你建立直覺理解，為你的深度學(xué)習(xí)提供有益的參考。

分別是單通道卷積、多通道卷積、3D卷積、1 x 1卷積、轉(zhuǎn)置卷積、擴(kuò)張卷積、可分離卷積、分組卷積。

單通道卷積

單通道卷積

在深度學(xué)習(xí)中，卷積是元素先乘法后加法。對(duì)于具有1個(gè)通道的圖像，卷積如下圖所示。這里的濾波器是一個(gè)3 x 3矩陣，元素為[[0,1,2]，[2,2,0]，[0,1,2]]。過濾器在輸入端滑動(dòng)。在每個(gè)位置，它都在進(jìn)行元素乘法和加法。每個(gè)滑動(dòng)位置最終都有一個(gè)數(shù)字。最終輸出是3 x 3矩陣。

多通道卷積

在許多應(yīng)用程序中，我們處理的是具有多個(gè)通道的圖像。典型的例子是RGB圖像。每個(gè)RGB通道都強(qiáng)調(diào)原始圖像的不同方面，如下圖所示：

圖像拍攝于云南省元陽(yáng)市

卷積神經(jīng)網(wǎng)絡(luò)中每層用多個(gè)濾波器核就是多通道。卷積網(wǎng)絡(luò)層通常由多個(gè)通道(數(shù)百個(gè)卷積核)組成。每個(gè)通道提取前一層不同方面的抽象特征。我們?nèi)绾卧诓煌疃鹊膶又g進(jìn)行過渡?我們?nèi)绾螌⑸疃葹閚的圖層轉(zhuǎn)換為深度為m的后續(xù)圖層?

"層"(過濾器)和"通道"(卷積核)

多通道卷積如下。將每個(gè)內(nèi)核應(yīng)用到前一層的輸入通道上以生成一個(gè)輸出通道。這是一個(gè)內(nèi)核方面的過程。我們?yōu)樗袃?nèi)核重復(fù)這樣的過程以生成多個(gè)通道。然后將這些通道中的每一個(gè)加在一起以形成單個(gè)輸出通道。

下圖使多通道卷積過程更清晰。

輸入層是一個(gè)5 x 5 x 3矩陣，有3個(gè)通道。濾波器是3 x 3 x 3矩陣。首先，過濾器中的每個(gè)內(nèi)核分別應(yīng)用于輸入層中的三個(gè)通道,并相加;然后，執(zhí)行三次卷積，產(chǎn)生3個(gè)尺寸為3×3的通道。

多通道2D卷積的***步：濾波器中的每個(gè)內(nèi)核分別應(yīng)用于輸入層中的三個(gè)通道。

多通道的2D卷積的第二步：然后將這三個(gè)通道相加在一起(逐元素加法)以形成一個(gè)單通道。

3D卷積

3D濾鏡可以在所有3個(gè)方向(圖像的高度，寬度，通道)上移動(dòng)。在每個(gè)位置，逐元素乘法和加法提供一個(gè)數(shù)字。由于濾鏡滑過3D空間，因此輸出數(shù)字也排列在3D空間中，然后輸出是3D數(shù)據(jù)。

類似于2D卷積中對(duì)象的空間關(guān)系，3D卷積可以描述3D空間中的對(duì)象的空間關(guān)系。這種3D關(guān)系有很重要的應(yīng)用，例如在生物醫(yī)學(xué)想象的3D分割/重建中，CT和MRI，其中諸如血管的對(duì)象在3D空間中蜿蜒。

1 x 1卷積

1 x 1卷積中將一個(gè)數(shù)字乘以輸入層中的每個(gè)數(shù)字。

如果輸入層有多個(gè)通道，此卷積會(huì)產(chǎn)生有趣的作用。下圖說明了1 x 1卷積如何適用于尺寸為H x W x D的輸入層。在濾波器尺寸為1 x 1 x D的1 x 1卷積之后，輸出通道的尺寸為H x W x 1.如果我們應(yīng)用N這樣的1 x 1卷積然后將結(jié)果連接在一起，我們可以得到一個(gè)尺寸為H x W x N的輸出層。

1 x 1卷積，濾波器大小為1 x 1 x D

最初，在網(wǎng)絡(luò)網(wǎng)絡(luò)文件中提出了1 x 1卷積。然后，他們?cè)贕oogle Inception 被高度使用1 x 1卷積的一些優(yōu)點(diǎn)是：

• 降低維度以實(shí)現(xiàn)高效計(jì)算
• 高效的低維嵌入或特征池
• 卷積后再次應(yīng)用非線性

在上圖中可以觀察到前兩個(gè)優(yōu)點(diǎn)。在1 x 1卷積之后，我們顯著地減小了尺寸。假設(shè)原始輸入有200個(gè)通道，1 x 1卷積會(huì)將這些通道(功能)嵌入到單個(gè)通道中。第三個(gè)優(yōu)點(diǎn)是在1 x 1卷積之后，可以添加諸如ReLU的非線性激活，非線性允許網(wǎng)絡(luò)學(xué)習(xí)更復(fù)雜的功能。

轉(zhuǎn)置卷積(解卷積、反卷積)

對(duì)于許多應(yīng)用程序和許多網(wǎng)絡(luò)架構(gòu)，我們經(jīng)常希望進(jìn)行與正常卷積相反方向的轉(zhuǎn)換，即我們希望執(zhí)行上采樣。一些示例包括生成高分辨率圖像并將低維特征映射映射到高維空間，例如自動(dòng)編碼器或語義分段。

傳統(tǒng)上，可以通過應(yīng)用插值方案或手動(dòng)創(chuàng)建規(guī)則來實(shí)現(xiàn)上采樣。然而，神經(jīng)網(wǎng)絡(luò)之類的現(xiàn)代架構(gòu)可以讓網(wǎng)絡(luò)本身自動(dòng)地學(xué)習(xí)正確的轉(zhuǎn)換，而無需人為干預(yù)。

對(duì)于下圖中的示例，我們使用3 x 3內(nèi)核在2 x 2輸入上應(yīng)用轉(zhuǎn)置卷積，使用單位步幅填充2 x 2邊框，上采樣輸出的大小為4 x 4。

輸入2 x 2上采樣輸出4 x 4

有趣的是，通過應(yīng)用花式填充和步幅，可以將相同的2 x 2輸入圖像映射到不同的圖像大小。下面，轉(zhuǎn)置卷積應(yīng)用于相同的2 x 2輸入，使用單位步幅填充2 x 2邊界的零，現(xiàn)在輸出的大小為5 x 5。

輸入2 x 2上采樣輸出5 x 5

在卷積中，讓我們將C定義為我們的內(nèi)核，將Large定義為輸入圖像，將Small定義為來自卷積的輸出圖像。在卷積(矩陣乘法)之后，我們將大圖像下采樣為小圖像輸出。矩陣乘法中的卷積的實(shí)現(xiàn)遵循C x Large = Small。

以下示例顯示了此類操作的工作原理。它將輸入展平為16 x 1矩陣，并將內(nèi)核轉(zhuǎn)換為稀疏矩陣(4 x 16)。然后在稀疏矩陣和平坦輸入之間應(yīng)用矩陣乘法。之后，將得到的矩陣(4×1)轉(zhuǎn)換回2×2輸出。

卷積的矩陣乘法：從大輸入圖像(4 x 4)到小輸出圖像(2 x 2)

現(xiàn)在，如果我們?cè)诜匠痰膬蛇叾嘀鼐仃嘋T的轉(zhuǎn)置，并使用矩陣與其轉(zhuǎn)置矩陣的乘法給出單位矩陣的屬性，那么我們有以下公式CT x Small = Large，如下所示下圖。

卷積的矩陣乘法：從小輸入圖像(2 x 2)到大輸出圖像(4 x 4)

擴(kuò)張卷積

標(biāo)準(zhǔn)的離散卷積：

標(biāo)準(zhǔn)卷積

擴(kuò)張的卷積如下：

當(dāng)l = 1時(shí)，擴(kuò)張卷積變?yōu)闃?biāo)準(zhǔn)卷積。

擴(kuò)張卷積

直觀地說，擴(kuò)張的卷積通過在內(nèi)核元素之間插入空格來"膨脹"內(nèi)核。這個(gè)附加參數(shù)l(擴(kuò)張率)表示我們想要擴(kuò)展內(nèi)核的程度。實(shí)現(xiàn)可能會(huì)有所不同，但內(nèi)核元素之間通常會(huì)插入l-1個(gè)空格。下圖顯示了l = 1,2和4時(shí)的內(nèi)核大小。

擴(kuò)張卷積的感受野

觀察一個(gè)大的感受野，而不增加額外的成本。

在圖像中，3×3個(gè)紅點(diǎn)表示在卷積之后，輸出圖像具有3×3像素。雖然所有三個(gè)擴(kuò)張的卷積都為輸出提供了相同的尺寸，但模型觀察到的感受野是截然不同的。對(duì)于l = 1，接收域?yàn)? x 3 ，l = 2時(shí)為7 x 7 ，對(duì)于l = 3，接收領(lǐng)域增加到15 x 15 。有趣的是，與這些操作相關(guān)的參數(shù)數(shù)量基本相同。

可分離卷積

空間可分卷積

空間可分離卷積在圖像的2D空間維度上操作，即高度和寬度。從概念上講，空間可分離卷積將卷積分解為兩個(gè)單獨(dú)的操作。對(duì)于下面顯示的示例，內(nèi)核(3x3內(nèi)核)被劃分為3x1和1x3內(nèi)核。

在卷積中，3x3內(nèi)核直接與圖像卷積。在空間可分離的卷積中，3x1內(nèi)核首先與圖像卷積。然后應(yīng)用1x3內(nèi)核。在執(zhí)行相同操作時(shí)，這將需要6個(gè)而不是9個(gè)參數(shù)。

此外，在空間上可分離的卷積中需要比卷積更少的矩陣乘法。對(duì)于一個(gè)具體的例子，在具有3×3內(nèi)核(stride = 1，padding = 0)的5×5圖像上的卷積需要在水平3個(gè)位置和垂直3個(gè)位置掃描內(nèi)核，共9個(gè)位置，如下圖所示。在每個(gè)位置，應(yīng)用9個(gè)元素乘法?？偣? x 9 = 81次乘法。

標(biāo)準(zhǔn)卷積

另一方面，對(duì)于空間可分離卷積，我們首先在5 x 5圖像上應(yīng)用3 x 1濾波器。我們?cè)谒?個(gè)位置和垂直3個(gè)位置掃描這樣的內(nèi)核。共5×3 = 15個(gè)位置，表示為下面的圖像上的點(diǎn)。在每個(gè)位置，應(yīng)用3個(gè)元素乘法。那是15 x 3 = 45次乘法。我們現(xiàn)在獲得了3 x 5矩陣。此矩陣現(xiàn)在與1 x 3內(nèi)核進(jìn)行卷積，內(nèi)核在水平3個(gè)位置和垂直3個(gè)位置掃描矩陣。對(duì)于這9個(gè)位置中的每一個(gè)，應(yīng)用3個(gè)元素乘法。此步驟需要9 x 3 = 27次乘法。因此，總體而言，空間可分離的卷積需要45 + 27 = 72乘法，小于標(biāo)準(zhǔn)卷積。

深度可分卷積

深度可分離的旋轉(zhuǎn)包括兩個(gè)步驟：深度卷積和1x1卷積。

在描述這些步驟之前，值得重新審視我之前部分中討論的2D卷積和1 x 1卷積。讓我們快速回顧一下標(biāo)準(zhǔn)2D卷積。舉一個(gè)具體的例子，假設(shè)輸入層的大小為7 x 7 x 3(高x寬x通道)，濾波器的大小為3 x 3 x 3。使用一個(gè)濾波器進(jìn)行2D卷積后，輸出層為尺寸為5 x 5 x 1(僅有1個(gè)通道)。

標(biāo)準(zhǔn)2D卷積，使用1個(gè)濾波器創(chuàng)建1層輸出

通常，在兩個(gè)神經(jīng)網(wǎng)絡(luò)層之間應(yīng)用多個(gè)濾波器。假設(shè)我們這里有128個(gè)過濾器。在應(yīng)用這128個(gè)2D卷積后，我們有128個(gè)5 x 5 x 1輸出映射。然后我們將這些地圖堆疊成一個(gè)大小為5 x 5 x 128的單層。通過這樣做，我們將輸入層(7 x 7 x 3)轉(zhuǎn)換為輸出層(5 x 5 x 128)?？臻g尺寸，即高度和寬度，縮小，而深度延長(zhǎng)。

標(biāo)準(zhǔn)2D卷積，使用128個(gè)濾波器創(chuàng)建128層輸出

現(xiàn)在有了深度可分離的卷積，讓我們看看我們?nèi)绾螌?shí)現(xiàn)相同的轉(zhuǎn)換。

首先，我們將深度卷積應(yīng)用于輸入層。我們不是在2D卷積中使用尺寸為3 x 3 x 3的單個(gè)濾波器，而是分別使用3個(gè)內(nèi)核。每個(gè)濾波器的大小為3 x 3 x 1.每個(gè)內(nèi)核與輸入層的1個(gè)通道進(jìn)行卷積(僅1個(gè)通道，而不是所有通道!)。每個(gè)這樣的卷積提供尺寸為5×5×1的圖。然后我們將這些圖堆疊在一起以創(chuàng)建5×5×3圖像。在此之后，我們的輸出尺寸為5 x 5 x 3.我們現(xiàn)在縮小空間尺寸，但深度仍然與以前相同。

深度可分卷積 - ***步：我們分別使用3個(gè)內(nèi)核，而不是在2D卷積中使用大小為3 x 3 x 3的單個(gè)濾波器。每個(gè)濾波器的大小為3 x 3 x 1。每個(gè)內(nèi)核與輸入層的1個(gè)通道進(jìn)行卷積(僅1個(gè)通道，而不是所有通道)。每個(gè)這樣的卷積提供尺寸為5×5×1的圖。然后我們將這些圖堆疊在一起以創(chuàng)建5×5×3圖像。在此之后，我們的輸出尺寸為5 x 5 x 3。

作為深度可分離卷積的第二步，為了擴(kuò)展深度，我們應(yīng)用1x1卷積，內(nèi)核大小為1x1x3。將5 x 5 x 3輸入圖像與每個(gè)1 x 1 x 3內(nèi)核進(jìn)行對(duì)比，可提供大小為5 x 5 x 1的映射。

因此，在應(yīng)用128個(gè)1x1卷積后，我們可以得到一個(gè)尺寸為5 x 5 x 128的層。

深度可分卷積 - 第二步：應(yīng)用多個(gè)1 x 1卷積來修改深度。

通過這兩個(gè)步驟，深度可分離卷積還將輸入層(7 x 7 x 3)轉(zhuǎn)換為輸出層(5 x 5 x 128)。

深度可分離卷積的整個(gè)過程如下圖所示。

深度可分卷積的整個(gè)過程

那么，深度可分離卷積的優(yōu)勢(shì)是什么?效率!與2D卷積相比，對(duì)于深度可分離卷積，需要更少的操作。

讓我們回顧一下2D卷積示例的計(jì)算成本。有128個(gè)3x3x3內(nèi)核移動(dòng)5x5次。這是128 x 3 x 3 x 3 x 5 x 5 = 86,400次乘法。

可分離的卷積怎么樣?在***個(gè)深度卷積步驟中，有3個(gè)3x3x1內(nèi)核移動(dòng)5x5次。那是3x3x3x1x5x5 = 675次乘法。在1 x 1卷積的第二步中，有128個(gè)1x1x3內(nèi)核移動(dòng)5x5次。這是128 x 1 x 1 x 3 x 5 x 5 = 9,600次乘法。因此，總體而言，深度可分離卷積需要675 + 9600 = 10,275次乘法。這只是2D卷積成本的12%左右!

分組卷積

2012年，在AlexNet論文中引入了分組卷積。實(shí)現(xiàn)它的主要原因是允許通過兩個(gè)具有有限內(nèi)存(每個(gè)GPU 1.5 GB內(nèi)存)的GPU進(jìn)行網(wǎng)絡(luò)訓(xùn)練。下面的AlexNet在大多數(shù)層上顯示了兩個(gè)獨(dú)立的卷積路徑。它正在跨兩個(gè)GPU進(jìn)行模型并行化(當(dāng)然，如果有更多的GPU，可以進(jìn)行多GPU并行化)。

在這里，我們描述分組卷積如何工作。首先，傳統(tǒng)的2D卷積遵循以下步驟。在此示例中，通過應(yīng)用128個(gè)濾波器(每個(gè)濾波器的大小為3 x 3 x 3)，將大小為(7 x 7 x 3)的輸入層轉(zhuǎn)換為大小為(5 x 5 x 128)的輸出層?；蛘咴谝话闱闆r下，通過應(yīng)用Dout內(nèi)核(每個(gè)大小為h x w x Din)將大小(Hin x Win x Din)的輸入層變換為大小(Hout x Wout x Dout)的輸出層。

標(biāo)準(zhǔn)2D卷積

在分組卷積中，過濾器被分成不同的組。每組負(fù)責(zé)具有一定深度的傳統(tǒng)2D卷積。如下圖。

具有2個(gè)濾波器組的分組卷積

以上是具有2個(gè)濾波器組的分組卷積的說明。在每個(gè)濾波器組中，每個(gè)濾波器的深度僅為標(biāo)稱2D卷積的深度的一半。它們具有深度Din/2。每個(gè)濾波器組包含Dout/2濾波器。***個(gè)濾波器組(紅色)與輸入層的前半部分([：，：0：Din/2])卷積，而第二個(gè)濾波器組(藍(lán)色)與輸入層的后半部分卷積([：，：，Din/2：Din])。因此，每個(gè)過濾器組都會(huì)創(chuàng)建Dout / 2通道?？偟膩碚f，兩組創(chuàng)建2 x Dout/2 = Dout頻道。然后，我們使用Dout通道將這些通道堆疊在輸出層中。