開(kāi)源人工智能算法一種新穎的超像素采樣，網(wǎng)絡(luò)深層特征估計(jì)超像素
開(kāi)源人工智能算法一種新穎的超像素采樣，網(wǎng)絡(luò)深層特征估計(jì)超像素摘要： 超像素提供圖像數(shù)據(jù)的有效低/中級(jí)表示，這極大地減少了后續(xù)視覺(jué)任務(wù)的圖像基元的數(shù)量。 現(xiàn)有的超像素算法無(wú)法區(qū)分，因此難以集成到其他端到端可訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)中。 我們?yōu)槌袼夭蓸娱_(kāi)發(fā)了一種新的可微分模型，利用深度網(wǎng)絡(luò)來(lái)學(xué)習(xí)超像素分割。 由此產(chǎn)生的超像素采樣網(wǎng)絡(luò)（SSN）是端到端可訓(xùn)練的，它允許學(xué)習(xí)具有靈活損失功能的特定于任務(wù)的超像素，并具有快速運(yùn)行時(shí)間。 大量的實(shí)驗(yàn)分析表明，SSN不僅在傳統(tǒng)的分割基準(zhǔn)測(cè)試中勝過(guò)現(xiàn)有的超像素算法，而且還可以學(xué)習(xí)其他任務(wù)的超像素。 此外，SSN可以輕松集成到下游深度網(wǎng)絡(luò)中，從而提高性能。
開(kāi)源人工智能算法一種新穎的超像素采樣網(wǎng)絡(luò)深層特征來(lái)估計(jì)任務(wù)特定的超像素簡(jiǎn)介：超像素是通過(guò)基于低級(jí)圖像屬性對(duì)圖像[33]進(jìn)行分組而形成的圖像的過(guò)分割。它們提供了圖像內(nèi)容的感知上有意義的細(xì)分，從而減少了后續(xù)圖像處理的圖像基元的數(shù)量。由于它們具有代表性和計(jì)算效率，超像素已經(jīng)成為一種既定的低/中級(jí)圖像表示，并廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)算法，如物體檢測(cè)[35,42]，語(yǔ)義分割[15,34,13]，顯著性估計(jì)[18,30,43,46]，光流估計(jì)[20,28,37,41]，深度估計(jì)[6]，跟蹤[44]等等。超像素尤其廣泛用于傳統(tǒng)能量最小化框架，其中少量圖像基元極大地降低了優(yōu)化復(fù)雜性。
近年來(lái)，對(duì)于廣泛的計(jì)算機(jī)視覺(jué)問(wèn)題采用深度學(xué)習(xí)的情況急劇增加。除了一些方法（例如，[13,18,34]），超像素幾乎不與現(xiàn)代深度網(wǎng)絡(luò)結(jié)合使用。這有兩個(gè)主要原因。首先，形成大多數(shù)深層結(jié)構(gòu)基礎(chǔ)的標(biāo)準(zhǔn)卷積運(yùn)算通常定義在規(guī)則網(wǎng)格上，并且當(dāng)在不規(guī)則超像素網(wǎng)格上運(yùn)算時(shí)效率低下。其次，現(xiàn)有的超像素算法是端到端可訓(xùn)練網(wǎng)絡(luò)架構(gòu)中的可區(qū)分模塊。在這項(xiàng)工作中，我們通過(guò)提出一種用于超像素分割的新的深度差分算法來(lái)緩解第二個(gè)問(wèn)題。我們首先回顧一下廣泛使用的簡(jiǎn)單線性迭代聚類（SLIC）超像素算法[1]并通過(guò)放松最近鄰居con將其轉(zhuǎn)化為可微分算法SLIC中存在束縛。這種新的可區(qū)分算法允許端到端訓(xùn)練，并使我們能夠利用強(qiáng)大的深度網(wǎng)絡(luò)來(lái)學(xué)習(xí)超像素，而不是使用傳統(tǒng)的手工制作功能。
開(kāi)源人工智能算法一種新穎的超像素采樣網(wǎng)絡(luò)深層特征來(lái)估計(jì)任務(wù)特定的超像素貢獻(xiàn)：這個(gè)組合了具有可微差分SLIC的深度網(wǎng)絡(luò)構(gòu)成了我們稱為超像素采樣網(wǎng)絡(luò)（SSN）的端到端可訓(xùn)練超像素算法。圖1顯示了所提出的SSN的概述。給定的輸入圖像首先通過(guò)a深度網(wǎng)絡(luò)在每個(gè)像素處產(chǎn)生特征。然后將這些深度特征傳遞到可微分SLIC上，SLIC執(zhí)行迭代聚類，從而產(chǎn)生所需的超像素。整個(gè)網(wǎng)絡(luò)是端到端的可訓(xùn)練的。 SSN的可區(qū)分性允許使用靈活的損失函數(shù)來(lái)學(xué)習(xí)特定于任務(wù)的超像素。圖1顯示了一些樣本SSN生成的超像素。
包括BSDS500 [4]，Cityscapes [10]和PascalVOC [11]在內(nèi)的3種不同分割基準(zhǔn)數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果表明，所提出的超像素采樣網(wǎng)絡(luò)（SSN）對(duì)現(xiàn)有的主要超像素算法表現(xiàn)出色，同時(shí)也更快。我們還通過(guò)簡(jiǎn)單地將我們的SSN框架集成到使用超像素的現(xiàn)有語(yǔ)義分割網(wǎng)絡(luò)[13]中來(lái)證明，實(shí)現(xiàn)了性能改進(jìn)。此外，我們展示了SSN在學(xué)習(xí)其他視覺(jué)任務(wù)的超像素方面的靈活性。具體來(lái)說(shuō)，在Sintel光流數(shù)據(jù)集[7]的概念驗(yàn)證實(shí)驗(yàn)中，我們演示了如何學(xué)習(xí)更好地與光流邊界而不是標(biāo)準(zhǔn)物體邊界對(duì)齊的超像素。
與現(xiàn)有的超像素算法相比，所提出的SSN具有以下有利特性：- 端到端可訓(xùn)練：SSN是端到端的可訓(xùn)練的，可以輕松集成到其他深層網(wǎng)絡(luò)架構(gòu)中。據(jù)我們所知，這是第一個(gè)端到端可訓(xùn)練的超像素算法。-Flexible和task-speciftc：SSN允許學(xué)習(xí)靈活的損失功能，從而學(xué)習(xí)特定任務(wù)的超像素。- 最先進(jìn)的性能：對(duì)各種基準(zhǔn)數(shù)據(jù)集的實(shí)驗(yàn)表明，SSN優(yōu)于現(xiàn)有的超像素算法。- 有利的運(yùn)行時(shí)間：SSN在運(yùn)行時(shí)方面也有利于突出的超像素算法，使其適合在大型數(shù)據(jù)集上學(xué)習(xí)，并且對(duì)實(shí)際應(yīng)用也有效。
開(kāi)源人工智能算法一種新穎的超像素采樣網(wǎng)絡(luò)深層特征來(lái)估計(jì)任務(wù)特定的超像素相關(guān)工作：超像素算法。傳統(tǒng)的超像素算法可以廣泛地分為基于圖形和基于聚類的方法。基于圖的方法將超像素分割表示為圖分區(qū)問(wèn)題，其中圖節(jié)點(diǎn)由像素表示，邊表示相鄰像素之間的連接強(qiáng)度。通常，通過(guò)解決離散優(yōu)化問(wèn)題來(lái)執(zhí)行圖分區(qū)。在這個(gè)類別中，一些廣泛使用的算法包括歸一化削減[33]，F(xiàn)elzenszwalb和Huttenlocher（FH）[12]，以及熵率超像素（ERS）[26]。由于離散優(yōu)化涉及離散變量，優(yōu)化目標(biāo)通常是不可微分的，因此很難在基于圖的方法中利用深層網(wǎng)絡(luò)。另一方面，基于聚類的方法利用傳統(tǒng)的聚類技術(shù)，例如用于超像素分割的k均值。此類廣泛使用的算法包括SLIC [1]，LSC [25]和Manifold-SLIC [27]。這些方法主要進(jìn)行k均值聚類，但其特征表示不同。而SLIC [1]將每個(gè)像素表示為5維位置和Lab顏色特征（XY Lab特征），LSC [25]方法投射這些5維具有10維空間的特征，并在投影空間中執(zhí)行聚類。另一方面，Manifold-SLIC [27]使用二維流形特征空間進(jìn)行超像素聚類。雖然這些聚類算法需要迭代更新，但在SNIC方法[2]中提出了用于超像素分割的非迭代聚類方案。提出的方法也是基于聚類的方法。但是，與現(xiàn)有技術(shù)不同，我們利用深度網(wǎng)絡(luò)通過(guò)端到端的培訓(xùn)框架來(lái)學(xué)習(xí)超像素聚類的功能。正如最近的一篇調(diào)查論文[36]所詳述的，其他技術(shù)被用于超像素分割，包括分水嶺變換[29]，幾何流[24]，圖形切割[39]，均值漂移[9]和山丘。 - 攀登[5]。但是，這些方法都依賴于手工制作的功能，將深度網(wǎng)絡(luò)融入這些技術(shù)并非易事。最新的SEAL技術(shù)[38]提出了一種通過(guò)不可微的超像素算法繞過(guò)梯度來(lái)學(xué)習(xí)超像素分割的深度特征的方法。與我們的SSN框架不同，海豹突擊隊(duì)不是端到端可區(qū)分的。
深度聚類。受到監(jiān)督任務(wù)深度學(xué)習(xí)成功的啟發(fā)，有幾種方法研究了深度網(wǎng)絡(luò)在無(wú)監(jiān)督數(shù)據(jù)聚類中的應(yīng)用。最近，Greff等。人。 [17]提出神經(jīng)期望最大化框架，他們使用的模型集群標(biāo)簽的后驗(yàn)分布深度網(wǎng)絡(luò)并展開(kāi)EM程序中的迭代步驟以進(jìn)行端到端培訓(xùn)。在另一項(xiàng)工作[16]中，梯形網(wǎng)絡(luò)[31]用于建模用于聚類的分層潛變量模型。好時(shí)等人。 [19]提出一個(gè)用于分離和分割音頻的基于深度學(xué)習(xí)的聚類框架信號(hào)。謝等人人。 [40]提出了一個(gè)深度嵌入式聚類框架，用于同時(shí)學(xué)習(xí)特征表示和聚類分配。在最近的一份調(diào)查報(bào)告中，Aljalbout等。人。 [3]給出了基于深度學(xué)習(xí)的聚類方法的分類。在本文中，我們還提出了一個(gè)基于深度學(xué)習(xí)的聚類算法。與以前的工作不同，我們的算法是針對(duì)超像素分割任務(wù)而定制的，其中我們使用特定于圖像的約束。此外，我們的框架可以輕松地結(jié)合其他視覺(jué)目標(biāo)函數(shù)來(lái)學(xué)習(xí)任務(wù)特定的超像素表示。
預(yù)處理：SSN的核心是一種可區(qū)分的聚類技術(shù)，其靈感來(lái)自SLIC [1]超像素算法。在這里，我們?cè)谙乱还?jié)描述我們的SSN技術(shù)之前簡(jiǎn)要回顧一下SLIC。 SLIC是最簡(jiǎn)單的，也是最廣泛使用的超像素算法之一。它易于實(shí)現(xiàn)，具有快速運(yùn)行時(shí)間，并且還可以生成緊湊且均勻的超像素。盡管SLIC算法有幾種不同的變體[25,27]，但在原始形式中，SLIC是在五維位置和顏色空間（通常是縮放的XY Lab空間）中對(duì)圖像像素執(zhí)行的k均值聚類。從形式上看，給定圖像I Rn×5，在n個(gè)像素處具有5維XY Lab特征，超像素計(jì)算的任務(wù)是將每個(gè)像素分配給m個(gè)超像素中的一個(gè)，即，計(jì)算像素 - 超像素關(guān)聯(lián)圖H 0,1，...，m 1 n×1。 SLIC算法如下操作。首先，我們?cè)?維空間中對(duì)初始聚類（超像素）中心S0 Rm×5進(jìn)行采樣。這種抽樣通常是在像素網(wǎng)格上均勻地進(jìn)行，并且基于圖像梯度進(jìn)行一些局部擾動(dòng)。給定這些初始超像素中心S0，SLIC算法以迭代方式進(jìn)行，在每次迭代t中具有以下兩個(gè)步驟：
開(kāi)源人工智能算法一種新穎的超像素采樣網(wǎng)絡(luò)深層特征來(lái)估計(jì)任務(wù)特定的超像素網(wǎng)絡(luò)架構(gòu)：圖3顯示了SSN網(wǎng)絡(luò)架構(gòu)。用于特征提取的CNN由一系列與批量標(biāo)準(zhǔn)化[21]（BN）和ReLU激活交織的卷積層組成。我們使用max-pooling，在第2和第4個(gè)卷積層之后將輸入下采樣2倍，以增加感受野。我們對(duì)第4和第6卷積層輸出進(jìn)行雙線性上采樣，然后與第2卷積層輸出連接，以傳遞到最終的卷積層。我們使用3 3個(gè)卷積濾波器，每層輸出通道數(shù)設(shè)置為64，除了輸出k 5個(gè)通道的最后一個(gè)CNN層。我們將此k 5通道輸出與給定圖像的XY Lab連接，從而產(chǎn)生k維像素特征。我們選擇這種CNN架構(gòu)的簡(jiǎn)單性和高效性。其他網(wǎng)絡(luò)架構(gòu)是可以想象的。得到的k維特征被傳遞到可微分SLIC的兩個(gè)模塊上，迭代地更新像素 - 超像素關(guān)聯(lián)和超像素中心以進(jìn)行v次迭代。整個(gè)網(wǎng)絡(luò)是端到端的可訓(xùn)練的。
學(xué)習(xí)任務(wù)-Speciftc Superpixels：端到端可訓(xùn)練SSN的主要優(yōu)點(diǎn)之一是損失函數(shù)方面的靈活性，我們可以使用它來(lái)學(xué)習(xí)特定于任務(wù)的超像素。與任何CNN一樣，我們可以將SSN與任何特定于任務(wù)的損失函數(shù)耦合，從而學(xué)習(xí)針對(duì)下游計(jì)算機(jī)視覺(jué)任務(wù)進(jìn)行優(yōu)化的超像素。在這項(xiàng)工作中，我們專注于優(yōu)化超像素的表現(xiàn)效率，即學(xué)習(xí)可以有效地表示場(chǎng)景特征的超像素，例如語(yǔ)義標(biāo)簽，光流，深度等。例如，如果我們想要學(xué)習(xí)將要成為的超像素用于下游語(yǔ)義分割任務(wù)，期望產(chǎn)生遵循語(yǔ)義邊界的超像素。為了優(yōu)化表示效率，我們發(fā)現(xiàn)任務(wù)特定的重建損失和緊湊性損失的組合表現(xiàn)良好。任務(wù)-speciftc重建損失。我們將要用超像素有效表示的像素屬性表示為R Rn×l。例如，R可以是語(yǔ)義標(biāo)簽（作為一熱編碼）或光流圖。重要的是要注意，我們?cè)跍y(cè)試時(shí)間內(nèi)無(wú)法訪問(wèn)R，即SSN僅使用圖像數(shù)據(jù)預(yù)測(cè)超像素。我們僅在訓(xùn)練期間使用R，以便SSN可以學(xué)習(xí)預(yù)測(cè)適合表示R的超像素。如前面4.1節(jié)所述，我們可以使用列標(biāo)準(zhǔn)化關(guān)聯(lián)矩陣Q，R˘= QTR將像素屬性映射到超像素，其中R ˘Rm×l。所結(jié)果的然后使用行標(biāo)準(zhǔn)化關(guān)聯(lián)矩陣Q 1，R * = Q〜S將超像素表示R 6映射回像素表示R *，其中R * Rn×1。
開(kāi)源人工智能算法一種新穎的超像素采樣網(wǎng)絡(luò)深層特征來(lái)估計(jì)任務(wù)特定的超像素結(jié)論：我們提出了一種新穎的超像素采樣網(wǎng)絡(luò)（SSN），它利用通過(guò)端到端訓(xùn)練學(xué)到的深層特征來(lái)估計(jì)任務(wù)特定的超像素。據(jù)我們所知，這是第一個(gè)端到端可訓(xùn)練的深度超像素預(yù)測(cè)技術(shù)。實(shí)驗(yàn)的幾個(gè)基準(zhǔn)測(cè)試表明，SSN始終如一地在最先進(jìn)的超像素技術(shù)上表現(xiàn)出色，同時(shí)也更快。將SSN集成到語(yǔ)義分段網(wǎng)絡(luò)[13]中還可以提高性能，顯示SSN在下游計(jì)算機(jī)視覺(jué)任務(wù)中的實(shí)用性。 SSN快速，易于實(shí)施，可以輕松集成到其他深層網(wǎng)絡(luò)中，具有良好的實(shí)證性能。SSN解決了將超像素納入深度網(wǎng)絡(luò)的主要障礙之一，這是現(xiàn)有超像素算法的不可微分性質(zhì)。在深度網(wǎng)絡(luò)中使用超像素可以具有幾個(gè)優(yōu)點(diǎn)。超像素可以降低計(jì)算復(fù)雜度，尤其是在處理高分辨率圖像時(shí)。超像素也可用于強(qiáng)制分段不變的假設(shè)，也有助于遠(yuǎn)程信息傳播[13]。我們相信這項(xiàng)工作開(kāi)辟了利用深層網(wǎng)絡(luò)中的超像素的新途徑，并激發(fā)了使用超像素的新深度學(xué)習(xí)技術(shù)。致謝。我們感謝Wei-Chih Tu提供評(píng)估腳本。我們感謝Ben Eckart對(duì)補(bǔ)充視頻的幫助。
