很多深度學(xué)習(xí)方法實現(xiàn)了不錯的摳圖效果，但它們無法很好地處理高分辨率圖像。而現(xiàn)實世界中需要使用摳圖技術(shù)的圖像通常是分辨率為 5000 × 5000 甚至更高的高分辨率圖像。如何突破硬件限制，將摳圖方法應(yīng)用于高分辨率圖像？來自 UIUC、Adobe 研究院和俄勒岡大學(xué)的研究者提出了一種新方法。

摳圖是圖像和視頻編輯與合成的關(guān)鍵技術(shù)。通常，深度學(xué)習(xí)方法會以整個輸入圖像和相關(guān)的 trimap 作為輸入，使用卷積神經(jīng)網(wǎng)絡(luò)來推斷前景蒙版（alpha matte）。這種方法在圖像摳圖領(lǐng)域?qū)崿F(xiàn)了 SOTA 結(jié)果。但是，由于硬件限制，這些方法在實際的摳圖應(yīng)用中可能會失敗，因為現(xiàn)實世界中需要摳圖的輸入圖像大多具備很高的分辨率。

近日，來自伊利諾伊大學(xué)香檳分校（UIUC）、Adobe 研究院和俄勒岡大學(xué)的研究者提出了一種名為 HDMatt 的新方法，這是首個處理高分辨率輸入圖像的深度學(xué)習(xí)摳圖方法。

早在 2017 年，Adobe 等機(jī)構(gòu)就發(fā)表論文《Deep Image Matting》，采用大規(guī)模數(shù)據(jù)集與深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)圖像的自然結(jié)構(gòu)，進(jìn)一步分離圖像的前景與背景。而那篇論文的一作 Ning Xu 正是這篇論文的第二作者。只不過，研究者這次將矛頭對準(zhǔn)了高分辨率圖像。

論文地址：https://arxiv.org/pdf/2009.06613.pdf

具體來說，HDMatt 方法使用新型模塊設(shè)計，以基于 patch 的剪裁 - 拼接方式（crop-and-stitch）為高分辨率輸入圖像進(jìn)行摳圖，進(jìn)而解決不同 patch 之間的語境依賴性和一致性問題?；?patch 的原版推斷方法單獨(dú)計算每個 patch，而該研究提出了新的模塊——CrossPatch Contextual module (CPC)，該模塊由給定的 trimap 指導(dǎo)，對跨 patch 語境依賴性進(jìn)行建模。

大量實驗表明了該方法的有效性及其對于高分辨率輸入圖像的必要性。HDMatt 方法在 Adobe Image Matting 和 AlphaMatting 基準(zhǔn)上均實現(xiàn)了新的 SOTA 性能，并且在更真實的高分辨率圖像上獲得了優(yōu)秀的效果。

下圖展示了，在處理高分辨率圖像時，HDMatt 方法與之前最優(yōu)方法 ContextNet 的對比結(jié)果：

ContextNet 分別應(yīng)用了下采樣 (DS) 和剪裁 (C) 策略。從圖中可以看出，DS 導(dǎo)致細(xì)節(jié)模糊，剪裁則導(dǎo)致跨 patch 不一致問題。

而該研究提出的 HDMatt 方法解決了這兩個缺陷，摳圖效果與真值（上圖 c）最接近，這說明該方法能夠擬合精細(xì)細(xì)節(jié)。

該研究的主要貢獻(xiàn)有：

這是首個基于深度學(xué)習(xí)的高分辨率圖像摳圖方法，在硬件資源限制下使現(xiàn)實世界中的高質(zhì)量 HR 摳圖成為現(xiàn)實。

提出一種新型模塊 CPC，用來捕獲 patch 之間的長程語境依賴性。在 CPC 內(nèi)部，新提出的 Trimap-Guided Non-Local（TGNL）操作旨在高效傳播來自 reference patch 不同區(qū)域的信息。

在定量和定性實驗方面，HDMatt 方法在 Adobe Image Matting (AIM)、AlphaMatting 基準(zhǔn)和真實高分辨率圖像數(shù)據(jù)集上均實現(xiàn)了新的 SOTA 性能。

HDMatt 方法

為了解決高分辨率圖像的摳圖問題，該研究提出 HDMatt 方法，該方法首先將輸入圖像和 trimap 剪裁為 patch，然后估計每個 patch 的 alpha 值。僅使用一個 patch 的信息會導(dǎo)致信息損失以及不同 patch 之間的預(yù)測不一致問題。因此，該研究提出新型 Cross-Patch Context Module (CPC) 模塊，高效利用每個 query patch 的跨 patch 信息。最后，將每個 patch 的估計 alpha 值連接，輸出整個圖像最終的前景蒙版。

下圖 2 展示了 HDMatt 方法的整體框架：

下圖 3 展示了 CPC 模塊的工作流程：

實驗

Adobe Image Matting 基準(zhǔn)數(shù)據(jù)集

下表 1 展示了 HDMatt 方法與其他 SOTA 方法在 Adobe Image Matting 測試集上的性能對比結(jié)果。HDMatt 方法在所有評估度量指標(biāo)上均優(yōu)于其他方法。

研究人員還對這些方法（包括 IndexNet 和 ContextNet）的實際效果進(jìn)行了對比，如下圖 4 所示：

從中可以看出，HDMatt 方法能夠更好地處理大型未知區(qū)域（即極少前景或背景信息的區(qū)域）。

AlphaMatting 基準(zhǔn)數(shù)據(jù)集

表 2 列出了在 AlphaMatting 基準(zhǔn)數(shù)據(jù)集上 SAD 指標(biāo)表現(xiàn)最優(yōu)的四個方法，HDMatt 方法在具備較大或用戶 trimap 的圖像上表現(xiàn)優(yōu)異。這進(jìn)一步證實了，當(dāng) trimap 中存在大量未知區(qū)域時，HDMatt 方法可以有效捕獲長程語境依賴性。

下圖展示了不同方法在 AlphaMatting 測試集上的摳圖結(jié)果，自左向右分別是輸入圖像、Trimap、AdaMatting [1]、SampleNet [35]、GCA Matting [24] 和 HDMatt。從圖中可以看出，最右一列 HDMatt 方法的摳圖效果最精細(xì)。

真實圖像

除了這些數(shù)據(jù)集以外，研究人員還在網(wǎng)上收集了一些分辨率最高可達(dá) 6000 × 6000 的高分辨率圖像，并在這些真實圖像上進(jìn)行測試。

下圖 5 展示了將整張圖像作為輸入時，IndexNet、ContextNet 和 HDMatt 方法的性能。從結(jié)果中可以看到，HDMatt 方法能夠提取更精細(xì)精確的細(xì)節(jié)，同時推斷速度也更快。不過，該方法仍丟失了一些最精微的細(xì)節(jié)。

基于 Context Patch 的注意力可視化

下圖 7 展示了在給定 query patch 上基于選定 context patch 的注意力圖：

控制變量研究

下表展示了控制變量研究的結(jié)果：