論文地址：https://arxiv.org/abs/2106.02898

該論文指出識(shí)別每張圖片所需要的最小分辨率是不同的，而現(xiàn)有方法并沒有充分挖掘輸入分辨率的冗余性，也就是說輸入圖片的分辨率不應(yīng)該是固定的。論文進(jìn)一步提出了一種動(dòng)態(tài)分辨率網(wǎng)絡(luò) DRNet，其分辨率根據(jù)輸入樣本的內(nèi)容動(dòng)態(tài)決定。一個(gè)計(jì)算量可以忽略的分辨率預(yù)測(cè)器和我們所需要的圖片分類網(wǎng)絡(luò)一起優(yōu)化訓(xùn)練。在推理過程中，每個(gè)輸入分類網(wǎng)絡(luò)的圖像將被調(diào)整到分辨率預(yù)測(cè)器所預(yù)測(cè)的分辨率，以最大限度地減少整體計(jì)算負(fù)擔(dān)。

實(shí)驗(yàn)結(jié)果表明，在 ImageNet 圖像識(shí)別任務(wù)中，DRNet 與標(biāo)準(zhǔn) ResNet-50 相比，在相似準(zhǔn)確率情況下，計(jì)算量減少了約 34%；在計(jì)算量減少 10% 的情況下，精度提高了 1.4%。

引言

隨著算法、計(jì)算能力和大規(guī)模數(shù)據(jù)集的快速發(fā)展，深度卷積網(wǎng)絡(luò)在各種計(jì)算機(jī)視覺任務(wù)中取得了顯著的成功。然而，出色的性能往往伴隨著巨大的計(jì)算成本，這使得 CNN 難以在移動(dòng)設(shè)備上部署。隨著現(xiàn)實(shí)場(chǎng)景對(duì)于 CNN 的需求不斷增加，降低計(jì)算成本的同時(shí)維持神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率勢(shì)在必行。

近年來，研究人員在模型壓縮和加速方法方面投入了大量精力，包括網(wǎng)絡(luò)剪枝、低比特量化、知識(shí)蒸餾和高效的模型設(shè)計(jì)。然而，大多數(shù)現(xiàn)有的壓縮網(wǎng)絡(luò)中輸入圖像的分辨率仍然是固定的。一般而言，深度網(wǎng)絡(luò)使用固定統(tǒng)一的分辨率（例如，ImageNet 上的 224 X 224）進(jìn)行訓(xùn)練和推理，盡管每張圖片中目標(biāo)的大小和位置完全不同。

不可否認(rèn)，輸入分辨率是影響 CNN 計(jì)算成本和性能的一個(gè)非常重要的因素。對(duì)于同一個(gè)網(wǎng)絡(luò)，更高的分辨率通常會(huì)導(dǎo)致更大的 FLOPs 和更高的準(zhǔn)確率。相比之下，輸入分辨率較小的模型性能較低，而所需的 FLOP 也較小。然而，縮小深度網(wǎng)絡(luò)的輸入分辨率為我們提供了另一種減輕 CNN 計(jì)算負(fù)擔(dān)的可能性。

為了更清晰地說明，研究者首先使用一個(gè)預(yù)訓(xùn)練的 ResNet-50 測(cè)試不同分辨率下的圖像，如下圖 1 所示，并計(jì)算和展示每個(gè)樣本給出正確預(yù)測(cè)所需要的最小分辨率。對(duì)于一些簡單的樣本，如左側(cè)圖前景熊貓，可以準(zhǔn)確地在低分辨率和高分辨率下被識(shí)別出來。然而對(duì)于一些難樣本如右側(cè)圖的昆蟲，目標(biāo)被遮擋或者跟別的物體混合，只能通過高分辨率識(shí)別。

這一觀察表明，數(shù)據(jù)集中很大一部分圖片可以降低分辨率來識(shí)別。另一方面，這也和人類的感知系統(tǒng)一致，即一些樣本在模糊情況下可以被很好地識(shí)別，而另外一些在清晰的條件下才能有效識(shí)別。

圖 1：在不同輸入分辨率 (112X112、168X168 和 224X224) 下 ResNet-50 模型的預(yù)測(cè)結(jié)果

在本文中，研究者提出了一種新穎的動(dòng)態(tài)分辨率網(wǎng)絡(luò)（DRNet），它動(dòng)態(tài)調(diào)整每個(gè)樣本的輸入分辨率以進(jìn)行有效推理。為了準(zhǔn)確地找到每張圖像所需的最小分辨率，他們引入了一個(gè)嵌入在分類網(wǎng)絡(luò)前面的分辨率預(yù)測(cè)器。

在實(shí)踐中，研究者將幾個(gè)不同的分辨率設(shè)置為候選分辨率，并將圖像輸入分辨率預(yù)測(cè)器以生成候選分辨率的概率分布。分辨率預(yù)測(cè)器的網(wǎng)絡(luò)架構(gòu)經(jīng)過精心設(shè)計(jì)，計(jì)算復(fù)雜度可以忽略不計(jì)，并與分類器聯(lián)合訓(xùn)練，以端到端的方式進(jìn)行識(shí)別。通過利用所提出的動(dòng)態(tài)分辨率網(wǎng)絡(luò)推理方法，研究者可以從每個(gè)圖像的輸入分辨率中挖掘其冗余度。這樣做不僅可以節(jié)省具有較低分辨率的簡單樣本的計(jì)算成本，并且還可以通過保持較高的分辨率來保持難樣本的準(zhǔn)確性。

在大規(guī)模數(shù)據(jù)集和 CNN 架構(gòu)上的大量實(shí)驗(yàn)證明了研究者提出的方法在降低整體計(jì)算成本和提升網(wǎng)絡(luò)準(zhǔn)確率方面的有效性。例如，DR-ResNet-50 僅用 3.7G FLOPs 就達(dá)到了 77.5% 的 ImageNet top-1 準(zhǔn)確率，這比計(jì)算量多 10% 的 ResNet-50 高出了 1.4%。

方法

整體架構(gòu)

研究者提出了一種實(shí)例感知的分辨率選擇方法，為大型分類器網(wǎng)絡(luò)選擇輸入圖像的分辨率。這種方法包含了兩個(gè)組件，第一個(gè)是大型分類器網(wǎng)絡(luò)，例如 ResNet，它的特點(diǎn)是準(zhǔn)確率高和計(jì)算成本高。第二個(gè)是分辨率預(yù)測(cè)器，它的目標(biāo)是找到一個(gè)最小的分辨率，這樣能為預(yù)測(cè)每張輸入圖片來平衡準(zhǔn)確率和效率。

對(duì)于任意的輸入圖片，研究者首先用分辨率預(yù)測(cè)器來預(yù)測(cè)其合適的分辨率 r。然后，大型分類器網(wǎng)絡(luò)將 resized 后的圖像作為輸入。這樣，當(dāng) r 小于原始分辨率時(shí)，F(xiàn)LOPs 就會(huì)大幅度減少。兩種網(wǎng)絡(luò)在訓(xùn)練時(shí)是端到端一起訓(xùn)練的，如下圖 2 所示。

圖 2：模型整體結(jié)構(gòu)圖

分辨率預(yù)測(cè)器

分辨率預(yù)測(cè)器的設(shè)計(jì)是基于 CNN 的。分辨率預(yù)測(cè)器的目標(biāo)是通過得到一個(gè)概率分布來找到一個(gè)合適的分辨率。這里研究者提供 m 個(gè)候選分辨率以供分辨率預(yù)測(cè)器挑選?？紤]到分辨率預(yù)測(cè)器會(huì)帶來額外的計(jì)算消耗，所以在設(shè)計(jì)分辨率預(yù)測(cè)器時(shí)只保留了很少的卷積層和全連接層。

其中，X 是輸入的樣本，被送入分辨率預(yù)測(cè)器。P_r 是預(yù)測(cè)器的輸出，其代表了每個(gè)候選的概率。候選分辨率中對(duì)應(yīng)的最高概率的那個(gè)分辨率將被選為送入大分類器的圖片的分辨率。這里采用了 Gumbel-Softmax 來實(shí)現(xiàn)這種選擇過程，將其轉(zhuǎn)變成是可微分的:

分辨率感知的批正則化（BN）

BN 常用于使得深度模型收斂得更快更穩(wěn)定。然而不同分辨率下的激活統(tǒng)計(jì)值 (activation statistics) 包含了均值和方差，這使得它們不兼容。實(shí)驗(yàn)表明，使用不同的分辨率下的共享的 BN 會(huì)導(dǎo)致更低的準(zhǔn)確率?？紤]到 BN 層只包含了可忽略不計(jì)的參數(shù)，研究者提出分辨率感知的批正則化，即對(duì)于不同的分辨率，使用他們對(duì)應(yīng)的 BN 層。

訓(xùn)練優(yōu)化

分類網(wǎng)絡(luò)與分辨率預(yù)測(cè)器同時(shí)進(jìn)行訓(xùn)練優(yōu)化。損失函數(shù)包含了交叉熵?fù)p失函數(shù)和研究者提出的 FLOPs 損失函數(shù)。FLOPs 損失函數(shù)用于限制計(jì)算量。

給定一個(gè)預(yù)訓(xùn)練好的分類網(wǎng)絡(luò)

。輸入 X 并輸出概率

以用于圖像分類。對(duì)于輸入 X，研究者首先將其 resize 成 m 個(gè)候選分辨率 X_r1, X_r2,... , X_rm，然后使用分辨率預(yù)測(cè)器對(duì)每張圖片產(chǎn)生分辨率概率矢量 P_rR^m。然后軟分辨率概率 P_r 被轉(zhuǎn)變成硬的獨(dú)熱選擇 h ϵ｛0,1｝^m，使用 Gumbel-Softmax。h 代表了每個(gè)樣本的分辨率選擇。在實(shí)踐中，他們首先獲得了對(duì)于每個(gè)分辨率的最終的預(yù)測(cè) y_rj=F(X_rj)，然后將其通過 h 加起來:

交叉熵?fù)p失函數(shù)

將在預(yù)測(cè) ^y 和標(biāo)簽 y 之間執(zhí)行:

梯度被反向傳播到分類網(wǎng)絡(luò)和分辨率預(yù)測(cè)器以同時(shí)優(yōu)化。

如果只使用交叉熵?fù)p失函數(shù)，分辨率預(yù)測(cè)器將會(huì)收斂到一個(gè)次優(yōu)點(diǎn)，并傾向于選擇最大的分辨率，因?yàn)樽畲蟮姆直媛释鶎?duì)應(yīng)著更低的分類損失。為了減少計(jì)算量，研究者提出了一個(gè) FLOPs constraint regularization 去指導(dǎo)分類預(yù)測(cè)器的學(xué)習(xí):

是實(shí)際 FLOPs，C_j 是預(yù)先計(jì)算好的第 j 個(gè)分辨率的 FLOPs，

是在樣本層面的期望值，

是目標(biāo) FLOPs。經(jīng)過這個(gè)正則，如果平均 FLOPs 值過大，將會(huì)有一個(gè)懲罰，促使提出的分辨率預(yù)測(cè)器高效且準(zhǔn)確。最終，整個(gè)損失函數(shù)是兩者加權(quán)和：

是超參數(shù)以用于平衡

和

的幅度。

Gumbel Softmax 可以使得離散的 decision 在反向傳播中可微。對(duì)于前述概率值 P_r = [p_r1, p_r2, , p_rm]，離散的候選分辨率選擇可以由此得到：

g_j 是 gumbel noise，由下式得到：

在訓(xùn)練過程中，獨(dú)熱操作的求導(dǎo)可以由 gumbel softmax 近似，其中

是溫度系數(shù)：

實(shí)驗(yàn)

研究者在 ImageNet-1K 和 ImageNet-100 數(shù)據(jù)集上訓(xùn)練和驗(yàn)證 DRNet 模型，其中 ImageNet-100 是 ImageNet-1K 的子集。

ImageNet-100 實(shí)驗(yàn)

從下表 1 可以看出，在 ImageNet-100 數(shù)據(jù)集上，DRNet 相比于 ResNet-50，減少了 17% 的 FLOPs，同時(shí)獲得了 4.0% 的準(zhǔn)確率提升。當(dāng)調(diào)整超參數(shù)和時(shí)，可以減少 32% 的 FLOPs 并提升 1.8% 準(zhǔn)確率。另外，采用分辨率感知的 BN 獲得了性能提升而 FLOPs 相似。

表 1 ：ResNet-50 骨干網(wǎng)絡(luò)在 ImageNet-100 上的結(jié)果

下表 2 中，研究者進(jìn)一步減少，可以獲得 44% 的 FLOPs 減少而準(zhǔn)確率還是增加。

表 2 ：FLOPs Loss 的影響

ImageNet-1K 實(shí)驗(yàn)

研究者在 ImageNet-1K 上進(jìn)行大規(guī)模實(shí)驗(yàn)，發(fā)現(xiàn) DR-ResNet-50 減少了 10% 的 FLOPs，性能提升 1.4%，如下表 3 所示。

表 3 ：ResNet-50 和 ResNet-101 在 ImageNet-1K 上的結(jié)果

與其他方法的結(jié)果比較見下表 4。

表 4：和其他模型壓縮方法的比較

為了驗(yàn)證所提出的動(dòng)態(tài)分辨率機(jī)制的作用，研究者對(duì)比了 DR-ResNet-50 和隨機(jī)選擇機(jī)制的性能，見下表 5。

表 5：動(dòng)態(tài)分辨率與隨機(jī)分辨率對(duì)比 

下圖 3 展示了實(shí)際情況下測(cè)速，表明該方法比 ResNet-50 優(yōu)越。

圖 3：準(zhǔn)確率和 Latency 對(duì)比

下表 6 則將骨干模型從 ResNet 擴(kuò)展到了 MobileNet，并展示了其有效性。

表 6：MoblieNet V2 結(jié)果

下圖 4 展示了 DRNet 的預(yù)測(cè)結(jié)果可視化，可以看到，視覺上更難識(shí)別的圖像往往被預(yù)測(cè)為使用更高的分辨率，反之則是更低的分辨率。

圖 4：圖片可視化結(jié)果