本文經(jīng)計算機視覺研究院公眾號授權轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

1.概述    

目前的OD算法對于長距離的小物體的成功率有限。為了提高這項任務的準確性和效率，我們提出了一套新的算法，將圖像劃分為塊，選擇具有不同尺度對象的塊，詳細說明小對象的細節(jié)，并盡早檢測到它。我們的方法建立在transformer的網(wǎng)絡上，并集成了擴散模型以提高檢測精度。如在BDD100K，我們的算法將小目標的mAP從1.03提高到8.93，并將計算中的數(shù)據(jù)量減少了77%以上。

2.背景    

物體檢測（OD）在許多現(xiàn)實場景的應用中發(fā)揮著至關重要的作用，如自動駕駛和機器人。盡管針對這項任務的各種算法激增，但現(xiàn)有方法在早期目標檢測方面仍然面臨重大挑戰(zhàn)，這是實現(xiàn)快速和主動決策的關鍵方面。在這樣的場景中，由于距離長，捕獲圖像中的對象的大小通常會顯著減小。

如上圖所示，當圖像僅包含有限數(shù)量的對象，并且由于數(shù)據(jù)量不足，目標檢測的性能顯著不理想。為了應對這一挑戰(zhàn)，我們可以利用超分辨率（SR）算法來重建更高分辨率的圖像，從而增加可用于后續(xù)目標檢測模型的數(shù)據(jù)。SR也是計算機視覺中的一個經(jīng)典問題，擁有大量為該任務量身定制的解決方案。

最近，與生成對抗性網(wǎng)絡（GAN）相比，擴散模型，如DDPM，在圖像生成方面表現(xiàn)出了顯著的能力，并表現(xiàn)出了更大的穩(wěn)定性。此外，專注于條件擴散模型（CDM）應用于SR的研究取得了顯著進展。通過利用擴散模型生成高分辨率圖像，我們可以顯著提高目標檢測性能。然而，擴散模型具有巨大的計算成本，這對自動駕駛等現(xiàn)實的應用構成了挑戰(zhàn)。從上圖中的圖像示例來看，圖像的整體細化會對背景像素造成相當大的計算負擔，導致資源的過度浪費，對OD沒有任何有意義的貢獻。

3.新框架詳細分解

如下圖所示，DPR包括三個關鍵模塊：Patch-Selector, Patch-Refiner, Patch-Organizer。Patch-Selector模塊負責提取補丁特征并執(zhí)行分類。接下來，Patch-Refiner模塊詳細闡述了正補丁，利用CDM將其重建到更高的分辨率，從而提高了目標檢測精度。最后，為了完全展示我們提出的方法的效率和準確性，我們使用廉價的插值技術來放大負補丁，并將所有補丁組織成完整的圖像，以便于與原始圖像進行直接比較。接下來我們對所有模塊進行了詳細討論，并概述了算法1中提出的DPR的具體訓練過程。此外，算法2詳細說明了采樣和測試過程。

Patch-Selector模塊的設計如下圖：(a)利用分層結(jié)構編碼器，輸入圖像被嵌入到三個不同尺度的特征中。隨后，對這些特征中的補丁進行分類和聚合，以形成最終輸出。(b)每個變換器層（TL）包括一個特征合并塊和多個基于窗口的自關注塊。

4.實驗及可視化    

為了權衡計算和性能，在下表中對將圖像從64×64放大到512×512時的不同閾值進行了補丁分類實驗。第二排的mAP為4.33，是最佳選擇，計算量減少了63%。

對于具有相同閾值的從128×128到1024×1024的FBDD上采樣，我們的PS模塊僅輸出22.8%的CDM生成和OD補丁，并且與CDM相比，PS的FLOP可以忽略不計，這意味著與全圖像生成相比，我們節(jié)省了77.2%的計算，如下表所示：

上圖顯示了集成補丁后BI和DPR的可視化比較。雖然DPR生成的總體圖像看起來與BI相似，但包含對象的關鍵補丁顯示出更精細的細節(jié)，這表明CDM只需要處理少量數(shù)據(jù)，從而實現(xiàn)更高效的計算。