本文經(jīng)計算機視覺研究院公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

01 前景概要

在使用公認的師生框架的方法中，特別是對于小規(guī)模和低光物體，仍然可以觀察到假陽性誤差傳播。我們提出了一種兩階段一致性無監(jiān)督領(lǐng)域自適應(yīng)網(wǎng)絡(luò)2PCNet來解決這些問題。該網(wǎng)絡(luò)在第一階段使用來自教師的高置信度邊界框預(yù)測，并將其附加到學生的區(qū)域建議中，供教師在第二階段重新評估，從而產(chǎn)生高置信度和低置信度偽標簽的組合。夜間圖像和偽標簽在用作學生的輸入之前被縮小，從而提供更強的小規(guī)模偽標簽。為了解決圖像中弱光區(qū)域和其他夜間相關(guān)屬性引起的錯誤，我們提出了一種稱為NightAug的夜間特定增強管道。該管道涉及將隨機增強（如眩光、模糊和噪聲）應(yīng)用于日間圖像。在公開數(shù)據(jù)集上的實驗表明，我們的方法比最先進的方法和直接在目標數(shù)據(jù)上訓練的監(jiān)督模型獲得了20%的優(yōu)越結(jié)果。

02 背景&動機

夜間目標檢測在許多應(yīng)用中都是至關(guān)重要的。然而，通過監(jiān)督方法對注釋數(shù)據(jù)的要求是不切實際的，因為帶有注釋的夜間數(shù)據(jù)很少，并且監(jiān)督方法通常容易過度擬合訓練數(shù)據(jù)。除其他原因外，這種稀缺性是由于光線條件差，使得夜間圖像難以注釋。因此，不假設(shè)注釋可用性的方法更有優(yōu)勢。領(lǐng)域自適應(yīng)（DA）是解決這一問題的有效方法，它允許使用現(xiàn)成的注釋源日間數(shù)據(jù)集。

為了解決這個問題，我們提出了2PCNet，一種用于夜間目標檢測的兩階段一致性無監(jiān)督域自適應(yīng)網(wǎng)絡(luò)。我們的2PCNet將在第一階段預(yù)測的高度自信的偽標簽的邊界框與學生的區(qū)域建議網(wǎng)絡(luò)（RPN）提出的區(qū)域合并在一起。然后，教師在第二階段使用合并后的提議來生成一組新的偽標簽。這提供了高置信度和低置信度偽標簽的組合。然后將這些偽標簽與學生生成的預(yù)測進行匹配。然后，我們可以利用加權(quán)一致性損失來確保無監(jiān)督損失的更高權(quán)重基于更強的偽標簽，但允許較弱的偽標簽影響訓練。

配備了這種兩階段策略，我們解決了小規(guī)模對象的錯誤問題。我們設(shè)計了一種學生縮放技術(shù)，故意縮小學生的夜間圖像及其偽標簽。為了生成準確的偽標簽，教師的圖像保持在其全尺寸。這導(dǎo)致更容易預(yù)測的較大對象的偽標簽被縮小到較小的對象，從而提高學生的小規(guī)模表現(xiàn)。夜間圖像存在日間場景中未發(fā)現(xiàn)的多種復(fù)雜情況，如黑暗區(qū)域、眩光、突出的噪聲、突出的模糊、不平衡的照明等。所有這些都造成了問題，因為接受日間圖像訓練的學生更傾向于日間域的特征。為了緩解這個問題，我們提出了NightAug，一組隨機的夜間特定增強。NightAug包括在白天的圖像中添加模擬夜間條件的人造眩光、噪音、模糊等。通過NightAug，我們能夠減少學生網(wǎng)絡(luò)對源數(shù)據(jù)的偏見，而不會導(dǎo)致對抗性學習或計算密集型翻譯?？傮w而言，使用2PCNet，我們可以在圖1中看到我們的結(jié)果在質(zhì)量上的改進。

03 新框架設(shè)計

我們的2PCNet的體系結(jié)構(gòu)如下圖所示。我們的2PCNet由一個學生和一個教師網(wǎng)絡(luò)組成。該學生是一個多域網(wǎng)絡(luò)，在標記的白天圖像（用NightAug增強）和未標記的夜間圖像上進行訓練。老師專注于夜間圖像，為學生生成偽標簽，是學生的指數(shù)移動平均值（EMA）。

在初始預(yù)訓練階段之后，教師開始產(chǎn)生偽標簽，這允許學生初始化特征提取器和檢測器。在2PCNet的第一階段的每次迭代中，教師從夜間圖像中產(chǎn)生偽標簽。通過置信閾值對這些偽標簽進行過濾。這是為了確保只給學生高置信度的偽標簽。然后將來自偽標簽的邊界框與學生的RPN生成的區(qū)域建議相結(jié)合。合并后的區(qū)域建議然后用于從學生的RoI網(wǎng)絡(luò)生成預(yù)測。在第二階段，教師使用相同的合并區(qū)域建議來生成一組匹配的偽標簽，其中每個偽標簽都有從學生那里獲得的相應(yīng)預(yù)測。

Two-Phase Consistency

由于日間源圖像和夜間目標圖像之間存在較大的域間隙，教師無法生成高質(zhì)量的偽標簽。這種情況通常發(fā)生在整個場景中，但特別是對于具有強烈夜間特征的區(qū)域，例如弱光、眩光、不均勻照明等。教師只為與白天有更多相似性的區(qū)域生成自信的偽標簽，因為它偏向于白天域。這種偏差給使用硬閾值來過濾分類交叉熵損失的偽標簽的方法帶來了問題。剩下的偽標簽只包含具有日間屬性的簡單樣本。因此，學生不會從較難（例如較暗）的區(qū)域?qū)W習。

由于對難樣本（即具有高水平夜間屬性的區(qū)域）的了解最少，教師開始預(yù)測高度自信但不正確的偽標簽。當老師向?qū)W生提供這些不正確的偽標簽時，一個粘性循環(huán)開始了，老師反過來用不正確的知識更新。因此，錯誤通過訓練繼續(xù)傳播。在我們的案例中，這些誤差明顯發(fā)生在黑暗/眩光區(qū)域和小尺度物體中。為了解決錯誤傳播的問題，我們設(shè)計了一種兩階段的方法，將高置信度的偽標簽與其不太置信度的對應(yīng)標簽結(jié)合在一起。這種組合允許自信標簽的高精度，并將不太自信標簽的額外知識提煉到學生身上。

（從左到右，從上到下）GT邊界框，教師預(yù)測的具有非極大抑制（NMS）和閾值（Bp）的邊界框，由Bp指導(dǎo)的學生預(yù)測的邊界框（Bstudent），以及教師預(yù)測的一致性損失的邊界框。

Student-Scaling

為了確保不會忘記先前標度的知識，應(yīng)用了標度因子的高斯函數(shù)。高斯函數(shù)的范數(shù)是從調(diào)度值中獲得的。為了防止由于偽標簽太小而產(chǎn)生額外的噪聲，將去除面積低于閾值的標簽。

NightAug

夜間圖像有一系列日間場景中沒有的復(fù)雜情況。這導(dǎo)致了師生框架中的一個問題，即學生會偏向于源領(lǐng)域。以前的方法試圖解決這個問題，但要么需要計算密集型翻譯，要么在框架中添加額外的領(lǐng)域分類器，這使訓練變得復(fù)雜。我們提出了NightAug，一種夜間特定的增強管道，它是計算光，不需要訓練。NightAug由一系列增強組成，目的是引導(dǎo)白天圖像的特征與夜間圖像的特征相似。

NightAug：原始圖像（左上）和隨機增強的圖像：高斯模糊、伽馬校正、亮度、對比度、眩光、高斯噪聲和隨機剪切

每個增強都有一個應(yīng)用的概率，增強的強度是隨機的。然后可以用原始圖像的隨機區(qū)域替換增強圖像的隨機區(qū)。該區(qū)域替換的概率隨著每次迭代而降低。

04 實驗及項目落地

Faster RCNN、Adaptive Teacher（AT）和我們的方法在SHIFT數(shù)據(jù)集上的定性結(jié)果，最右邊是真實值。我們可以觀察到，由于缺乏域自適應(yīng)，F(xiàn)aster RCNN無法檢測對象，而與我們的方法相比，AT有大量的小誤報邊界框，我們提出的方法與GT非常相似。

目前在很多城市為了趕工，有許多工地都是夜晚進行作業(yè)，為了作業(yè)過程中的安全施工以及非員工潛入等問題，某建筑企業(yè)采用了AI技術(shù)進行安全生產(chǎn)和管理。