本文經(jīng)計算機(jī)視覺研究院公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

論文地址：https://arxiv.org/abs/2209.01589

一、總概述

在本研究中，研究者深入研究了半監(jiān)督目標(biāo)檢測（SSOD）中偽目標(biāo)的不一致性。核心觀察結(jié)果是，振蕩的偽目標(biāo)破壞了精確的半監(jiān)督檢測器的訓(xùn)練。它不僅給學(xué)生的訓(xùn)練注入了噪聲，而且導(dǎo)致了分類任務(wù)的嚴(yán)重過擬合。因此，研究者提出了一個系統(tǒng)的解決方案，稱為一致教師，以減少不一致。首先，自適應(yīng)錨分配（ASA）取代了基于靜態(tài)IoU的策略，使學(xué)生網(wǎng)絡(luò)能夠抵抗噪聲偽邊界盒；然后，通過設(shè)計三維特征對齊模塊（FAM-3D）來校準(zhǔn)子任務(wù)預(yù)測。它允許每個分類特征在任意尺度和位置自適應(yīng)地查詢回歸任務(wù)的最優(yōu)特征向量。最后，高斯混合模型（GMM）動態(tài)地修正了偽框的得分閾值，從而穩(wěn)定了基本事實的數(shù)量

二、動機(jī)

在這項研究中，研究者指出，半監(jiān)督檢測器的性能仍然在很大程度上受到偽目標(biāo)不一致性的阻礙。不一致意味著偽框可能非常不準(zhǔn)確，并且在訓(xùn)練的不同階段變化很大。因此，不一致的振蕩邊界盒（bbox）會使SSOD預(yù)測產(chǎn)生累積誤差。與半監(jiān)督分類不同，SSOD有一個額外的步驟，即為每個RoI/錨點(diǎn)分配一組偽框作為密集監(jiān)督。常見的兩級和單級SSOD網(wǎng)絡(luò)采用靜態(tài)的錨分配標(biāo)準(zhǔn)，例如IoU分?jǐn)?shù)或中心度。據(jù)觀察，靜態(tài)作業(yè)對教師預(yù)測的邊界框中的噪聲很敏感，因為假邊界框中一個小的擾動可能會極大地影響作業(yè)結(jié)果。因此，它導(dǎo)致未標(biāo)記圖像上的嚴(yán)重過擬合。

為了驗證這一現(xiàn)象，在MS-COCO 10%數(shù)據(jù)的基礎(chǔ)上，用基于IoU的標(biāo)準(zhǔn)分配來訓(xùn)練單級探測器。如下圖所示，教師輸出的微小變化導(dǎo)致偽框邊界中的強(qiáng)噪聲，導(dǎo)致在基于IoU的靜態(tài)分配下，錯誤目標(biāo)與附近對象相關(guān)聯(lián)。這是因為一些未激活的主播在學(xué)生網(wǎng)絡(luò)中被錯誤地分配為陽性。因此，網(wǎng)絡(luò)會過擬合，因為它會為相鄰對象生成不一致的標(biāo)簽。在未標(biāo)記圖像的分類損失曲線中也觀察到過擬合。

不一致是指偽框可能高度不準(zhǔn)確，并且在不同的訓(xùn)練階段差異很大。

Motivation: Inconsisteny For SSOD

（左）比較“Mean-Teacher ”和“Consistent-Teacher”的訓(xùn)練損失。在Mean-Teacher中，不一致的偽目標(biāo)導(dǎo)致分類分支上的過擬合，而回歸損失變得難以收斂。相反，新提出的方法為學(xué)生設(shè)定了一致的優(yōu)化目標(biāo)，有效地平衡了這兩項任務(wù)并防止了過度擬合。

（右）偽標(biāo)簽和分配動態(tài)的快照。綠色和紅色的框指的是北極熊的真值和偽值。紅點(diǎn)是為偽標(biāo)簽指定的定位框。熱圖表示教師預(yù)測的密集置信度分?jǐn)?shù)（越亮越大）。附近的木板最終在基線中被錯誤地歸類為北極熊，而提出的自適應(yīng)分配防止了過度擬合。

三、實驗及結(jié)果

研究者的工作解決了SSOD的不一致問題。以下是訓(xùn)練過程中不同時間步長的一些樣本檢測結(jié)果：

Red: False Positive; Blue: True Postive; Green: Ground-truth

Mean-Teacher

Consistent-Teacher

Mean-Teacher

Consistent-Teacher