摘要

本文旨在解決人體重識別中遮擋問題對匹配的影響。現(xiàn)有方法使用背景作為人工遮擋，并依賴于注意力網(wǎng)絡(luò)排除干擾。然而，簡單背景遮擋與現(xiàn)實遮擋之間的顯著差異可能會影響網(wǎng)絡(luò)的泛化能力。為此，作者提出了一個基于注意力干擾和雙路徑約束網(wǎng)絡(luò)（ADP）的新方法，以增強(qiáng)注意力網(wǎng)絡(luò)的泛化能力。首先，為了模仿真實世界中的障礙物，引入了注意力干擾掩模模塊（ADM），該模塊可以生成類似于真實遮擋者的攻擊性噪聲，從而產(chǎn)生更復(fù)雜的遮擋形式。其次，為了充分利用這些復(fù)雜的遮擋圖像，開發(fā)了一個雙路徑約束模塊（DPC），可以通過雙路徑交互從完整圖像中獲得首選監(jiān)督信息。通過實驗結(jié)果表明，ADP比現(xiàn)有方法具有更好的性能。

論文方法

方法描述

該論文提出了一種名為ADP（Attention Disturbance and Dual-Path Constraint Network）的方法，用于處理帶有遮擋的人體識別問題。其主要思想是通過生成人工遮擋圖像來模擬真實場景中的遮擋情況，并利用注意力干擾和雙路徑約束模塊來提高模型性能。

具體來說，該方法使用預(yù)訓(xùn)練的ViT作為骨干網(wǎng)絡(luò)提取圖像特征，并使用背景信息作為遮擋區(qū)域的載體，生成隨機(jī)遮擋位置的遮擋圖像。然后將遮擋圖像與原始圖像一起輸入?yún)?shù)共享的transformer中，以提取它們各自的特征。在transformer中添加一個可學(xué)習(xí)的類嵌入標(biāo)記，以聚合圖像信息并充當(dāng)全局特征圖。此外，在transformer中還添加了一個可學(xué)習(xí)的位置嵌入，以添加空間信息。

方法改進(jìn)

該方法引入了注意力干擾機(jī)制，通過動態(tài)更新遮擋掩模，使網(wǎng)絡(luò)的注意力錯誤地集中在遮擋區(qū)域上，從而增強(qiáng)模型對于遮擋的魯棒性。同時，通過引入雙路徑約束模塊，將原始圖像和遮擋圖像分別輸入到不同的身份分類器中，增加了模型對于復(fù)雜遮擋情況的處理能力。

解決的問題

該方法可以有效地解決帶有遮擋的人體識別問題，尤其是在復(fù)雜的遮擋情況下。實驗結(jié)果表明，相較于其他方法，該方法在不同數(shù)據(jù)集上的識別準(zhǔn)確率都有所提升。

論文實驗

本文主要介紹了在Re-ID領(lǐng)域中提出的一種新的方法——自適應(yīng)多路徑網(wǎng)絡(luò)（ADP），并進(jìn)行了廣泛的實驗驗證其有效性。實驗包括兩個部分：一是針對兩種不同類型的Re-ID數(shù)據(jù)集——occluded和holistic的數(shù)據(jù)集，對ADP與其他SOTA方法的比較實驗；二是對ADP內(nèi)部各個模塊的影響進(jìn)行的ablation實驗。

首先，在occluded數(shù)據(jù)集上的實驗結(jié)果表明，相比于CNN-based方法，Transformer-based方法表現(xiàn)更好，這說明了利用注意力機(jī)制對于處理遮擋問題是有益的。具體來說，在最具有挑戰(zhàn)性的Occluded-Duke數(shù)據(jù)集上，ADP取得了72.2%的rank-1準(zhǔn)確率，比transformer-based SOTA方法DPM高出3.1%。此外，通過使用小步滑動窗口設(shè)置，提出的ADP*進(jìn)一步提高了性能，達(dá)到了74.5%的rank-1準(zhǔn)確率和63.8%的mAP，相比DPM分別提高了2.0%和3.1%。

其次，在holistic數(shù)據(jù)集上的實驗結(jié)果表明，盡管ADP是為了解決遮擋問題而設(shè)計的，但它在holistic數(shù)據(jù)集上的表現(xiàn)也相當(dāng)不錯。例如，在Market-1501和DukeMTMC-reID數(shù)據(jù)集上，ADP相對于state-of-the-art方法ISP和VPM分別獲得了0.3%-1.6%和2.6%-7.6%的rank-1準(zhǔn)確率提升，以及0.9%-3.1%和8.7%-10.5%的mAP提升。

最后，在ABlation實驗中，作者通過對ADP內(nèi)部各個模塊的影響進(jìn)行分析，得出了以下結(jié)論：

訓(xùn)練時使用ADM進(jìn)行遮擋的圖像可以顯著提高模型性能，相比于基準(zhǔn)方法，性能提升了6.5%的rank-1準(zhǔn)確率和7.9%的mAP；   在DPC模塊中，采用雙路徑結(jié)構(gòu)和不對稱分類的方法能夠更好地利用不同類型的數(shù)據(jù)，并且在rank-1準(zhǔn)確率和mAP方面分別提高了1.0%和0.5%，同時添加Litr和Ltri等額外連接可以進(jìn)一步提高性能。   綜上所述，本文提出了一種新的Re-ID方法ADP，并在多個數(shù)據(jù)集上進(jìn)行了廣泛的實驗驗證其有效性，證明了該方法在處理遮擋問題和holistic數(shù)據(jù)集上的優(yōu)越性。

論文總結(jié)

文章優(yōu)點

該論文提出了一種新的方法來解決人臉識別中的遮擋問題，并且通過實驗驗證了其有效性。該方法采用了攻擊型數(shù)據(jù)增強(qiáng)策略，模擬真實場景下的遮擋效果，從而提高模型對于遮擋情況的魯棒性。同時，該方法還引入了一個雙路徑約束模塊，使得模型能夠同時處理整張圖像和遮擋后的部分圖像，提高了模型的泛化能力。這些創(chuàng)新性的方法為解決人臉識別中的遮擋問題提供了新的思路和解決方案。

方法創(chuàng)新點

該論文提出了兩個創(chuàng)新性的方法：Attention Disturbance Mask（ADM）和Dual-Path Constraint Module（DPC）。其中，ADM采用了攻擊型數(shù)據(jù)增強(qiáng)策略，通過產(chǎn)生噪聲掩模來模擬真實場景下的遮擋效果，從而提高模型對于遮擋情況的魯棒性；而DPC則引入了一個雙路徑約束模塊，使得模型能夠同時處理整張圖像和遮擋后的部分圖像，提高了模型的泛化能力。這兩個方法都具有較高的實用性和可擴(kuò)展性，可以應(yīng)用于多種不同的人臉識別任務(wù)中。

未來展望

該論文提出的Attention Disturbance Mask（ADM）和Dual-Path Constraint Module（DPC）方法在人臉識別領(lǐng)域具有廣泛的應(yīng)用前景。未來可以通過進(jìn)一步優(yōu)化算法實現(xiàn)更高效的訓(xùn)練過程，并探索更多的應(yīng)用場景，如視頻監(jiān)控等領(lǐng)域。此外，還可以結(jié)合其他技術(shù)手段，如深度學(xué)習(xí)、機(jī)器視覺等，以提高人臉識別系統(tǒng)的性能和可靠性。

本文轉(zhuǎn)載自 ??AI論文解讀??，作者： 柏企