擁擠場(chǎng)景中基于深度學(xué)習(xí)的目標(biāo)檢測(cè)
在擁擠的場(chǎng)景中進(jìn)行物體檢測(cè)具有挑戰(zhàn)性。當(dāng)物體聚集時(shí)，它們往往會(huì)在很大程度上彼此重疊，從而導(dǎo)致遮擋。由相同類別的對(duì)象引起的遮擋稱為類內(nèi)遮擋，也稱為人群遮擋。物體檢測(cè)器需要確定人群中不同物體的位置，并準(zhǔn)確描繪其邊界。即使對(duì)于人類注釋者，許多情況也極具挑戰(zhàn)性。在自動(dòng)駕駛中，至少有幾種場(chǎng)景需要處理?yè)頂D場(chǎng)景中的物體檢測(cè)：停車場(chǎng)或城市街道中的車輛檢測(cè)以及十字路口上的行人檢測(cè)。
用于行人和車輛檢測(cè)的擁擠場(chǎng)景示例
人群場(chǎng)景的挑戰(zhàn)
擁擠場(chǎng)景用于物體檢測(cè)較為困難有以下幾種原因。
- 當(dāng)對(duì)象彼此嚴(yán)重重疊時(shí)，不同實(shí)例的語(yǔ)義特征也會(huì)交織在一起，并使扇區(qū)難以區(qū)分實(shí)例邊界。
- 即使檢測(cè)器成功地區(qū)分并檢測(cè)到實(shí)例，它們?nèi)匀豢梢酝ㄟ^非最大抑制(NMS)進(jìn)行抑制。NMS(甚至是其改進(jìn)的版本soft-NMS和matrix-NMS)遵循一個(gè)隱含的假設(shè)，即具有高重疊度的檢測(cè)框?qū)?yīng)于同一對(duì)象，因此需要分組并簡(jiǎn)化為一個(gè)框。這個(gè)假設(shè)相當(dāng)合理，但是，在擁擠的場(chǎng)景中，物體不再相互遮擋和重疊，這種假設(shè)不再適用。
- 包含或?qū)ｉT從事人群檢測(cè)的許多數(shù)據(jù)集(CrowdHuman，CityPersons，WiderPersons等)和實(shí)際應(yīng)用程序(自動(dòng)駕駛)都需要模態(tài)對(duì)象檢測(cè)。這意味著檢測(cè)器會(huì)預(yù)測(cè)一個(gè)覆蓋整個(gè)對(duì)象的盒子，即使它在圖像中不完全可見，例如由于其他對(duì)象的部分遮擋也是如此。實(shí)際上，這就是人類對(duì)環(huán)境的看法。由于無(wú)模態(tài)邊界框之間的重疊通常比可見邊界框高得多，這進(jìn)一步使對(duì)象檢測(cè)復(fù)雜化。
可見邊界框與非模態(tài)邊界框
非極大值抑制(NMS)的困境
人群檢測(cè)的最關(guān)鍵挑戰(zhàn)可能是NMS。如下所示，人群對(duì)象檢測(cè)中幾乎所有現(xiàn)有的作品都可以在NMS上或直接在NMS上工作。盡管現(xiàn)代物體檢測(cè)器中的大多數(shù)零件都是端到端可訓(xùn)練的，但NMS仍然是人類最后制造的組件之一。NMS貪婪地選擇得分最高的邊界框，并壓制與其高度重疊的邊界框。重疊是通過將“交叉口相交”(IoU)閾值與通常在0.3到0.5之間的預(yù)定義閾值進(jìn)行比較來測(cè)量的。NMS對(duì)閾值非常敏感-閾值越高，意味著抑制能力越低，可能會(huì)帶來更多的FP;閾值越低，意味著抑制性就越強(qiáng)，并且可能導(dǎo)致檢測(cè)漏檢。
藍(lán)色框顯示丟失的對(duì)象，紅色框突出顯示誤報(bào)
密集框改進(jìn)的損失
為了降低檢測(cè)結(jié)果對(duì)NMS閾值的敏感性，一些研究提出了新的損失以確保更嚴(yán)格的預(yù)測(cè)。他們提出了額外的懲罰措施，以生產(chǎn)更緊湊的邊框，并且對(duì)NMS的敏感性降低。相應(yīng)地，它們對(duì)出現(xiàn)在兩個(gè)行人中間的bbox施加了額外的懲罰，解決了人群對(duì)象檢測(cè)的問題之一。
RepLoss (在人群中檢測(cè)行人，CVPR 2018)提出了一種新穎的bbox回歸損失，專門針對(duì)人群場(chǎng)景設(shè)計(jì)。這不僅推動(dòng)每個(gè)提案達(dá)到其設(shè)計(jì)目標(biāo)，而且還使其遠(yuǎn)離其他周圍物體。
RepGT損失會(huì)懲罰與非目標(biāo)GT對(duì)象的重疊。RepBox的損失鼓勵(lì)了兩個(gè)具有不同指定目標(biāo)的預(yù)測(cè)框之間的IoU區(qū)域需要很小。這意味著在NMS之后，具有diff回歸目標(biāo)的預(yù)測(cè)框不太可能合并為一個(gè)。
AggLoss (可識(shí)別遮擋的R-CNN：在人群中檢測(cè)行人，ECCV 2018)提出了一個(gè)新的損失條款，以強(qiáng)制將提案緊湊地定位到指定的地面真實(shí)對(duì)象。具體而言，它會(huì)在錨的平均預(yù)測(cè)與相應(yīng)的GT之間強(qiáng)制執(zhí)行SL1損失。
RepLoss和AggLoss的比較
RepLoss和AggLoss都通過修改損失函數(shù)來鼓勵(lì)更緊密的bbox。但是，有時(shí)在NMS為對(duì)象檢測(cè)器的性能設(shè)置上限的高度擁擠的情況下，更嚴(yán)格的檢測(cè)結(jié)果也無(wú)濟(jì)于事。例如，在CrowdHuman數(shù)據(jù)集中，如果應(yīng)用IoU閾值為0.5(源)的標(biāo)準(zhǔn)NMS，將在檢測(cè)中丟失近10%的地面實(shí)例。換句話說，即使是完美的檢測(cè)器(100%的召回率和精確的邊界框精度)也將無(wú)法在NMS之后檢測(cè)所有實(shí)例。
遮擋感知NMS
為了在擁擠的場(chǎng)景中實(shí)現(xiàn)更好的目標(biāo)檢測(cè)性能，需要以更加原則化的方式解決NMS的瓶頸。許多論文努力重新設(shè)計(jì)NMS，以更適當(dāng)?shù)靥幚碚趽跚闆r，同時(shí)又不降低正常情況下的性能。
自適應(yīng)NMS(人群中的完善行人檢測(cè)，CVPR 2019口頭)指出，NMS的困境是由強(qiáng)制選擇單個(gè)閾值引起的。本文提出的自適應(yīng)NMS應(yīng)用了一種動(dòng)態(tài)抑制策略，其中，閾值隨著實(shí)例的聚集和遮擋而升高，而當(dāng)實(shí)例分別出現(xiàn)時(shí)則降低。它使用單獨(dú)的子網(wǎng)在線預(yù)測(cè)對(duì)象密度得分(或擁擠度)，并將其用作NMS的自適應(yīng)閾值。對(duì)于高物體密度區(qū)域中的物體，使用最大動(dòng)態(tài)閾值(fixed_threshold，crowdness)執(zhí)行NMS。這可以在擁擠度得分高的擁擠區(qū)域自適應(yīng)地調(diào)整閾值。就是說，擁擠度估計(jì)是一項(xiàng)艱巨的任務(wù)，并且回合真密度與預(yù)測(cè)邊界框的IoU之間通常存在不一致。
Double Anchor(用于在人群中進(jìn)行人類檢測(cè)的Double Anchor R-CNN，Arxiv 2019)的開發(fā)旨在捕獲成對(duì)的身體和頭部。本文特別針對(duì)人類的檢測(cè)，并且其背后的直覺很簡(jiǎn)單：與人體相比，頭部通常具有較小的比例，較少的重疊以及在真實(shí)世界圖像中的更好視線，因此姿勢(shì)更健壯變化和人群遮擋。該網(wǎng)絡(luò)基于Faster RCNN框架，可以預(yù)測(cè)頭部框和身體框，每個(gè)箱體都有一個(gè)置信度得分。然后，聯(lián)合NMS方法使用來自head bbox得分和body bbox得分的加權(quán)得分，如果身體重疊或頭部重疊超過某個(gè)閾值，則具有較低得分的盒子將被抑制。
Double Anchor的體系結(jié)構(gòu)
Double Anchor的直覺很棒，但頭部框和身體框的概念僅限于行人檢測(cè)的范圍。幾乎按照定義，物體的可見部分受遮擋的影響要小得多。我們是否可以通過身體框和頭部箱重新定義為無(wú)模態(tài)全箱(封閉遮擋范圍)和可見框，使“雙錨”方法更通用?
R2-NMS (CVPR 2020)和VG-NMS(NeurIPS 2019研討會(huì))正是做到了這一點(diǎn)。這兩項(xiàng)粗略的當(dāng)代研究都預(yù)測(cè)了完整的bbox和可見區(qū)域，并將可見區(qū)域用于NMS。R2-NMS專注于擁擠的行人檢測(cè)，并使用類似Faster-RCNN的兩階段目標(biāo)檢測(cè)框架，而VG-NMS則更多關(guān)注于停車場(chǎng)或城市場(chǎng)景中的擁擠車輛檢測(cè)，并使用類似于SDD的單階段對(duì)象檢測(cè)框架。
R2-NMS和VG-NMS的示意圖
CrowdDet (CVPR 2020)預(yù)測(cè)每個(gè)錨點(diǎn)進(jìn)行多次檢測(cè)以進(jìn)行人群檢測(cè)。預(yù)期來自同一錨點(diǎn)的預(yù)測(cè)框會(huì)推斷出相同的實(shí)例集，而不是像大多數(shù)對(duì)象檢測(cè)器中的單個(gè)預(yù)測(cè)范式那樣區(qū)分單個(gè)實(shí)例。修改后的集合NMS在很大程度上遵循正常的NMS程序，但是跳過了對(duì)來自相同錨點(diǎn)的預(yù)測(cè)的抑制。
由于每個(gè)錨點(diǎn)現(xiàn)在可以預(yù)測(cè)一組對(duì)象實(shí)例而沒有任何特定順序，因此需要修改損耗以測(cè)量?jī)山M之間的距離。EMD(地球移動(dòng)者的距離)損耗用于在所有匹配的排列中選擇損耗最小的最佳匹配。它還添加了將其類別標(biāo)簽視為背景的虛擬框，并掩蓋了回歸損失。這些想法實(shí)際上與許多范式轉(zhuǎn)移的DETR論文非常相似，我將在后面寫總結(jié)。
單一預(yù)測(cè)與集合預(yù)測(cè)范例
上述人為的病理情況說明了單預(yù)測(cè)范例的基本局限性。在擁擠的場(chǎng)景中，從本質(zhì)上很難從單個(gè)錨點(diǎn)預(yù)測(cè)單個(gè)實(shí)例，因?yàn)樘岚妇哂蟹浅Ｏ嗨频墓δ?。而且，在香草NMS之后，很可能只有一個(gè)預(yù)測(cè)能幸免。
盡管在自動(dòng)駕駛和許多實(shí)際應(yīng)用中，上述人為情況極不可能發(fā)生，但這確實(shí)是沒有設(shè)計(jì)現(xiàn)代物體檢測(cè)器無(wú)法處理的一個(gè)極端情況，無(wú)論是基于錨的一階段或兩階段或無(wú)錨。一般來說，物體檢測(cè)是要分辨物體在哪里以及物體有多大。但是，這種情況既有中心位置沖突(無(wú)法通過中心熱圖處理)又有大小沖突(無(wú)法通過多尺度特征圖處理)。
無(wú)網(wǎng)管
現(xiàn)在我們知道NMS是對(duì)象檢測(cè)器必不可少的弊端，為什么不消除它呢?有確實(shí)是最近的錨自由和NMS-無(wú)物體探測(cè)器波，最具代表性的是CenterNet(的arXiv 2019)和FCOS(ICCV 2019)為總體目標(biāo)檢測(cè)和CSP (CVPR 2019)奉獻(xiàn)給行人檢測(cè)。
盡管無(wú)錨的方法可以消除傳統(tǒng)意義上的NMS，但必須在預(yù)測(cè)的中心熱圖中選擇局部最大值。這些免錨(或單錨，取決于您的查看方式)方法可以減輕基于錨的方法的NMS引起的問題。免錨方法的性能在很大程度上仍取決于如何制定檢測(cè)問題。正確的方法似乎仍然是R2-NMS / VG-NMS方法或CrowdDet方法。
用于無(wú)錨CSP的行人檢測(cè)的極其簡(jiǎn)單的管道
沒有擁塞的密集場(chǎng)景
在以上所有研究中，我們假設(shè)場(chǎng)景擁擠且有遮擋。一個(gè)相關(guān)但略有不同的領(lǐng)域是在密集場(chǎng)景中(例如在架子上展示中)的物體檢測(cè)。在這樣的零售場(chǎng)景中，許多物體看起來相似或相同，并且通常放置得很近，但沒有太多的遮擋。通用物體檢測(cè)器在這里也會(huì)慘遭失敗。SKU110K (CVPR 2019)提出了一種EM合并算法來代替NMS來過濾，合并和拆分重疊的檢測(cè)簇，以解決每個(gè)對(duì)象的單個(gè)檢測(cè)問題。
RetinatNet與EM-merger算法之間的比較
結(jié)論
NMS是現(xiàn)代物體探測(cè)器的重要組成部分。NMS有一個(gè)基本的假設(shè)，即需要抑制高度重疊的預(yù)測(cè)，但只有一個(gè)。然而，擁擠的場(chǎng)景從定義上挑戰(zhàn)了這一假設(shè)。
人群對(duì)象檢測(cè)中幾乎所有現(xiàn)有的作品都在NMS上或直接在NMS上運(yùn)作。RepLoss和AggLoss鼓勵(lì)更嚴(yán)格的邊界框預(yù)測(cè)，從而減輕了對(duì)NMS閾值的敏感性。
自適應(yīng)NMS動(dòng)態(tài)預(yù)測(cè)將在推理中使用的NMS閾值。聯(lián)合NMS(雙錨點(diǎn))，R2-NMS，VG-NMS會(huì)為每個(gè)實(shí)例預(yù)測(cè)兩個(gè)盒子，并在NMS期間使用不太容易遮擋的盒子。Set NMS(CrowdDet)從根本上解決了大多數(shù)現(xiàn)代對(duì)象檢測(cè)器無(wú)法處理的位置和比例沖突的極端情況。預(yù)測(cè)一組邊界框的想法與DETR相似，并且可能是超越當(dāng)前密集預(yù)測(cè)范式的對(duì)象檢測(cè)的未來。
在實(shí)踐中，R2-NMS和VG-NMS使用的方法似乎是處理遮擋的最實(shí)用方法，并且實(shí)際上應(yīng)該處理大多數(shù)人群遮擋的情況。在NMS之前可視化檢測(cè)結(jié)果也似乎是功能強(qiáng)大的調(diào)試工具。
本文轉(zhuǎn)載 ??小白遇見AI?? ，作者：小煩
