本文經(jīng)自動駕駛之心公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

原標題：Ray Denoising: Depth-aware Hard Negative Sampling for Multi-view 3D Object Detection

論文鏈接：https://arxiv.org/pdf/2402.03634

代碼鏈接：https://github.com/LiewFeng/RayDN

作者單位：中國科學院大學 Mach Drive

論文思路：

多視角3D目標檢測系統(tǒng)由于圖像深度估計的挑戰(zhàn)，常常難以生成精確的預測，導致冗余和錯誤檢測的增加。本文提出了一種創(chuàng)新方法— Ray Denoising ，通過沿著相機射線進行戰(zhàn)略性采樣來構(gòu)建困難負樣本，從而提高檢測精度。這些負樣本在視覺上難以與真正的正樣本區(qū)分，使模型被迫學習深度感知特征，從而增強其區(qū)分真陽性和假陽性的能力。Ray Denoising 設計為一個即插即用的模塊，兼容于任何DETR風格的多視角3D檢測器，并且只在訓練時增加了極少的計算成本，而不影響推理速度。本文的綜合實驗，包括詳細的消融研究，一致表明 Ray Denoising 在多個數(shù)據(jù)集上均優(yōu)于強基線方法。在NuScenes數(shù)據(jù)集上，相較于最先進的StreamPETR方法，它在 mAP 上提升了1.9%。在Argoverse 2數(shù)據(jù)集上也顯示出顯著的性能提升，突顯了其良好的泛化能力。

主要貢獻：

本文識別了沿同一射線的誤檢這一持續(xù)存在的挑戰(zhàn)，這成為多視角3D目標檢測器性能的瓶頸。

本文引入了 Ray Denoising ，這是一種新穎的去噪方法，利用Beta分布在射線方向上創(chuàng)建深度感知的困難負樣本。該方法明確考慮了場景的3D結(jié)構(gòu)，提供了一種靈活的解決方案，兼容任何DETR風格的多視角3D檢測器，以解決沿射線的重復預測問題。

本文的方法在NuScenes數(shù)據(jù)集 [2] 上達到了最先進的結(jié)果，顯著提升了多視角3D目標檢測器的性能。具體來說，本文在 mAP 上相較于當前最先進的方法StreamPETR提升了1.9%，從而證明了 Ray Denoising 的有效性。

論文設計：

3D目標檢測是自動駕駛系統(tǒng)中的關(guān)鍵組件，因而引起了計算機視覺領(lǐng)域的廣泛關(guān)注。相比于基于LiDAR的解決方案，基于圖像的3D目標檢測由于其成本效益正經(jīng)歷著研究熱潮 [9, 10, 13, 14, 37, 38]。在依賴于周圍相機圖像的多視角3D目標檢測中，一個主要挑戰(zhàn)是從圖像中估計深度的難度，這會導致重復預測，如圖1所示。

盡管在方法上有所改進，多視角3D目標檢測器在減少由深度模糊引起的誤檢方面仍面臨困難。近期的幾項研究 [8, 15, 17, 19, 22, 26, 34, 41, 46] 試圖通過引入時間信息來解決這一問題。然而，這些方法并未明確考慮場景的3D結(jié)構(gòu)，從而限制了其進一步提升的潛力。

此外，先前的研究還探索了應用諸如非極大值抑制（Non-Maximum Suppression, NMS）和 Focal Loss 等通用技術(shù)來緩解重復預測問題。NMS作為一種后處理技術(shù)，主要針對具有高交并比（IoU）的誤檢，但當這些預測沿射線分散且IoU較低時，其效果不佳。Focal Loss 作為一種旨在減少高置信度誤檢的損失函數(shù)也被應用。然而，觀察發(fā)現(xiàn)，使用 Focal Loss 的多視角3D目標檢測器在有效解決沿同一射線的誤檢問題時仍然面臨挑戰(zhàn)。

本文的定量分析強調(diào)了解決與真實值（Ground Truth）沿同一射線的誤檢的重要性。通過利用真實值目標的精確位置數(shù)據(jù)，本文能夠在最先進的StreamPETR方法 [34] 中識別并消除這些冗余預測。這一過程顯著提升了 mAP 5.4%，突顯了模型提升深度估計能力的關(guān)鍵需求。這一顯著的改進表明，通過優(yōu)化深度估計來抑制這些誤檢，能夠顯著提升整體檢測性能的潛力。

本文的關(guān)鍵觀察是，由于傳統(tǒng)多視角目標檢測器的固有限制，誤檢常常沿著相機射線發(fā)生。由于每個像素的深度信息未能準確估計，位置嵌入只能編碼射線方向。因此，同一射線上的查詢將始終與圖像中的相同視覺特征交互，導致沿該射線出現(xiàn)大量重復預測（誤檢）。這一情形突顯了模型學習深度感知特征的需求，以便在視覺特征相同的情況下區(qū)分深度上的目標。本文提出了一種新方法，稱為 Ray Denoising （簡稱RayDN）。該框架本質(zhì)上具有靈活性，不限制用于采樣深度感知困難負樣本的分布選擇。根據(jù)本文的消融研究，本文選擇了Beta分布，因為它在捕捉模型可能生成的誤檢的空間分布方面表現(xiàn)出色。此選擇使 Ray Denoising 能夠創(chuàng)建用于去噪的深度感知困難負樣本，從而增強模型學習更健壯特征和表征以區(qū)分沿射線的誤檢的能力，如圖2所示。Ray Denoising 在訓練階段僅引入了極少的計算成本增加，而不會影響推理速度。

圖1：在多視角3D目標檢測中，從圖像中估計深度的挑戰(zhàn)導致沿相機射線的重復預測和誤檢。

圖2：提出的 Ray Denoising 方法（右圖）有效減少了在先前最先進方法StreamPETR [34]（左圖）中沿射線的誤檢（紅色矩形高亮部分）。

圖3：Ray Denoising 方法的整體框架，這是一種即插即用的訓練技術(shù)，適用于DETR風格的多視角3D目標檢測器，重點在于提升模型區(qū)分深度中真陽性和假陽性的能力。通過投射射線和采樣深度感知的去噪查詢，有效解決了由于視覺深度估計固有困難而產(chǎn)生的誤檢問題，從而在檢測性能上相較于強基線方法取得了顯著提升。

討論：

本文的 Ray Denoising （Ray Denoising）方法基于一個關(guān)鍵觀察，即基于圖像的3D檢測系統(tǒng)往往難以區(qū)分沿相機射線的真陽性和假陽性。DETR風格的多視角3D目標檢測器通過真實值監(jiān)督隱式地學習深度估計。然而，可學習查詢的隨機分布參考點并未充分利用可用的真實值信息。盡管這些參考點在訓練過程中會更新，但它們未能為每個場景中的每個目標提供足夠的困難負樣本。為了增強對真實值信息的利用，傳統(tǒng)的去噪技術(shù)在訓練期間引入了均勻分布在真實值目標周圍的額外參考點。這些特定實例的參考點提高了檢測性能 [19,22,34]。然而，它們忽視了多視角3D目標檢測固有的深度模糊問題。由于每個像素缺乏精確的深度信息，位置嵌入只能編碼射線方向，而不能編碼深度。這導致同一射線上的查詢與相同的圖像特征交互，產(chǎn)生冗余預測。Ray Denoising 不同于傳統(tǒng)技術(shù)，通過沿從相機到目標的射線戰(zhàn)略性地生成參考點。這種方法明確考慮了場景中每個目標的3D結(jié)構(gòu)，提供了足夠數(shù)量的困難負樣本。在訓練過程中，這些 Ray Queries 在自注意力層中進行交互，有效引導模型抑制深度模糊的空間困難負樣本。這種交互增強了檢測器區(qū)分真陽性預測（目標）和假陽性預測（重復檢測）的能力，從而提高了檢測精度。

實驗結(jié)果：

圖4：(a) 分布比較顯示，Beta分布在-1到1之間有界，而Laplace分布和高斯分布則是無界的。(b) Beta分布族，通過使用變換  將 x 范圍從  調(diào)整到 。

圖5：(a) 不同距離閾值下的精確度-召回率（precision-recall）曲線可視化。Ray Denoising 在幾乎所有召回率水平上均提升了精確度，有效抑制了誤檢。(b) 按類別的平均精度（AP）比較。Ray Denoising 在所有目標類別上均優(yōu)于最先進的StreamPETR。

圖6：本文在nuScenes驗證集上的檢測結(jié)果可視化。Ray Denoising 在有效減少重復誤檢的同時，保持了檢測同一射線上的高度遮擋目標的能力。

總結(jié)：

本文引入了 Ray Denoising （Ray Denoising），這是一種旨在克服多視角3D目標檢測中深度估計不準確這一關(guān)鍵挑戰(zhàn)的方法。Ray Denoising 解決了沿相機射線發(fā)生的誤檢問題，這些誤檢是由于圖像深度信息不精確直接導致的。通過利用場景的3D結(jié)構(gòu)， Ray Denoising 促使模型學習深度感知特征，從而在不增加額外推理成本的情況下，提高了沿同一射線區(qū)分真陽性和假陽性的能力。本文在NuScenes和Argoverse 2數(shù)據(jù)集上的綜合實驗表明， Ray Denoising 始終顯著優(yōu)于強基線方法，在多視角3D目標檢測中實現(xiàn)了新的最先進性能。