逆天UniVision：BEV檢測(cè)和Occ聯(lián)合統(tǒng)一框架，雙SOTA！

作者：Yu Hong 2024-03-04 09:48:26

UniVision是一個(gè)簡(jiǎn)單高效的框架，它統(tǒng)一了以視覺為中心的3D感知中的兩個(gè)主要任務(wù)，即占用預(yù)測(cè)和目標(biāo)檢測(cè)。

本文經(jīng)自動(dòng)駕駛之心公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

寫在前面&個(gè)人理解

最近這幾年以視覺為中心的3D感知在自動(dòng)駕駛中得到了快速發(fā)展。盡管3D感知模型在結(jié)構(gòu)和概念上有許多相似之處，但在特征表示、數(shù)據(jù)格式和目標(biāo)方面仍存在差距，這對(duì)統(tǒng)一高效的3D感知框架設(shè)計(jì)提出了挑戰(zhàn)。

特別是BEV下的檢測(cè)任務(wù)和Occupancy任務(wù)，想做好聯(lián)合訓(xùn)練，還是很難的，不穩(wěn)定和效果不可控讓很多應(yīng)用頭大。UniVision是一個(gè)簡(jiǎn)單高效的框架，它統(tǒng)一了以視覺為中心的3D感知中的兩個(gè)主要任務(wù)，即占用預(yù)測(cè)和目標(biāo)檢測(cè)。核心點(diǎn)是一個(gè)用于互補(bǔ)2D-3D feature transformation的顯式-隱式視圖變換模塊，UniVision提出了一個(gè)局部全局特征提取和融合模塊，用于高效和自適應(yīng)的體素和BEV特征提取、增強(qiáng)和交互。

在數(shù)據(jù)增強(qiáng)部分，UniVision還提出了一種聯(lián)合占用檢測(cè)數(shù)據(jù)增強(qiáng)策略和漸進(jìn)式loss weight調(diào)整策略，以提高多任務(wù)框架訓(xùn)練的效率和穩(wěn)定性。在四個(gè)公共基準(zhǔn)上對(duì)不同的感知任務(wù)進(jìn)行了廣泛的實(shí)驗(yàn)，包括無場(chǎng)景激光雷達(dá)分割、無場(chǎng)景檢測(cè)、OpenOccupancy和Occ3D。UniVision在每個(gè)基準(zhǔn)上分別以+1.5 mIoU、+1.8 NDS、+1.5 mIoU和+1.8 mIoU的增益實(shí)現(xiàn)了SOTA。UniVision框架可以作為統(tǒng)一的以視覺為中心的3D感知任務(wù)的高性能基線。

如果對(duì)BEV和Occupancy任務(wù)不熟悉的同學(xué)，也歡迎大家進(jìn)一步學(xué)習(xí)我們的BEV感知教程和Occupancy占用網(wǎng)絡(luò)教程，了解更多技術(shù)細(xì)節(jié)！

當(dāng)前3D感知領(lǐng)域的狀態(tài)

3D感知是自動(dòng)駕駛系統(tǒng)的首要任務(wù)，其目的是利用一系列傳感器（如激光雷達(dá)、雷達(dá)和相機(jī)）獲得的數(shù)據(jù)來全面了解駕駛場(chǎng)景，用于后續(xù)的規(guī)劃和決策。過去，由于來自點(diǎn)云數(shù)據(jù)的精確3D信息，3D感知領(lǐng)域一直由基于激光雷達(dá)的模型主導(dǎo)。然而，基于激光雷達(dá)的系統(tǒng)成本高昂，容易受到惡劣天氣的影響，而且部署起來不方便。相比之下，基于視覺的系統(tǒng)具有許多優(yōu)點(diǎn)，如低成本、易于部署和良好的可擴(kuò)展性。因此，以視覺為中心的三維感知引起了研究者的廣泛關(guān)注。

最近，通過特征表示變換、時(shí)間融合和監(jiān)督信號(hào)設(shè)計(jì)，基于視覺的3D檢測(cè)得到了顯著改進(jìn)，不斷縮小了與基于激光雷達(dá)的模型的差距。除此之外，近年來基于視覺的占用任務(wù)得到了快速發(fā)展。與使用3D box來表示一些目標(biāo)不同，占用率可以更全面地描述駕駛場(chǎng)景的幾何和語義，并且不太局限于目標(biāo)的形狀和類別。

盡管檢測(cè)方法和占用方法在結(jié)構(gòu)和概念上有很多相似之處，但同時(shí)處理這兩項(xiàng)任務(wù)并探索它們之間的相互關(guān)系并沒有得到很好的研究。占用模型和檢測(cè)模型通常提取不同的特征表示。占用預(yù)測(cè)任務(wù)需要在不同的空間位置上進(jìn)行詳盡的語義和幾何判斷，因此體素表示被廣泛用于保存細(xì)粒度的3D信息。在檢測(cè)任務(wù)中，BEV表示是優(yōu)選的，因?yàn)榇蠖鄶?shù)對(duì)象處于相同的水平水平面上，具有較小的重疊。

與BEV表示相比，體素表示是精細(xì)的，但效率較低。此外，許多高級(jí)算子主要針對(duì)2D特征進(jìn)行設(shè)計(jì)和優(yōu)化，使其與3D體素表示的集成不那么簡(jiǎn)單。BEV表示更具時(shí)間效率和內(nèi)存效率，但對(duì)于密集空間預(yù)測(cè)來說，它是次優(yōu)的，因?yàn)樗诟叨染S度上丟失了結(jié)構(gòu)信息。除了特征表示，不同的感知任務(wù)在數(shù)據(jù)格式和目標(biāo)方面也有所不同。因此，確保訓(xùn)練多任務(wù)3D感知框架的統(tǒng)一性和效率是一個(gè)巨大的挑戰(zhàn)。

UniVision網(wǎng)絡(luò)結(jié)構(gòu)

圖1顯示了UniVision框架的總體架構(gòu)。給定來自周圍N個(gè)相機(jī)的多視角圖像作為輸入，首先利用圖像特征提取網(wǎng)絡(luò)從中提取圖像特征。然后，使用Ex-Im視圖變換模塊將2D圖像特征提升為3D體素特征，該模塊結(jié)合了深度引導(dǎo)的顯式特征提升和查詢引導(dǎo)的隱式特征采樣。體素特征被發(fā)送到局部全局特征提取和融合block，以分別提取局部上下文感知體素特征和全局上下文感知BEV特征。然后使用交叉表示特征交互模塊對(duì)用于不同下游感知任務(wù)的體素特征和BEV特征進(jìn)行信息交換。在訓(xùn)練過程中，聯(lián)合Occ-Det數(shù)據(jù)增強(qiáng)和漸進(jìn)loss weight調(diào)整策略用于UniVision框架的有效訓(xùn)練。

1）Ex-Im View Transform

深度導(dǎo)向顯式特征提升。這里遵循LSS方法：

2）查詢引導(dǎo)的隱式特征采樣。然而，在表示3D信息方面存在一些缺陷。的精度與估計(jì)的深度分布的精度高度相關(guān)。此外，LSS生成的點(diǎn)分布不均勻。點(diǎn)在相機(jī)附近密集，在距離上稀疏。因此，我們進(jìn)一步使用查詢引導(dǎo)的特征采樣來補(bǔ)償?shù)纳鲜鋈秉c(diǎn)。

與從LSS生成的點(diǎn)相比，體素查詢?cè)?D空間中均勻分布，并且它們是從所有訓(xùn)練樣本的統(tǒng)計(jì)特性中學(xué)習(xí)的，這與LSS中使用的深度先驗(yàn)信息無關(guān)。因此，和相互補(bǔ)充，將它們連接起來作為視圖變換模塊的輸出特征：

2）局部全局特征提取與融合

給定輸入體素特征，首先將特征疊加在Z軸上，并使用卷積層來減少通道，以獲得BEV特征：

然后，模型分成兩個(gè)平行的分支進(jìn)行特征提取和增強(qiáng)。局部特征提取+全局特征提取，以及最后的交叉表示特征交互！如圖1（b）中所示。

3）損失函數(shù)與檢測(cè)頭

漸進(jìn)式loss weight調(diào)整策略。在實(shí)踐中，發(fā)現(xiàn)直接結(jié)合上述損失往往會(huì)導(dǎo)致訓(xùn)練過程失敗，網(wǎng)絡(luò)無法收斂。在訓(xùn)練的早期階段，體素特征Fvoxel是隨機(jī)分布的，并且占用頭和檢測(cè)頭中的監(jiān)督比收斂中的其他損失貢獻(xiàn)更小。同時(shí)，檢測(cè)任務(wù)中的分類損失Lcls等損失項(xiàng)目非常大，并且在訓(xùn)練過程中占主導(dǎo)地位，使得模型難以優(yōu)化。為了克服這一問題，提出了漸進(jìn)式損失權(quán)重調(diào)整策略來動(dòng)態(tài)調(diào)整損失權(quán)重。具體而言，將控制參數(shù)δ添加到非圖像級(jí)損失（即占用損失和檢測(cè)損失）中，以調(diào)整不同訓(xùn)練周期中的損失權(quán)重。控制權(quán)重δ在開始時(shí)被設(shè)置為較小的值Vmin，并在N個(gè)訓(xùn)練時(shí)期中逐漸增加到Vmax：

4）聯(lián)合Occ-Det空間數(shù)據(jù)增強(qiáng)

在3D檢測(cè)任務(wù)中，除了常見的圖像級(jí)數(shù)據(jù)增強(qiáng)之外，空間級(jí)數(shù)據(jù)增強(qiáng)在提高模型性能方面也是有效的。然而，在占用任務(wù)中應(yīng)用空間級(jí)別增強(qiáng)并不簡(jiǎn)單。當(dāng)我們將數(shù)據(jù)擴(kuò)充（如隨機(jī)縮放和旋轉(zhuǎn)）應(yīng)用于離散占用標(biāo)簽時(shí)，很難確定生成的體素語義。因此，現(xiàn)有的方法只應(yīng)用簡(jiǎn)單的空間擴(kuò)充，如占用任務(wù)中的隨機(jī)翻轉(zhuǎn)。

為了解決這個(gè)問題，UniVision提出了一種聯(lián)合Occ-Det空間數(shù)據(jù)增強(qiáng)，以允許在框架中同時(shí)增強(qiáng)3D檢測(cè)任務(wù)和占用任務(wù)。由于3D box標(biāo)簽是連續(xù)值，并且可以直接計(jì)算增強(qiáng)的3D box進(jìn)行訓(xùn)練，因此遵循BEVDet中的增強(qiáng)方法進(jìn)行檢測(cè)。盡管占用標(biāo)簽是離散的并且難以操作，但體素特征可以被視為連續(xù)的，并且可以通過采樣和插值等操作來處理。因此建議對(duì)體素特征進(jìn)行變換，而不是直接對(duì)占用標(biāo)簽進(jìn)行操作以進(jìn)行數(shù)據(jù)擴(kuò)充。

具體來說，首先對(duì)空間數(shù)據(jù)增強(qiáng)進(jìn)行采樣，并計(jì)算相應(yīng)的3D變換矩陣。對(duì)于占有標(biāo)簽及其voxel indices ，我們計(jì)算了它們的三維坐標(biāo)。然后，將應(yīng)用于，并對(duì)其進(jìn)行歸一化，以獲得增強(qiáng)體素特征中的 voxel indices ：

實(shí)驗(yàn)結(jié)果對(duì)比

使用了多個(gè)數(shù)據(jù)集進(jìn)行驗(yàn)證，NuScenes LiDAR Segmentation、NuScenes 3D Object Detection、OpenOccupancy和Occ3D。

NuScenes LiDAR Segmentation：根據(jù)最近的OccFormer和TPVFormer，使用相機(jī)圖像作為激光雷達(dá)分割任務(wù)的輸入，并且激光雷達(dá)數(shù)據(jù)僅用于提供用于查詢輸出特征的3D位置。使用mIoU作為評(píng)估度量。

NuScenes 3D Object Detection：對(duì)于檢測(cè)任務(wù)，使用nuScenes的官方度量，即nuScene檢測(cè)分?jǐn)?shù)（NDS），它是平均mAP和幾個(gè)度量的加權(quán)和，包括平均平移誤差（ATE）、平均尺度誤差（ASE）、平均方向誤差（AOE）、平均速度誤差（AVE）和平均屬性誤差（AAE）。

OpenOccupancy：OpenOccupancy基準(zhǔn)基于nuScenes數(shù)據(jù)集，提供512×512×40分辨率的語義占用標(biāo)簽。標(biāo)記的類與激光雷達(dá)分割任務(wù)中的類相同，使用mIoU作為評(píng)估度量！

Occ3D：Occ3D基準(zhǔn)基于nuScenes數(shù)據(jù)集，提供200×200×16分辨率的語義占用標(biāo)簽。Occ3D進(jìn)一步提供了用于訓(xùn)練和評(píng)估的可見mask。標(biāo)記的類與激光雷達(dá)分割任務(wù)中的類相同，使用mIoU作為評(píng)估度量！

1）Nuscenes激光雷達(dá)分割

表1顯示了nuScenes LiDAR分割基準(zhǔn)的結(jié)果。UniVision顯著超過了最先進(jìn)的基于視覺的方法OccFormer 1.5% mIoU，并在排行榜上創(chuàng)下了基于視覺的模型的新紀(jì)錄。值得注意的是，UniVision還優(yōu)于一些基于激光雷達(dá)的模型，如PolarNe和DB-UNet。

2）NuScenes 3D目標(biāo)檢測(cè)任務(wù)

如表2所示，當(dāng)使用相同的訓(xùn)練設(shè)置進(jìn)行公平比較時(shí)，UniVision顯示出優(yōu)于其他方法。與512×1408圖像分辨率的BEVDepth相比，UniVision在mAP和NDS方面分別獲得2.4%和1.1%的增益。當(dāng)放大模型并將UniVision與時(shí)間輸入相結(jié)合時(shí)，它進(jìn)一步以顯著的優(yōu)勢(shì)優(yōu)于基于SOTA的時(shí)序檢測(cè)器。UniVision通過較小的輸入分辨率實(shí)現(xiàn)了這一點(diǎn)，并且它不使用CBGS。

3）OpenOccupancy結(jié)果對(duì)比

OpenOccupancy基準(zhǔn)測(cè)試的結(jié)果如表3所示。UniVision在mIoU方面分別顯著超過了最近的基于視覺的占用方法，包括MonoScene、TPVFormer和C-CONet，分別為7.3%、6.5%和1.5%。此外，UniVision超越了一些基于激光雷達(dá)的方法，如LMSCNet和JS3C-Net。

4）Occ3D實(shí)驗(yàn)結(jié)果

表4列出了Occ3D基準(zhǔn)測(cè)試的結(jié)果。在不同的輸入圖像分辨率下，UniVision在mIoU方面顯著優(yōu)于最近的基于視覺的方法，分別超過2.7%和1.8%。值得注意的是，BEVFormer和BEVDet-stereo加載預(yù)先訓(xùn)練的權(quán)重，并在推理中使用時(shí)間輸入，而UniVision沒有使用它們，但仍然實(shí)現(xiàn)了更好的性能。

5）組件在檢測(cè)任務(wù)中的有效性

在表5中顯示了檢測(cè)任務(wù)的消融研究。當(dāng)將基于BEV的全局特征提取分支插入基線模型時(shí)，性能提高了1.7%mAP和3.0%NDS。當(dāng)將基于體素的占用任務(wù)作為輔助任務(wù)添加到檢測(cè)器時(shí)，該模型的mAP增益提高了1.6%。當(dāng)從體素特征中明確引入交叉表示交互時(shí)，該模型實(shí)現(xiàn)了最佳性能，與基線相比，mAP和NDS分別提高了3.5%和4.2%；

6）占用任務(wù)中組件的有效性

在表6中顯示了占用任務(wù)的消融研究?；隗w素的局部特征提取網(wǎng)絡(luò)為基線模型帶來了1.96%mIoU增益的改進(jìn)。當(dāng)檢測(cè)任務(wù)被引入作為輔助監(jiān)督信號(hào)時(shí)，模型性能提高了0.4%mIoU。

7）其它

表5和表6顯示，在UniVision框架中，檢測(cè)任務(wù)和占用任務(wù)都是相輔相成的。對(duì)于檢測(cè)任務(wù)，占用監(jiān)督可以提高mAP和mATE度量，這表明體素語義學(xué)習(xí)有效地提高了檢測(cè)器對(duì)目標(biāo)幾何的感知，即中心度和尺度。對(duì)于占用任務(wù)，檢測(cè)監(jiān)督顯著提高了前景類別（即檢測(cè)類別）的性能，從而實(shí)現(xiàn)了整體改進(jìn)。

在表7中展示了聯(lián)合Occ-Det空間增強(qiáng)、Ex-Im視圖轉(zhuǎn)換模塊和漸進(jìn)loss weight調(diào)整策略的有效性。通過所提出的空間增強(qiáng)和所提出的視圖變換模塊，它在mIoU、mAP和NDS度量上顯示了檢測(cè)任務(wù)和占用任務(wù)的顯著改進(jìn)。loss weight調(diào)整策略能夠有效地訓(xùn)練多任務(wù)框架。如果沒有這一點(diǎn)，統(tǒng)一框架的訓(xùn)練就無法收斂，性能也很低。