本文經(jīng)自動駕駛之心公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

寫在前面&個人理解

最近這幾年以視覺為中心的3D感知在自動駕駛中得到了快速發(fā)展。盡管3D感知模型在結(jié)構(gòu)和概念上有許多相似之處，但在特征表示、數(shù)據(jù)格式和目標(biāo)方面仍存在差距，這對統(tǒng)一高效的3D感知框架設(shè)計提出了挑戰(zhàn)。

特別是BEV下的檢測任務(wù)和Occupancy任務(wù)，想做好聯(lián)合訓(xùn)練，還是很難的，不穩(wěn)定和效果不可控讓很多應(yīng)用頭大。UniVision是一個簡單高效的框架，它統(tǒng)一了以視覺為中心的3D感知中的兩個主要任務(wù)，即占用預(yù)測和目標(biāo)檢測。核心點是一個用于互補2D-3D feature transformation的顯式-隱式視圖變換模塊，UniVision提出了一個局部全局特征提取和融合模塊，用于高效和自適應(yīng)的體素和BEV特征提取、增強和交互。

在數(shù)據(jù)增強部分，UniVision還提出了一種聯(lián)合占用檢測數(shù)據(jù)增強策略和漸進式loss weight調(diào)整策略，以提高多任務(wù)框架訓(xùn)練的效率和穩(wěn)定性。在四個公共基準(zhǔn)上對不同的感知任務(wù)進行了廣泛的實驗，包括無場景激光雷達分割、無場景檢測、OpenOccupancy和Occ3D。UniVision在每個基準(zhǔn)上分別以+1.5 mIoU、+1.8 NDS、+1.5 mIoU和+1.8 mIoU的增益實現(xiàn)了SOTA。UniVision框架可以作為統(tǒng)一的以視覺為中心的3D感知任務(wù)的高性能基線。

當(dāng)前3D感知領(lǐng)域的狀態(tài)

3D感知是自動駕駛系統(tǒng)的首要任務(wù)，其目的是利用一系列傳感器（如激光雷達、雷達和相機）獲得的數(shù)據(jù)來全面了解駕駛場景，用于后續(xù)的規(guī)劃和決策。過去，由于來自點云數(shù)據(jù)的精確3D信息，3D感知領(lǐng)域一直由基于激光雷達的模型主導(dǎo)。然而，基于激光雷達的系統(tǒng)成本高昂，容易受到惡劣天氣的影響，而且部署起來不方便。相比之下，基于視覺的系統(tǒng)具有許多優(yōu)點，如低成本、易于部署和良好的可擴展性。因此，以視覺為中心的三維感知引起了研究者的廣泛關(guān)注。

最近，通過特征表示變換、時間融合和監(jiān)督信號設(shè)計，基于視覺的3D檢測得到了顯著改進，不斷縮小了與基于激光雷達的模型的差距。除此之外，近年來基于視覺的占用任務(wù)得到了快速發(fā)展。與使用3D box來表示一些目標(biāo)不同，占用率可以更全面地描述駕駛場景的幾何和語義，并且不太局限于目標(biāo)的形狀和類別。

盡管檢測方法和占用方法在結(jié)構(gòu)和概念上有很多相似之處，但同時處理這兩項任務(wù)并探索它們之間的相互關(guān)系并沒有得到很好的研究。占用模型和檢測模型通常提取不同的特征表示。占用預(yù)測任務(wù)需要在不同的空間位置上進行詳盡的語義和幾何判斷，因此體素表示被廣泛用于保存細粒度的3D信息。在檢測任務(wù)中，BEV表示是優(yōu)選的，因為大多數(shù)對象處于相同的水平水平面上，具有較小的重疊。

與BEV表示相比，體素表示是精細的，但效率較低。此外，許多高級算子主要針對2D特征進行設(shè)計和優(yōu)化，使其與3D體素表示的集成不那么簡單。BEV表示更具時間效率和內(nèi)存效率，但對于密集空間預(yù)測來說，它是次優(yōu)的，因為它在高度維度上丟失了結(jié)構(gòu)信息。除了特征表示，不同的感知任務(wù)在數(shù)據(jù)格式和目標(biāo)方面也有所不同。因此，確保訓(xùn)練多任務(wù)3D感知框架的統(tǒng)一性和效率是一個巨大的挑戰(zhàn)。

UniVision網(wǎng)絡(luò)結(jié)構(gòu)

圖1顯示了UniVision框架的總體架構(gòu)。給定來自周圍N個相機的多視角圖像作為輸入，首先利用圖像特征提取網(wǎng)絡(luò)從中提取圖像特征。然后，使用Ex-Im視圖變換模塊將2D圖像特征提升為3D體素特征，該模塊結(jié)合了深度引導(dǎo)的顯式特征提升和查詢引導(dǎo)的隱式特征采樣。體素特征被發(fā)送到局部全局特征提取和融合block，以分別提取局部上下文感知體素特征和全局上下文感知BEV特征。然后使用交叉表示特征交互模塊對用于不同下游感知任務(wù)的體素特征和BEV特征進行信息交換。在訓(xùn)練過程中，聯(lián)合Occ-Det數(shù)據(jù)增強和漸進loss weight調(diào)整策略用于UniVision框架的有效訓(xùn)練。

1）Ex-Im View Transform

深度導(dǎo)向顯式特征提升。這里遵循LSS方法：

2）查詢引導(dǎo)的隱式特征采樣。然而，在表示3D信息方面存在一些缺陷。的精度與估計的深度分布的精度高度相關(guān)。此外，LSS生成的點分布不均勻。點在相機附近密集，在距離上稀疏。因此，我們進一步使用查詢引導(dǎo)的特征采樣來補償?shù)纳鲜鋈秉c。

與從LSS生成的點相比，體素查詢在3D空間中均勻分布，并且它們是從所有訓(xùn)練樣本的統(tǒng)計特性中學(xué)習(xí)的，這與LSS中使用的深度先驗信息無關(guān)。因此，和相互補充，將它們連接起來作為視圖變換模塊的輸出特征：

2）局部全局特征提取與融合

給定輸入體素特征，首先將特征疊加在Z軸上，并使用卷積層來減少通道，以獲得BEV特征：

然后，模型分成兩個平行的分支進行特征提取和增強。局部特征提取+全局特征提取，以及最后的交叉表示特征交互！如圖1（b）中所示。

3）損失函數(shù)與檢測頭

漸進式loss weight調(diào)整策略。在實踐中，發(fā)現(xiàn)直接結(jié)合上述損失往往會導(dǎo)致訓(xùn)練過程失敗，網(wǎng)絡(luò)無法收斂。在訓(xùn)練的早期階段，體素特征Fvoxel是隨機分布的，并且占用頭和檢測頭中的監(jiān)督比收斂中的其他損失貢獻更小。同時，檢測任務(wù)中的分類損失Lcls等損失項目非常大，并且在訓(xùn)練過程中占主導(dǎo)地位，使得模型難以優(yōu)化。為了克服這一問題，提出了漸進式損失權(quán)重調(diào)整策略來動態(tài)調(diào)整損失權(quán)重。具體而言，將控制參數(shù)δ添加到非圖像級損失（即占用損失和檢測損失）中，以調(diào)整不同訓(xùn)練周期中的損失權(quán)重。控制權(quán)重δ在開始時被設(shè)置為較小的值Vmin，并在N個訓(xùn)練時期中逐漸增加到Vmax：

4）聯(lián)合Occ-Det空間數(shù)據(jù)增強

在3D檢測任務(wù)中，除了常見的圖像級數(shù)據(jù)增強之外，空間級數(shù)據(jù)增強在提高模型性能方面也是有效的。然而，在占用任務(wù)中應(yīng)用空間級別增強并不簡單。當(dāng)我們將數(shù)據(jù)擴充（如隨機縮放和旋轉(zhuǎn)）應(yīng)用于離散占用標(biāo)簽時，很難確定生成的體素語義。因此，現(xiàn)有的方法只應(yīng)用簡單的空間擴充，如占用任務(wù)中的隨機翻轉(zhuǎn)。

為了解決這個問題，UniVision提出了一種聯(lián)合Occ-Det空間數(shù)據(jù)增強，以允許在框架中同時增強3D檢測任務(wù)和占用任務(wù)。由于3D box標(biāo)簽是連續(xù)值，并且可以直接計算增強的3D box進行訓(xùn)練，因此遵循BEVDet中的增強方法進行檢測。盡管占用標(biāo)簽是離散的并且難以操作，但體素特征可以被視為連續(xù)的，并且可以通過采樣和插值等操作來處理。因此建議對體素特征進行變換，而不是直接對占用標(biāo)簽進行操作以進行數(shù)據(jù)擴充。

具體來說，首先對空間數(shù)據(jù)增強進行采樣，并計算相應(yīng)的3D變換矩陣。對于占有標(biāo)簽及其voxel indices ，我們計算了它們的三維坐標(biāo)。然后，將應(yīng)用于，并對其進行歸一化，以獲得增強體素特征中的 voxel indices ：

實驗結(jié)果對比

使用了多個數(shù)據(jù)集進行驗證，NuScenes LiDAR Segmentation、NuScenes 3D Object Detection、OpenOccupancy和Occ3D。

NuScenes LiDAR Segmentation：根據(jù)最近的OccFormer和TPVFormer，使用相機圖像作為激光雷達分割任務(wù)的輸入，并且激光雷達數(shù)據(jù)僅用于提供用于查詢輸出特征的3D位置。使用mIoU作為評估度量。

NuScenes 3D Object Detection：對于檢測任務(wù)，使用nuScenes的官方度量，即nuScene檢測分數(shù)（NDS），它是平均mAP和幾個度量的加權(quán)和，包括平均平移誤差（ATE）、平均尺度誤差（ASE）、平均方向誤差（AOE）、平均速度誤差（AVE）和平均屬性誤差（AAE）。

OpenOccupancy：OpenOccupancy基準(zhǔn)基于nuScenes數(shù)據(jù)集，提供512×512×40分辨率的語義占用標(biāo)簽。標(biāo)記的類與激光雷達分割任務(wù)中的類相同，使用mIoU作為評估度量！

Occ3D：Occ3D基準(zhǔn)基于nuScenes數(shù)據(jù)集，提供200×200×16分辨率的語義占用標(biāo)簽。Occ3D進一步提供了用于訓(xùn)練和評估的可見mask。標(biāo)記的類與激光雷達分割任務(wù)中的類相同，使用mIoU作為評估度量！

1）Nuscenes激光雷達分割

表1顯示了nuScenes LiDAR分割基準(zhǔn)的結(jié)果。UniVision顯著超過了最先進的基于視覺的方法OccFormer 1.5% mIoU，并在排行榜上創(chuàng)下了基于視覺的模型的新紀錄。值得注意的是，UniVision還優(yōu)于一些基于激光雷達的模型，如PolarNe和DB-UNet。

2）NuScenes 3D目標(biāo)檢測任務(wù)

如表2所示，當(dāng)使用相同的訓(xùn)練設(shè)置進行公平比較時，UniVision顯示出優(yōu)于其他方法。與512×1408圖像分辨率的BEVDepth相比，UniVision在mAP和NDS方面分別獲得2.4%和1.1%的增益。當(dāng)放大模型并將UniVision與時間輸入相結(jié)合時，它進一步以顯著的優(yōu)勢優(yōu)于基于SOTA的時序檢測器。UniVision通過較小的輸入分辨率實現(xiàn)了這一點，并且它不使用CBGS。

3）OpenOccupancy結(jié)果對比

OpenOccupancy基準(zhǔn)測試的結(jié)果如表3所示。UniVision在mIoU方面分別顯著超過了最近的基于視覺的占用方法，包括MonoScene、TPVFormer和C-CONet，分別為7.3%、6.5%和1.5%。此外，UniVision超越了一些基于激光雷達的方法，如LMSCNet和JS3C-Net。

4）Occ3D實驗結(jié)果

表4列出了Occ3D基準(zhǔn)測試的結(jié)果。在不同的輸入圖像分辨率下，UniVision在mIoU方面顯著優(yōu)于最近的基于視覺的方法，分別超過2.7%和1.8%。值得注意的是，BEVFormer和BEVDet-stereo加載預(yù)先訓(xùn)練的權(quán)重，并在推理中使用時間輸入，而UniVision沒有使用它們，但仍然實現(xiàn)了更好的性能。

5）組件在檢測任務(wù)中的有效性

在表5中顯示了檢測任務(wù)的消融研究。當(dāng)將基于BEV的全局特征提取分支插入基線模型時，性能提高了1.7%mAP和3.0%NDS。當(dāng)將基于體素的占用任務(wù)作為輔助任務(wù)添加到檢測器時，該模型的mAP增益提高了1.6%。當(dāng)從體素特征中明確引入交叉表示交互時，該模型實現(xiàn)了最佳性能，與基線相比，mAP和NDS分別提高了3.5%和4.2%；

6）占用任務(wù)中組件的有效性

在表6中顯示了占用任務(wù)的消融研究?；隗w素的局部特征提取網(wǎng)絡(luò)為基線模型帶來了1.96%mIoU增益的改進。當(dāng)檢測任務(wù)被引入作為輔助監(jiān)督信號時，模型性能提高了0.4%mIoU。

7）其它

表5和表6顯示，在UniVision框架中，檢測任務(wù)和占用任務(wù)都是相輔相成的。對于檢測任務(wù)，占用監(jiān)督可以提高mAP和mATE度量，這表明體素語義學(xué)習(xí)有效地提高了檢測器對目標(biāo)幾何的感知，即中心度和尺度。對于占用任務(wù)，檢測監(jiān)督顯著提高了前景類別（即檢測類別）的性能，從而實現(xiàn)了整體改進。

在表7中展示了聯(lián)合Occ-Det空間增強、Ex-Im視圖轉(zhuǎn)換模塊和漸進loss weight調(diào)整策略的有效性。通過所提出的空間增強和所提出的視圖變換模塊，它在mIoU、mAP和NDS度量上顯示了檢測任務(wù)和占用任務(wù)的顯著改進。loss weight調(diào)整策略能夠有效地訓(xùn)練多任務(wù)框架。如果沒有這一點，統(tǒng)一框架的訓(xùn)練就無法收斂，性能也很低。

參考

論文鏈接：https://arxiv.org/pdf/2401.06994.pdf

論文名稱：UniVision: A Unified Framework for Vision-Centric 3D Perception