arXiv論文“Unifying Voxel-based Representation with Transformer for 3D Object Detection“，22年6月，香港中文大學(xué)、香港大學(xué)、曠視科技（紀念孫劍博士）和思謀科技等。

本文提出一個統(tǒng)一的多模態(tài)3-D目標(biāo)檢測框架，稱為UVTR。該方法旨在統(tǒng)一體素空間的多模態(tài)表示，實現(xiàn)準(zhǔn)確、穩(wěn)健的單模態(tài)或跨模態(tài)3-D檢測。為此，首先設(shè)計模態(tài)特定空間來表示體素特征空間的不同輸入。在不進行高度信息（height）壓縮的情況下保留體素空間，減輕語義歧義并實現(xiàn)空間交互?；谶@種統(tǒng)一方式，提出跨模態(tài)交互，充分利用不同傳感器的固有特性，包括知識遷移和模態(tài)融合。通過這種方式，可以很好地利用點云的幾何-覺察表達式和圖像中上下文豐富的特征，獲得更好的性能和魯棒性。

transformer解碼器用于從具備可學(xué)習(xí)位置的統(tǒng)一空間中高效采樣特征，這有助于目標(biāo)級交互。一般來說，UVTR代表在統(tǒng)一框架中表示不同模態(tài)的早期嘗試，在單模態(tài)和多模態(tài)輸入方面優(yōu)于以往的工作，在nuScenes測試集上取得了領(lǐng)先的性能，激光雷達、相機和多模態(tài)輸出的NDS分別為69.7%、55.1%和71.1%。

代碼：https://github.com/dvlab-research/UVTR.

如圖所示：

在表征統(tǒng)一過程中，可以大致分為輸入級流和特征級流的表示。對于第一種方法，多模態(tài)數(shù)據(jù)在網(wǎng)絡(luò)開始時對齊。特別是，圖（a）中的偽點云是從預(yù)測深度輔助的圖像轉(zhuǎn)換而來的，而圖（b）中的距離視圖圖像是從點云投影而來的。由于偽點云的深度不準(zhǔn)確和距離視圖圖像中的3-D幾何塌陷，數(shù)據(jù)的空間結(jié)構(gòu)受到破壞，從而導(dǎo)致較差的結(jié)果。對于特征級方法，典型的方法是將圖像特征轉(zhuǎn)換為截錐（frustum），然后壓縮到BEV空間，如圖（c）所示。然而，由于其類似射線的軌跡，每個位置的高度信息（height）壓縮聚合了各種目標(biāo)的特征，因此引入了語義多義。同時，他隱式方式很難支持3-D空間中的顯式特征交互，并限制進一步的知識遷移。因此，需要一種更統(tǒng)一的表示法彌合模態(tài)的差距，并促進多方面的交互。

本文提出的框架，將基于體素的表示與transformer統(tǒng)一起來。特別是，在基于體素的顯式空間中圖像和點云的特征表征和交互。對于圖像，根據(jù)預(yù)測的深度和幾何約束，從圖像平面采樣特征來構(gòu)建體素空間，如圖（d）所示。對于點云，準(zhǔn)確的位置自然允許特征與體素相關(guān)聯(lián)。然后，引入體素編碼器進行空間交互，建立相鄰特征之間的關(guān)系。這樣，跨模態(tài)交互自然地與每個體素空間的特征進行。對于目標(biāo)級交互，采用可變形transformer作為解碼器，對統(tǒng)一體素空間中每個位置（x、y、z）的目標(biāo)查詢特定特征進行采樣，如圖（d）所示。同時，3-D查詢位置的引入有效地緩解了BEV空間中高度信息（height）壓縮帶來的語義多義。

如圖是多模態(tài)輸入的UVTR架構(gòu)：給定單幀或多幀圖像和點云，首先在單個主干進行處理，并將其轉(zhuǎn)換為特定于模態(tài)的空間VI和VP，其中視圖轉(zhuǎn)換用于圖像。在體素編碼器中，特征在空間上相互作用，并且 知識遷移在訓(xùn)練期間易于支持。根據(jù)不同的設(shè)置，通過模態(tài)開關(guān)選擇單模態(tài)或多模態(tài)特征。最后，從具備可學(xué)習(xí)位置的統(tǒng)一空間VU中采樣特征，利用transformer解碼器進行預(yù)測。

如圖是視圖變換的細節(jié)：

如圖是知識遷移的細節(jié)：

實驗結(jié)果如下：