本文經(jīng)3D視覺之心公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

論?題目：PC-BEV: An Efficient Polar-Cartesian BEV Fusion Framework for LiDAR Semantic Segmentation

論文作者：Shoumeng Qiu, Xinrun Li, Xiangyang Xue, Jian Pu

論文地址：https://arxiv.org/pdf/2412.14821

1.背景介紹

激光雷達(dá)點(diǎn)云分割是自動(dòng)駕駛領(lǐng)域的核心任務(wù)，其目標(biāo)在于精細(xì)地理解周圍環(huán)境的語義信息。目前，該領(lǐng)域的方法主要分為三類：基于點(diǎn)的方法、基于體素的方法和基于投影的方法。

其中，基于投影的方法因其能夠利用2D卷積神經(jīng)網(wǎng)絡(luò)（CNN）高效處理投影點(diǎn)云而受到青睞。但是，相比于計(jì)算量大的基于體素方法，從3D到2D的投影過程中不可避免地丟失信息，這限制了這種算法的性能。

為了縮小這一性能差距，多視圖融合技術(shù)應(yīng)運(yùn)而生，通過整合不同投影技術(shù)捕獲的互補(bǔ)信息。近期的多視圖融合方法，如AMVNet、GFNet和CPGNet，通過基于點(diǎn)的特征交互增強(qiáng)了表示學(xué)習(xí)。

然而，由于缺乏視圖間的固定對(duì)應(yīng)關(guān)系，這些方法需要進(jìn)行高成本的網(wǎng)格采樣和散射操作，影響了實(shí)時(shí)性能。此外，特征融合通常僅限于點(diǎn)存在的區(qū)域，可能會(huì)忽略周圍區(qū)域中有價(jià)值的上下文信息。    

▲圖1 | 與其他基于投影的方法比較，結(jié)果展示了本文方法在性能和速度方面的優(yōu)越性。??【深藍(lán)AI】編譯

2.方法提出

為了克服這些限制，作者提出了一種創(chuàng)新的多分區(qū)特征融合框架，完全在BEV空間內(nèi)操作，充分利用了極坐標(biāo)和笛卡爾分區(qū)方案之間的固定對(duì)應(yīng)關(guān)系。該方法受到BEV中極坐標(biāo)分區(qū)與范圍視圖中球坐標(biāo)分區(qū)相似性的啟發(fā)，并且實(shí)驗(yàn)表明不同分區(qū)方法的性能具有互補(bǔ)性。

為了促進(jìn)極坐標(biāo)和笛卡爾分支之間的特征融合，作者引入了一種高效且有效的基于重映射的融合方法。利用極坐標(biāo)和笛卡爾空間分區(qū)在相同BEV空間內(nèi)固有的固定坐標(biāo)對(duì)應(yīng)關(guān)系，預(yù)先計(jì)算對(duì)應(yīng)參數(shù)，再通過精心設(shè)計(jì)的重映射操作實(shí)現(xiàn)高效特征融合。這種方法比以往的基于點(diǎn)的特征交互方法快170倍。此外，所有的特征融合在BEV空間位置操作，不僅實(shí)現(xiàn)了密集融合，還保留了比以往基于點(diǎn)的方法更多的寶貴上下文信息。

作者還提出了一種混合Transformer-CNN架構(gòu)，用于BEV特征提取。Transformer塊中的自注意力捕獲全局場(chǎng)景信息，然后是一個(gè)輕量級(jí)的U-net樣式CNN用于詳細(xì)特征提取。實(shí)驗(yàn)結(jié)果表明，這種架構(gòu)在保持實(shí)時(shí)推理能力的同時(shí)增強(qiáng)了模型性能。    

▲圖2 | 極坐標(biāo)-笛卡爾BEV融合框架用于3D點(diǎn)云語義分割任務(wù)的流程圖。??【深藍(lán)AI】編譯

3.方法詳解

3.1. 極坐標(biāo)-笛卡爾BEV融合框架 

對(duì)于最終的語義預(yù)測(cè)，由于本方法的目標(biāo)是為場(chǎng)景中的每個(gè)點(diǎn)提供語義預(yù)測(cè)，因此需要獲取每個(gè)點(diǎn)在投影空間中用于類別預(yù)測(cè)的特征。對(duì)于從不同分支提取了特征，以前方法中的常見做法是通過網(wǎng)格采樣（GS）操作檢索每個(gè)點(diǎn)的相應(yīng)特征。然后從不同分支采樣的特征被融合。最后，融合的特征用于獲得最終的語義預(yù)測(cè)結(jié)果。以前的基于點(diǎn)的輸出融合可以表示為（這里作者假設(shè)使用連接操作進(jìn)行融合）：

為了進(jìn)一步加速模型推理，作者使用重映射操作對(duì)一個(gè)分支的特征與另一個(gè)分支對(duì)齊，這使模型能夠僅對(duì)重映射分支執(zhí)行一次網(wǎng)格采樣。在論文中，作者選擇將從極坐標(biāo)分支提取的特征與笛卡爾空間對(duì)齊，因?yàn)樽髡邔?shí)驗(yàn)發(fā)現(xiàn)這比相反的方式表現(xiàn)略好。作者將重映射的極坐標(biāo)特征與笛卡爾特征連接，然后使用網(wǎng)格采樣獲得每個(gè)點(diǎn)的BEV位置特征。因此，作者方法中的最終點(diǎn)級(jí)特征輸出可以表示為：

▲圖3 | 在不同設(shè)置下，比較先前的基于點(diǎn)的方法和基于重映射的方法的特征交互操作過程。??【深藍(lán)AI】編譯

3.2. 特征融合通過重映射

與以前的多視圖融合方法在不同投影空間中操作，由于投影過程中的信息丟失導(dǎo)致動(dòng)態(tài)網(wǎng)格到網(wǎng)格的對(duì)應(yīng)關(guān)系不同，本設(shè)計(jì)的方法從兩個(gè)分區(qū)分支在同一BEV空間下的固定位置對(duì)應(yīng)關(guān)系中受益，這為本設(shè)計(jì)提供了改進(jìn)特征融合過程效率的機(jī)會(huì)。    

具體來說，作者采用重映射技術(shù)來對(duì)齊兩種不同分區(qū)方法下的特征。鑒于兩個(gè)分支之間網(wǎng)格對(duì)應(yīng)關(guān)系是固定的，重映射參數(shù)可以預(yù)先計(jì)算，以實(shí)現(xiàn)高效特征融合。作者提供了重映射操作的詳細(xì)步驟，突出了基于重映射的交互相對(duì)于基于點(diǎn)的交互的優(yōu)勢(shì)。以從極坐標(biāo)空間到笛卡爾空間的重映射過程為例，注意從笛卡爾到極坐標(biāo)空間的重映射遵循相同的原則。

到目前為止，建立了笛卡爾和極坐標(biāo)分支之間的坐標(biāo)對(duì)應(yīng)關(guān)系，這是固定的，所以可以預(yù)先計(jì)算融合。可以將網(wǎng)格中心視為一個(gè)點(diǎn)，并應(yīng)用以前的基于點(diǎn)的方法進(jìn)行特征融合；然而，作者的實(shí)驗(yàn)表明，這種方法在實(shí)踐中是低效的。

為了更高效和有效地進(jìn)行特征融合，作者開發(fā)了一種基于重映射的特征融合操作，顯著提高了兩個(gè)分支之間的特征對(duì)齊速度。傳統(tǒng)的基于點(diǎn)的方法之所以慢，主要是因?yàn)榫W(wǎng)格采樣操作和散射回操作。它們將每個(gè)點(diǎn)單獨(dú)視為點(diǎn)級(jí)并行處理，導(dǎo)致實(shí)驗(yàn)中的緩存未命中率高。

與基于點(diǎn)的方法不同，作者的基于重映射的操作考慮了空間位置的連續(xù)性，使過程更友好于內(nèi)存訪問，并顯著加快了計(jì)算速度。圖3比較了不同特征融合方法。需要注意的是，并非一個(gè)分支中的每個(gè)網(wǎng)格在另一個(gè)分支中都有對(duì)應(yīng)的區(qū)域，由于空間占用模式的變化。

如果一個(gè)分支中的空間位置在另一個(gè)分支中不可用，則簡(jiǎn)單地對(duì)該位置應(yīng)用零填充。更詳細(xì)的效率分析可以在補(bǔ)充材料中找到?；谥赜成涞娜诤戏椒ㄍㄟ^在融合過程中整合更多的上下文信息提供了額外的優(yōu)勢(shì)。

如圖4所示，基于點(diǎn)的方法僅在存在點(diǎn)的區(qū)域進(jìn)行融合，丟棄了沒有點(diǎn)的特征，作者稱之為稀疏融合。相比之下，基于重映射的方法使整個(gè)BEV空間內(nèi)的融合成為可能，實(shí)現(xiàn)了密集融合，豐富了來自另一分支的特征信息。    

▲圖4 | 基于點(diǎn)的交互結(jié)果與基于重映射的交互結(jié)果之間的比較。??【深藍(lán)AI】編譯

3.3.  Transformer-CNN混合架構(gòu) 

由于注意力機(jī)制缺乏區(qū)分輸入序列中位置信息的能力，作者引入了正弦位置編碼PE到特征中。最終的塊嵌入輸入自注意力可以表示為：

富含全局信息的特征然后被送入一個(gè)高效的CNN模型進(jìn)行進(jìn)一步提取。作者使用了一個(gè)U-net架構(gòu)的CNN。實(shí)驗(yàn)表明，本文的Transformer-CNN混合架構(gòu)在性能和推理速度方面都提供了優(yōu)勢(shì)。

4.實(shí)驗(yàn)結(jié)果

作者在SemanticKITTI和nuScenes數(shù)據(jù)集上進(jìn)行了廣泛的實(shí)驗(yàn)，證明了本方法以更快的推理速度實(shí)現(xiàn)了最先進(jìn)的性能。

▲表1 | 在SemanticKITTI 測(cè)試集的定量比較。??【深藍(lán)AI】編譯

▲表2 | 在SemanticKITTI 驗(yàn)證機(jī)的定量比較。??【深藍(lán)AI】編譯

▲表3 | 在nuScenes測(cè)試集定量比較。??【深藍(lán)AI】編譯

▲表4 | 基于重映射的交互效率的對(duì)比。??【深藍(lán)AI】編譯

▲表5 | 在nuScenes驗(yàn)證集上的消融研究。??【深藍(lán)AI】編譯

5.本文總結(jié)

本文介紹了一種新穎的實(shí)時(shí)激光雷達(dá)點(diǎn)云分割方法。該技術(shù)采用作者研發(fā)的高效重映射空間對(duì)齊融合策略，通過優(yōu)化內(nèi)存連續(xù)性，不僅大幅提升了處理速度，而且在性能上超越了傳統(tǒng)的基于點(diǎn)的交互方法，同時(shí)還能保留更為詳盡的上下文信息。

此外，文章中還介紹了一種Transformer-CNN混合架構(gòu)，該架構(gòu)在維持實(shí)時(shí)處理能力的基礎(chǔ)上，進(jìn)一步增強(qiáng)了模型的整體性能。通過在SemanticKITTI和nuScenes數(shù)據(jù)集上進(jìn)行的廣泛實(shí)驗(yàn)，充分驗(yàn)證了該方法的有效性和高效率。

展望未來，研究者可以會(huì)進(jìn)一步探索將此技術(shù)應(yīng)用于由多相機(jī)圖像數(shù)據(jù)生成的BEV（鳥瞰圖）表示，以拓展其應(yīng)用范圍。