雷達(dá)點(diǎn)云的語(yǔ)義分割是雷達(dá)數(shù)據(jù)處理中的一項(xiàng)新的挑戰(zhàn)。我們演示了如何執(zhí)行這項(xiàng)任務(wù)，并提供了關(guān)于人工標(biāo)記的雷達(dá)反射的大型數(shù)據(jù)集。與之前將聚類反射產(chǎn)生的特征向量作為分類器的輸入不同的是，現(xiàn)在將整個(gè)雷達(dá)點(diǎn)云作為輸入，并獲得每個(gè)反射的類概率。因此，我們不再需要聚類算法和手動(dòng)選擇特征。

1 介紹

在過(guò)去幾年中，圖像分析從單純的將圖像中的中心對(duì)象的分類，以及對(duì)象或?qū)ο蟛糠值臋z測(cè)轉(zhuǎn)移到單個(gè)組合任務(wù)：語(yǔ)義分割。語(yǔ)義實(shí)例分割通過(guò)區(qū)分物理上不同的對(duì)象的相同類標(biāo)簽的像素來(lái)增強(qiáng)語(yǔ)義分割，使得除了按像素分類之外，還會(huì)對(duì)對(duì)象實(shí)例進(jìn)行分組。

語(yǔ)義分割通常是由深度卷積神經(jīng)網(wǎng)絡(luò)完成的，這些網(wǎng)絡(luò)通常表現(xiàn)為編碼器-解碼器結(jié)構(gòu)。這些架構(gòu)都依賴于規(guī)則的圖像結(jié)構(gòu)，也就是具有等距像素的矩形網(wǎng)格。如果使用全卷積網(wǎng)絡(luò)，網(wǎng)格的尺寸，即圖像的寬度和高度，可能是變動(dòng)的。矩形網(wǎng)格引起像素之間的距離和鄰域關(guān)系，這些關(guān)系被卷積核所利用，其空間擴(kuò)展大于一個(gè)像素。因此，如果將攝像機(jī)用作傳感器，這些方法可以正常發(fā)揮作用。毫米波雷達(dá)和激光雷達(dá)傳感器是對(duì)攝像頭的補(bǔ)充，以保持功能安全。這些額外的傳感器不僅應(yīng)該是互補(bǔ)，而且還是冗余的。因此，最好也能從毫米波雷達(dá)和激光雷達(dá)中獲得對(duì)周圍環(huán)境的高度語(yǔ)義理解。

在本文中，我們將對(duì)雷達(dá)數(shù)據(jù)進(jìn)行語(yǔ)義分割，也就是說(shuō)，我們?yōu)槊恳粋€(gè)測(cè)量到的反射點(diǎn)分配一個(gè)類別標(biāo)簽。我們專注于動(dòng)態(tài)對(duì)象，并針對(duì)研究六個(gè)不同的類別：汽車、卡車、行人、行人組、自行車和靜態(tài)對(duì)象。在應(yīng)用恒虛警率（CFAR）算法之后獲得的雷達(dá)檢測(cè)結(jié)果構(gòu)成了一個(gè)點(diǎn)云， 其中點(diǎn)云P被定義為一組N∈N個(gè)點(diǎn)pi∈Rd，i = 1，…，N，其中點(diǎn)云中的點(diǎn)的順序無(wú)關(guān)緊要。對(duì)于每次反射，需要測(cè)量?jī)蓚€(gè)空間坐標(biāo)（徑向距離r和方位角φ），自我運(yùn)動(dòng)補(bǔ)償多普勒速度v?r和雷達(dá)截面（RCS）σ。因此，必須在語(yǔ)義分割任務(wù)中處理4維點(diǎn)云。雷達(dá)反射的空間密度會(huì)急劇變化，因此大規(guī)模網(wǎng)格映射的方法在計(jì)算上是不可行的。所以，不能應(yīng)用用于相機(jī)圖像的通常網(wǎng)絡(luò)結(jié)構(gòu)?？梢詮膱D1中讀出，不需要類似圖像的輸入的算法，是非常有必要的，圖中顯示了在200毫秒的時(shí)間內(nèi)從四個(gè)雷達(dá)上收集的雷達(dá)探測(cè)數(shù)據(jù)。在該圖中，可以看到?jīng)]有測(cè)量的大區(qū)域以及具有大量反射的區(qū)域。整個(gè)場(chǎng)景的網(wǎng)格地圖具有大約2000個(gè)單獨(dú)的反射，必須覆蓋至少150米×200米的大空間區(qū)域，甚至在非常低的分辨率下，單元尺寸為1米×1米，網(wǎng)格中最多有6%的像素將具有非零值。

圖1 雷達(dá)點(diǎn)云積累超過(guò)200毫秒。突出了三種不同車型的反射。僅顯示完整視野的摘錄

因此，我們使用PointNet ++作為我們分割算法的基礎(chǔ)。PointNet ++能夠直接在點(diǎn)云上工作，它最初設(shè)計(jì)用于處理來(lái)自激光掃描儀的3D空間數(shù)據(jù)。在本文中，我們修改了架構(gòu)以處理兩個(gè)空間維度和另外兩個(gè)特征維度。

在之前的工作中，分類是在特征向量上進(jìn)行的，而這些特征向量又是從聚類的雷達(dá)反射中獲得的。通過(guò)我們的新方法，我們避免了這兩個(gè)預(yù)處理步驟：將雷達(dá)目標(biāo)分組到聚類，并且不再需要從這些聚類中生成預(yù)定義的特征向量。這些表明我們的新方法大大優(yōu)于以前的方法。

本文的其余部分結(jié)構(gòu)如下：在第二部分，我們?cè)u(píng)論了相關(guān)工作和該議題的其他方法。之后，我們更詳細(xì)地描述了我們的網(wǎng)絡(luò)結(jié)構(gòu)，并解釋了我們的訓(xùn)練和測(cè)試程序。在第四部分，我們展示了我們的成果，并將其與以前的方法進(jìn)行了比較。最后，對(duì)我們的未來(lái)工作進(jìn)行了展望。

2 相關(guān)工作

當(dāng)相機(jī)用作傳感器并且大多數(shù)算法都針對(duì)圖像數(shù)據(jù)進(jìn)行定制時(shí)，語(yǔ)義分割是一種流行的方法。全卷積網(wǎng)絡(luò)的引入激發(fā)了許多類似的和后來(lái)更先進(jìn)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，如SegNet，U-Net，R-CNN，以及其后續(xù)的Fast R-CNN，F(xiàn)aster R-CNN，和Mask R-CNN。為了將這些技術(shù)應(yīng)用于雷達(dá)數(shù)據(jù)，必須進(jìn)行一些預(yù)處理。網(wǎng)格圖提供了一種將空間非均勻雷達(dá)反射轉(zhuǎn)換為圖像數(shù)據(jù)的方法。測(cè)量的反射隨時(shí)間積分并插入地圖中的相應(yīng)位置。用這種方法可以創(chuàng)建不同的地圖，例如占用網(wǎng)格地圖（描述網(wǎng)格占用的后驗(yàn)概率），或者RCS地圖，（提供有關(guān)每個(gè)網(wǎng)格中反射的測(cè)量RCS值的信息）。這種方法對(duì)靜態(tài)物體很有效，因?yàn)橹恍枰紤]自我運(yùn)動(dòng)（而不是額外的物體速度和軌跡），就可以在地圖中的正確位置插入不同時(shí)間的雷達(dá)反射。對(duì)于在此項(xiàng)工作中所考慮的動(dòng)態(tài)物體，需要精確的擴(kuò)展目標(biāo)跟蹤算法，或者將物體的動(dòng)態(tài)視為特征，以便動(dòng)態(tài)物體在地圖中創(chuàng)建擴(kuò)展的反射尾部。另一個(gè)困難是，對(duì)于稀疏數(shù)據(jù)，網(wǎng)格映射并不是有效的，因?yàn)樾枰獫撛诘拇缶W(wǎng)格來(lái)顯示相對(duì)較少的測(cè)量。

據(jù)我們所知，以前沒(méi)有對(duì)移動(dòng)物體的汽車?yán)走_(dá)數(shù)據(jù)進(jìn)行過(guò)語(yǔ)義分割。分類只在小數(shù)據(jù)集或大量的模擬數(shù)據(jù)上進(jìn)行。

3 方法

A. 網(wǎng)絡(luò)結(jié)構(gòu)

齊等人提供了PointNet和PointNet++方法來(lái)直接處理點(diǎn)云，因此不需要先前的映射步驟。他們對(duì)通過(guò)從室內(nèi)場(chǎng)景的3D掃描的網(wǎng)格中采樣點(diǎn)獲得的3D點(diǎn)云執(zhí)行語(yǔ)義分割。我們使用他們的架構(gòu)作為我們方法的基礎(chǔ)。然而，我們?cè)趯?shí)驗(yàn)中使用的雷達(dá)數(shù)據(jù)在以下方面與3D室內(nèi)數(shù)據(jù)不同。首先，每個(gè)雷達(dá)反射點(diǎn)只包含兩個(gè)而不是三個(gè)空間坐標(biāo)，但加上自我運(yùn)動(dòng)補(bǔ)償?shù)亩嗥绽账俣群蚏CS值的兩個(gè)附加值，整個(gè)點(diǎn)云的每個(gè)點(diǎn)pi都是四維的。其次，我們的數(shù)據(jù)在密度和采樣率方面顯示出更大的差異。斯坦福大學(xué)的3D語(yǔ)義分析數(shù)據(jù)集的3D掃描提供了高密度的點(diǎn)云，其中可以看到辦公室內(nèi)部的細(xì)節(jié)，而我們的雷達(dá)數(shù)據(jù)僅為每個(gè)對(duì)象提供少量反射，因此對(duì)于較小或較遠(yuǎn)的物體，甚至連物體的輪廓都無(wú)法正確捕獲，見圖1。

在PointNet ++ 中定義了多尺度分組模塊（MSG）和特征傳播模塊（FP）。MSG模塊考慮了圍繞中心點(diǎn)的多種規(guī)模的鄰域，并在描述這些鄰域的中心點(diǎn)的位置處創(chuàng)建組合特征向量。該模塊包含三個(gè)步驟：選擇、分組和特征生成。首先，通過(guò)最遠(yuǎn)點(diǎn)采樣選擇輸入點(diǎn)云的Nsample點(diǎn)以便均勻地采樣輸入點(diǎn)云。在分組步驟中，為每個(gè)被選中的Nsample點(diǎn)創(chuàng)建鄰域。在我們的網(wǎng)絡(luò)中，鄰域由位于中心點(diǎn)周圍的半徑r內(nèi)的Nneigh點(diǎn)組成。只考慮雷達(dá)反射的兩個(gè)空間分量用于鄰域搜索。如果一個(gè)反射點(diǎn)在給定的搜索半徑內(nèi)有Nneigh個(gè)以上的鄰域，則僅將找到的第一個(gè) Nneigh 點(diǎn)用于進(jìn)一步計(jì)算如果發(fā)現(xiàn)的反射點(diǎn)較少，則重復(fù)第一個(gè)鄰域以保證固定大小的數(shù)據(jù)結(jié)構(gòu)。在每個(gè)MSG模塊中，創(chuàng)建多個(gè)具有不同r和Nneigh值的鄰域。在最后一步中，通過(guò)在具有形狀（Nsample, Nneigh, cin ）的鄰域張量上應(yīng)用具有濾波器大小1×1的卷積層，為每個(gè)Nsample 點(diǎn)生成特征，其中cin是通道的數(shù)量。這將產(chǎn)生一個(gè)大小為（Nsample, Nneigh, cout)的張量，在這個(gè)張量上應(yīng)用一個(gè)最終的最大集合層，以便只考慮具有針對(duì)相應(yīng)濾波器的最高激活的鄰居的貢獻(xiàn)。

經(jīng)過(guò)MSG模塊后，輸出點(diǎn)云中的點(diǎn)數(shù)比輸入點(diǎn)云中的小，因此，更深層中的點(diǎn)包含越來(lái)越多的抽象特征，這些特征提供了關(guān)于前幾層的領(lǐng)域點(diǎn)的信息。這個(gè)過(guò)程類似于用于圖像處理的卷積網(wǎng)絡(luò)，圖像尺寸在每一層都被縮小。在圖2中，顯示了空間位置以及雷達(dá)反射的自我運(yùn)動(dòng)補(bǔ)償?shù)亩嗥绽账俣龋⒚枋隽嗽诿總€(gè)MSG模塊之后輸入點(diǎn)云的子采樣。在圖中未顯示為MSG 模塊中的每個(gè)點(diǎn)生成的高維特征向量。場(chǎng)景的攝像機(jī)圖像如圖3所示。

對(duì)于語(yǔ)義分割，子采樣點(diǎn)云的信息被傳播到全輸入點(diǎn)云。

圖2 摘錄一個(gè)示例雷達(dá)點(diǎn)云繪制空間坐標(biāo)以及自我運(yùn)動(dòng)補(bǔ)償?shù)亩嗥绽账俣?。從左到右：輸入層處的點(diǎn)云和第一，第二和第三MSG 模塊之后的子采樣點(diǎn)云。數(shù)據(jù)累計(jì)超過(guò)500毫秒。該場(chǎng)景的攝像機(jī)圖像可以在圖3中找到。

圖3 與圖2相同場(chǎng)景的攝像機(jī)圖像

這一任務(wù)由特征傳播模塊執(zhí)行：k層MSG模塊之后是k層FP模塊，這些模塊將較少填充的點(diǎn)云的特征反復(fù)傳播到下一個(gè)較高層。對(duì)于密集點(diǎn)云中的每個(gè)點(diǎn)pi，計(jì)算出稀疏點(diǎn)云中三個(gè)最近鄰居的特征向量的加權(quán)平均值，并在將該特征向量通過(guò)一組卷積層后，分配給該點(diǎn)pi。從 MSG 模塊的相應(yīng)級(jí)別跳過(guò)連接改善了特征的傳播。

我們的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，其中還定義了MSG 模塊的參數(shù)值。

B. 數(shù)據(jù)集

在本文中，我們僅使用由兩個(gè)不同的實(shí)驗(yàn)車輛，即車輛A和車輛B，所收集的真實(shí)世界的數(shù)據(jù)。車輛A配備了四個(gè)77GHz的傳感器，分別安裝在車輛的兩個(gè)前角和側(cè)面。僅使用傳感器的近程模式，以便探測(cè)100米范圍內(nèi)的目標(biāo)。每個(gè)傳感器的視場(chǎng)角為±45°。

車輛B 配備了八個(gè)雷達(dá)傳感器，其規(guī)格與車輛A 的傳感器相同。這八個(gè)傳感器安裝在汽車的四個(gè)角上以及汽車的左前，右前，后左和右后側(cè)。

車輛A（B）的數(shù)據(jù)集包含了超過(guò)4.5小時(shí)（6.5分鐘）的駕駛測(cè)量，也就是說(shuō)，收集了超過(guò)1億（500萬(wàn)）的雷達(dá)反射，其中300萬(wàn)（100 000）屬于6200（191）個(gè)不同的移動(dòng)物體。所有屬于同一物體的反射都被手動(dòng)分組，并使用以下類別中的標(biāo)簽進(jìn)行注釋：汽車、卡車、行人、行人組、自行車和靜態(tài)。表格 I 中顯示了六個(gè)類別的反射分布 與我們以前的工作不同的是，雜點(diǎn)沒(méi)有被作為一個(gè)額外的類別來(lái)研究，而是被視為靜態(tài)，因?yàn)樵谶@項(xiàng)工作中，我們的目標(biāo)是僅從原始點(diǎn)云中檢測(cè)和分類真實(shí)的動(dòng)態(tài)物體。我們以前的分類器不得不處理并非來(lái)自真實(shí)物體的聚類和特征向量，因此有必要對(duì)垃圾類和真實(shí)物體進(jìn)行區(qū)分。這些錯(cuò)誤創(chuàng)建的聚類和特征向量是由不完善的預(yù)處理步驟造成的，我們?cè)诖藝L試避免這些步驟。

表 I 六個(gè)類別的雷達(dá)反射分布

C. 訓(xùn)練和測(cè)試

在我們進(jìn)行實(shí)際訓(xùn)練之前，必須修復(fù)超參數(shù)。必須確定MSG模塊的數(shù)量、樣本點(diǎn)Nsample的數(shù)量、每個(gè)MSG模塊中的鄰域數(shù)量及其各自的半徑r，每個(gè)樣本點(diǎn)的鄰域點(diǎn)Nneigh數(shù)量，以及每個(gè)模塊中卷積層的數(shù)量和大小。通過(guò)檢查隨機(jī)選擇的驗(yàn)證集上的合理配置并更改這些配置以進(jìn)一步優(yōu)化網(wǎng)絡(luò)性能來(lái)完成。由于參數(shù)空間的巨大規(guī)模和相應(yīng)的計(jì)算成本，對(duì)參數(shù)空間進(jìn)行完整的采樣是不可行的。

圖4描述了最終選擇的、性能最好的架構(gòu)。

圖4 我們網(wǎng)絡(luò)的結(jié)構(gòu)

紅色箭頭表示跳過(guò)的連接，通過(guò)這些連接，從MSG模塊中提取的特征被傳遞到相應(yīng)層的FP模塊中。三個(gè)MSG模塊的內(nèi)核大小 為[[32, 32, 64], [64, 64, 128]], [[32, 32, 64], [64, 64, 128]]和[[64, 64, 128], [64, 64, 128]] 。

為了評(píng)估，我們進(jìn)行了五重交叉驗(yàn)證。也就是說(shuō)，數(shù)據(jù)集被分成五個(gè)集合折疊，每個(gè)折疊占20%的數(shù)據(jù)，每折疊用于測(cè)試一次，其余四個(gè)折疊作為訓(xùn)練數(shù)據(jù)使用。

只有車輛A的數(shù)據(jù)被用于訓(xùn)練。來(lái)自車輛B的測(cè)量數(shù)據(jù)僅用于檢查我們分類器的泛化能力。該網(wǎng)絡(luò)使用隨機(jī)梯度下降法和基于交叉熵的損失函數(shù)以及Adam優(yōu)化方案進(jìn)行訓(xùn)練。我們使用了中公布的張量流源代碼的一部分。

由于靜態(tài)和動(dòng)態(tài)數(shù)據(jù)之間的巨大不平衡（大約9700萬(wàn)到300萬(wàn)），靜態(tài)類的損失函數(shù)的權(quán)重被降低，這樣優(yōu)化就不再把幾乎所有的點(diǎn)分配給靜態(tài)類。

訓(xùn)練歷時(shí)30個(gè)周期，在此期間進(jìn)行了數(shù)據(jù)增強(qiáng)：隨機(jī)噪聲被應(yīng)用于每個(gè)特征維度，從而改變了反射的空間位置以及測(cè)量的RCS 值和自我運(yùn)動(dòng)補(bǔ)償?shù)亩嗥绽账俣取Ｋ俣忍卣鲀H針對(duì)動(dòng)態(tài)對(duì)象的反射進(jìn)行了修改。此外，為每個(gè)動(dòng)態(tài)對(duì)象生成一個(gè)隨機(jī)數(shù)q∈[0,0.3]，并且在該時(shí)期中以概率q 省略該對(duì)象的每個(gè)反射，從而改變動(dòng)態(tài)對(duì)象的形狀和密度。

網(wǎng)絡(luò)本身對(duì)單個(gè)反射的記錄時(shí)間沒(méi)有概念，但在訓(xùn)練過(guò)程中，我們?yōu)榫W(wǎng)絡(luò)提供了長(zhǎng)度為T=500毫秒的時(shí)間窗口，使得點(diǎn)云變得更加密集并且可以考慮每個(gè)對(duì)象更多的反射。在最早的測(cè)量時(shí)，不同時(shí)間段的反射被轉(zhuǎn)換成車輛坐標(biāo)系。

點(diǎn)云的輸入大小固定為3072次反射。如果在500毫秒長(zhǎng)時(shí)間窗口內(nèi)測(cè)量到超過(guò)3072次反射，則去除靜態(tài)類別的反射，如果測(cè)量的反射少于3072次，則對(duì)一個(gè)反射重新取樣到所需的次數(shù)。由于網(wǎng)絡(luò)結(jié)構(gòu)中的最大匯集層，這種過(guò)采樣并不會(huì)改變語(yǔ)義分割的結(jié)果。

在測(cè)試過(guò)程中，接下來(lái)的3072次反射通過(guò)網(wǎng)絡(luò)傳遞，按測(cè)量時(shí)間排序，因此不需要過(guò)采樣或欠采樣。

訓(xùn)練是在配備了Nvidia GeForce GTX 1070 GPU的Linux工作站上完成的。

4 結(jié)果

基于6×6混淆矩陣和宏觀平均F1分?jǐn)?shù)（下文僅稱為F1分?jǐn)?shù)）對(duì)我們的系統(tǒng)進(jìn)行了評(píng)估。F1分?jǐn)?shù)對(duì)應(yīng)于精度和召回率的諧波平均值[24]。在宏觀平均中，在宏觀平均中，每個(gè)類別對(duì)總分的貢獻(xiàn)是相等的——與類別的計(jì)數(shù)無(wú)關(guān)——因?yàn)槊總€(gè)類別都計(jì)算一個(gè)單獨(dú)的F1分?jǐn)?shù)，然后對(duì)這六個(gè)值進(jìn)行平均。

A. 最佳性能架構(gòu)

我們首先展示了使用我們性能最好的架構(gòu)獲得的結(jié)果。我們僅使用來(lái)自車輛A 的數(shù)據(jù)進(jìn)行五重交叉驗(yàn)證。除了兩個(gè)空間坐標(biāo)x和y（在車輛坐標(biāo)系中）, 我們還用自我運(yùn)動(dòng)補(bǔ)償?shù)亩嗥绽账俣群蚏CS值來(lái)豐富輸入點(diǎn)云。因此，我們提供了一個(gè)四維的點(diǎn)云作為輸入。

由此產(chǎn)生的混淆矩陣如圖5所示。

圖5 用圖4中描述的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行5重交叉驗(yàn)證后的相對(duì)混淆矩陣。點(diǎn)云的輸入特征：x, y, v?r , σ。

不足為奇的是，帶有靜態(tài)標(biāo)簽的多數(shù)類顯示出最高的真陽(yáng)值。然而，我們應(yīng)該知道，區(qū)分屬于移動(dòng)或非移動(dòng)物體的反射，遠(yuǎn)比在多普勒速度上設(shè)置一個(gè)閾值，并將速度低于該閾值的每個(gè)反射歸類為靜態(tài)反射要難得多。在現(xiàn)實(shí)場(chǎng)景中，許多不屬于運(yùn)動(dòng)物體的反射顯示出非零的自我運(yùn)動(dòng)補(bǔ)償?shù)亩嗥绽账俣龋@是由里程表誤差、傳感器偏差、時(shí)間同步誤差、鏡像效應(yīng)或其他傳感器偽影引起的。此外，多普勒速度為零的反射不一定屬于靜態(tài)物體，因?yàn)樾D(zhuǎn)的汽車車輪底部或行人的身體部位（沿行走方向垂直移動(dòng)）也可能不顯示徑向速度。

汽車類的物體被分類為次優(yōu)，再次是行人組。卡車類的對(duì)象經(jīng)常與汽車混淆。有兩個(gè)原因可以解釋這種混淆：第一，在很遠(yuǎn)的距離上，每個(gè)物體只能測(cè)量到很少的反射，因此很難推斷物體的空間范圍。其次，汽車和卡車實(shí)例之間的轉(zhuǎn)換相當(dāng)順利的，因?yàn)?，例如，大型SUV與小型卡車很難區(qū)分。

從圖中可以推斷出的另一個(gè)顯著行為是行人和行人組之間的高度混淆。這種行為可能是由我們的訓(xùn)練數(shù)據(jù)引起的，因?yàn)閷?duì)于人類注釋員來(lái)說(shuō)，有時(shí)可以將附近兩個(gè)行人的反射指定給個(gè)人，從而創(chuàng)建兩個(gè)行人的實(shí)例，但有時(shí)這不容易，而且時(shí)間要求也太高。使所有反射都標(biāo)記為行人組的單個(gè)實(shí)例。因此，除了復(fù)雜的任務(wù)本身之外，網(wǎng)絡(luò)還必須與地面真實(shí)數(shù)據(jù)的不一致性作斗爭(zhēng)。對(duì)于許多駕駛?cè)蝿?wù)來(lái)說(shuō)，了解某一區(qū)域是否有一個(gè)或兩個(gè)行人并不重要，這樣兩個(gè)等級(jí)就可以合并在一起，從而產(chǎn)生超過(guò)91%的真實(shí)陽(yáng)性率。

由于數(shù)據(jù)集高度不平衡，只檢查歸一化為類計(jì)數(shù)的相對(duì)混淆矩陣可能會(huì)產(chǎn)生誤導(dǎo)。因此，我們也在圖6中展示了具有絕對(duì)值的混淆矩陣。這種可視化強(qiáng)調(diào)了許多假陽(yáng)性動(dòng)態(tài)對(duì)象是由網(wǎng)絡(luò)創(chuàng)建的（圖中的最后一行）。這種效果對(duì)于汽車類來(lái)說(shuō)是最明顯的：只有68%的預(yù)測(cè)汽車反射屬于動(dòng)態(tài)物體（參見圖6的第一列）。然而，對(duì)于汽車應(yīng)用來(lái)說(shuō)，動(dòng)態(tài)物體的高假陽(yáng)性率可能比高假陰性率更可取。降低靜態(tài)類的損失函數(shù)中的權(quán)重會(huì)導(dǎo)致更高的假陽(yáng)性值，所以這個(gè)參數(shù)允許我們?cè)诩訇?yáng)性和假陰性之間進(jìn)行調(diào)整。

圖6 用圖4中描述的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行5重交叉驗(yàn)證后的絕對(duì)混淆矩陣。點(diǎn) 云的輸入特征：x, y, v?r , σ。

應(yīng)該注意的是，動(dòng)態(tài)反射和靜態(tài)反射之間的混淆百分比（圖5中混淆矩陣的最后一列）并不代表被忽略的對(duì)象的百分比。如果動(dòng)態(tài)物體只有一個(gè)反射被正確分類，但同一物體的其他反射被分類為靜態(tài)的，即使假陰性計(jì)數(shù)增加，該物體仍然被檢測(cè)到。

B. 輸入特征的變化

為了更深入地了解哪些信息對(duì)網(wǎng)絡(luò)有用，我們用三組不同的輸入特征 f1 = x, y, v?r  , f2 =  x, y, σ  , f3= x, y重復(fù)五重交叉驗(yàn)證，并將結(jié)果與原始特征 f0  =  x, y, v?r, σ進(jìn)行比較。在表II中，顯示了每個(gè)輸入配置的F1分?jǐn)?shù)。從這個(gè)表中可以看出以下幾點(diǎn)。呈現(xiàn)給網(wǎng)絡(luò)的輸入特征越多，性能就越高。在輸入特征中加入每個(gè)反射的RCS值會(huì)使F1分?jǐn)?shù)小幅增加（從0.7303到0.7425），而加入自我運(yùn)動(dòng)補(bǔ)償?shù)亩嗥绽账俣葎t影響更大，使得分?jǐn)?shù)幾乎增加了0.1。盡管多普勒速度作為一個(gè)特征，有一定的重要性，但有趣的是，對(duì)于輸入特征f2和f3，網(wǎng)絡(luò)的性能仍然遠(yuǎn)遠(yuǎn)高于隨機(jī)猜測(cè)。這意味著反射的空間環(huán)境對(duì)網(wǎng)絡(luò)來(lái)說(shuō)是非常有表現(xiàn)力的特征，并為分類步驟奠定了基礎(chǔ)，然后再利用速度和RCS值的附加特征進(jìn)行分類。

表 II 不同輸入特征的分類分?jǐn)?shù)

C. 測(cè)試車輛B的數(shù)據(jù)

到目前為止，只應(yīng)用了車輛A的數(shù)據(jù)進(jìn)行訓(xùn)練和測(cè)試，現(xiàn)在，我們使用一個(gè)僅用車輛A的數(shù)據(jù)進(jìn)行訓(xùn)練的網(wǎng)絡(luò)，來(lái)預(yù)測(cè)車輛B所測(cè)得的反射的類別。這種設(shè)置的差異在于兩個(gè)方面。一方面，車輛B配備了8個(gè)而不是4個(gè)雷達(dá)傳感器，因此提供了車輛周圍的360°視野，不同于車輛A的主要是正面和側(cè)面的設(shè)置。另一方面，車輛A的數(shù)據(jù)是在德國(guó)城市和鄉(xiāng)村道路上收集的，而車輛B只在美國(guó)收集數(shù)據(jù)。不同的道路和街道設(shè)計(jì)以及平均較大的汽車對(duì)算法構(gòu)成了挑戰(zhàn)。

在這些新數(shù)據(jù)上應(yīng)用我們性能最好的網(wǎng)絡(luò)，其F1分?jǐn)?shù)為0.46，明顯低于我們用五重交叉驗(yàn)證得到的數(shù)值。如果測(cè)試車輛前部的四個(gè)傳感器與后部的四個(gè)傳感器獨(dú)立評(píng)估，則F1分?jǐn)?shù)可增加到0.48。

由于車輛B的數(shù)據(jù)集與車輛A的數(shù)據(jù)集相比非常小，所以我們必須謹(jǐn)慎地解釋結(jié)果。然而，很明顯，改變傳感器的設(shè)置對(duì)分類器的性能有一定的影響。

D. 與以往方法的比較

在前面的工作中，我們使用DBSCAN進(jìn)行聚類，并使用LSTM網(wǎng)絡(luò)進(jìn)行分類，以生成特征向量序列的類標(biāo)簽。此前，我們對(duì)在地面真實(shí)集群上生成的特征向量進(jìn)行了性能測(cè)量。在本文中, 這種方法的評(píng)估是通過(guò)將特征向量的類標(biāo)簽投影回集群的原始反射來(lái)完成的。

我們?cè)谕粋€(gè)數(shù)據(jù)集上訓(xùn)練LSTM網(wǎng)絡(luò)和我們的新方法，并在相同的測(cè)試集上評(píng)估這兩種方法。為了進(jìn)行公平的比較，LSTM不是在地面真實(shí)聚類的特征向量上進(jìn)行測(cè)試的，而是在點(diǎn)云上應(yīng)用DBSCAN得到的聚類中產(chǎn)生的特征向量上進(jìn)行。與我們當(dāng)前的方法不同，如果特征向量來(lái)自不屬于真實(shí)對(duì)象的聚類，LSTM還學(xué)習(xí)將其分類為垃圾。如果LSTM拒絕這樣一個(gè)特征向量，我們就會(huì)在比較中把相關(guān)的點(diǎn)當(dāng)作靜態(tài)的。

我們的新方法在這個(gè)選定的測(cè)試集上達(dá)到了0.734的F1分?jǐn)?shù)，而DBSCAN+LSTM的方法只得到了0.597分。新方法創(chuàng)建的假陽(yáng)性動(dòng)態(tài)對(duì)象更少，并且在所有類中具有更高的真陽(yáng)性計(jì)數(shù)。最吸引人的特點(diǎn)是，被錯(cuò)誤地認(rèn)為是靜態(tài)的反射物少了三倍，因此可能有更少的物體被忽略了。源自動(dòng)態(tài)物體的反射與來(lái)自靜態(tài)類的反射的混淆不僅源于LSTM的不良分類結(jié)果，而且主要是由于聚類不足，使得LSTM無(wú)法對(duì)某些反射進(jìn)行分類。

E. 可視化

在一個(gè)場(chǎng)景的前向傳遞過(guò)程中，可視化不同網(wǎng)絡(luò)層的輸出是很有用的。圖2顯示了一個(gè)示例場(chǎng)景在輸入級(jí)和三個(gè)MSG模塊之后的空間位置以及多普勒速度。

不同層的卷積核很難可視化，因?yàn)橹粓?zhí)行1×1的卷積，因此不存在濾波器本身的有意義的圖像。然而，我們可以通過(guò)網(wǎng)絡(luò)傳遞不同的場(chǎng)景，并在最后一個(gè)卷積層之前收集網(wǎng)絡(luò)輸出。在這個(gè)輸出中，我們從每個(gè)類中隨機(jī)選擇1000個(gè)點(diǎn)，以及它們的128維特征向量，并通過(guò)t-SNE降維算法傳遞這個(gè)高維點(diǎn)云，得到一個(gè)二維點(diǎn)云。這在圖7中得到了體現(xiàn)，在圖7中可以觀察到可以看到汽車、卡車、自行車和靜態(tài)類別的四個(gè)不同的集群。根據(jù)圖5中的混淆矩陣，來(lái)自行人或行人組的反射沒(méi)有被很好地分開。汽車和自行車類的反射豐富了點(diǎn)云的中心，顯示了那些難以分類的點(diǎn)。最后，圖8顯示了與圖2相同的場(chǎng)景，但現(xiàn)在顯示的是預(yù)測(cè)類標(biāo)簽，而不是多普勒速度。所有三個(gè)類別行人、卡車和汽車都被正確識(shí)別。然而，最右側(cè)行人后面的一些雜亂被錯(cuò)誤地歸類為行人組，汽車后面的一些反射也被錯(cuò)誤地標(biāo)記到汽車類。盡管如此，場(chǎng)景的語(yǔ)義信息還是得到了很好的表達(dá)。

圖7 我們網(wǎng)絡(luò)中倒數(shù)第二卷積層的128維特征向量的二維嵌入。用非線 性t-SNE方法進(jìn)行嵌入。

圖8 對(duì)一個(gè)實(shí)例場(chǎng)景的每個(gè)反射的預(yù)測(cè)類別標(biāo)簽。界限框是手動(dòng)添加的， 用于關(guān)聯(lián)點(diǎn)云和攝像機(jī)圖像。

5 結(jié)論和展望

本文以到PointNet++為分類算法，給出了雷達(dá)數(shù)據(jù)語(yǔ)義分割的結(jié)果。我們展示出了我們的新方法優(yōu)于我們以前的方法，后者包括兩個(gè)現(xiàn)已過(guò)時(shí)的預(yù)處理步驟，即聚類和特征生成。此外，我們還證明了利用RCS 值和自我運(yùn)動(dòng)補(bǔ)償多普勒速度可以提高分類結(jié)果，其中多普勒速度對(duì)分類結(jié)果的影響更大。

在今后的工作中，我們將把重點(diǎn)放在兩個(gè)不同的方面。一方面，將時(shí)間信息整合到網(wǎng)絡(luò)中似乎是有益的。物體的時(shí)間演化是一種描述性特征，至少應(yīng)該改善靜態(tài)和動(dòng)態(tài)類實(shí)例之間的區(qū)別。實(shí)現(xiàn)這一目標(biāo)的一個(gè)可能的方法是將一個(gè)遞歸的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)集成到PointNet++。一個(gè)更簡(jiǎn)單的方法是將測(cè)量時(shí)間戳作為一個(gè)額外的功能來(lái)呈現(xiàn)。另一方面，需要對(duì)語(yǔ)義實(shí)例分割進(jìn)行擴(kuò)展。目前，我們只為每個(gè)反射提供類別標(biāo)簽，而不了解該反射所屬的對(duì)象實(shí)例的概念。因此，我們不知道一個(gè)場(chǎng)景中存在多少不同的對(duì)象，而只知道屬于一個(gè)對(duì)象類別的反射量。類感知聚類算法是從反射中生成實(shí)例的一種可能性，但是結(jié)合實(shí)例學(xué)習(xí)和類關(guān)聯(lián)可能會(huì)產(chǎn)生更高的總體性能。