論文信息

• 論文題目：LiON: Learning Point-wise Abstaining Penalty for LiDAR Outlier DetectioN Using Diverse Synthetic Data
• 論文發(fā)表單位：清華大學(xué), 廈門大學(xué)，滴滴出行, 香港中文大學(xué)-深圳
• 論文地址：https://arxiv.org/abs/2309.10230
• 項目倉庫：https://github.com/Daniellli/LiON

1.Motivation

基于點云的語義場景理解是自動駕駛汽車感知技術(shù)棧中的重要模塊。然而，由于點云不像圖像那樣具有豐富的語義信息，在點云中這個識別異常點是一項極具挑戰(zhàn)性的任務(wù)。本工作從兩個方面緩解了點云缺乏語義信息對異常點感知的影響：1) 提出了一種新的學(xué)習(xí)范式，使模型能夠?qū)W習(xí)更魯棒的點云表征，增強點與點之間的辨別性；2) 借助額外的數(shù)據(jù)源，ShapeNet，提出了一套可以生成多樣且真實偽異常的方法。實驗結(jié)果表明，在公開數(shù)據(jù)集 SemanticKITTI 和 NuScenes 上，本方法顯著超越了前 SOTA。

2.Method

給定一個場景點云，點云語義分割的主要任務(wù)是為點云中的每個樣本點分配一個預(yù)先定義的類別，例如車、樹、行人等。本工作將這些屬于預(yù)先定義類別的樣本點稱為正常樣本點。而 點云異常檢測則作為點云語義分割模塊的補充，用于識別那些不屬于預(yù)先定義類別集合的樣本點，例如桌子、椅子等無法預(yù)料的類別。本工作將這些樣本點稱為異常樣本點。

此前的工作 REAL 將圖像異常檢測方法直接適配到點云異常檢測領(lǐng)域，并通過實驗發(fā)現(xiàn)，大量異常樣本被錯誤分類為預(yù)先定義的類別。為了解決這一問題，REAL 提出了一種新的校正損失，用于校正正常樣本的預(yù)測。然而，本工作的實驗結(jié)果表明，盡管該校正損失能夠提升異常樣本的分類性能，但同時也對正常樣本的分類性能造成了顯著的負面影響。

本工作將圖像異常檢測方法在點云異常檢測領(lǐng)域表現(xiàn)不佳的原因歸結(jié)于點云不像圖像那樣具有豐富的語義信息。比如Figure 1左側(cè)，即使是人類也難以識別道路中央的家具信息。因此，該工作從兩個方面緩解點云缺乏豐富語義含義所帶來的影響。

Figure 1 點云語義分割模塊錯誤地將家具分類成道路

首先，該工作提出為每個樣本點計算一個懲罰項，并通過額外的損失函數(shù)保證正常樣本點的懲罰較小，而異常樣本點的懲罰較大。然后，將該懲罰項嵌入交叉熵損失中，以動態(tài)調(diào)整模型的優(yōu)化方向。通過為每個樣本點學(xué)習(xí)額外的懲罰項并改進學(xué)習(xí)范式，本工作增強了樣本點之間的辨別性，緩解了點云缺乏語義信息的問題，從而全面提升了異常檢測能力。

此外，該工作提出利用 ShapeNet 數(shù)據(jù)集生成偽異常。ShapeNet 是一個大規(guī)模的三維形狀數(shù)據(jù)集，包含超過 22 萬個三維模型，覆蓋 55 個主要類別和 200 多個子類別。因此，通過 ShapeNet 生成的偽異常具有較高的多樣性。其次，在生成偽異常時，該工作進一步考慮了點云的采樣模式，從而使生成的偽異常更加真實。因此，該工作通過生成更加多樣且真實的偽異常，更好地估計和模擬了真實異常的分布，緩解了點云缺乏語義信息的問題。

2.1. 模型整體架構(gòu)

其中[·]表示拼接操作。

Figure 2 算法處理流程

2.2. 基于逐點懲罰的學(xué)習(xí)范式

本工作提出對每個樣本點用能量函數(shù)計算一個額外的懲罰項a，懲罰項的計算如下所示：

此外，該工作通過一個額外的逐點懲罰損失函數(shù)使得對于所有的正常樣本點都有個較小的懲罰，對于所有的異常樣本點都有較大的懲罰。該逐點懲罰損失函數(shù)的形式化表達如下：

Figure 3 懲罰項和逐點懲罰損失之間關(guān)系

而后，該工作用懲罰項a升級交叉熵損失函數(shù)，動態(tài)調(diào)整交叉熵損失的優(yōu)化重點， 升級后的交叉熵損失函數(shù)被叫做逐點拒絕（abstain）損失函數(shù)：

因此整個算法的損失函數(shù)為：

2.3.合成數(shù)據(jù)生成點云異常

該工作通過引入額外的數(shù)據(jù)源， ShapeNet，來生成更加多樣且真實的偽異常，從而更好地近似真實異常分布。首先，通過伯努利分布計算插入的偽異常數(shù)量G。而后，通過循環(huán)G次下面流程來插入偽異常。

如Figure 4所示，該生成方法包括以下步驟：（a）加載物體后，基于均勻分布計算平移距離和旋轉(zhuǎn)角度，并對物體進行（b）平移和（c）旋轉(zhuǎn)，使其有可能放置在場景中的任意角落；（d）基于均勻分布計算的縮放系數(shù)，對物體進行縮放；(e) 將物體放置于場景地面; (f)使用被插入物體遮擋住的場景樣本點來替換插入物體的樣本點。

Figure 4 偽異常生成流程

3.Experiment

實驗結(jié)果表明，該工作提出的方法在SemanticKITTI和NuScenes兩個公開數(shù)據(jù)集上能夠大幅優(yōu)于之前的SOTA方法。

3.1.實驗基準(zhǔn)

該工作沿用了之前的實驗基準(zhǔn)。采用SemanticKITTI和NuScenes作為基準(zhǔn)數(shù)據(jù)集。在SemanticKITTI中，將{other-vehicle}設(shè)為異常類別；在NuScenes中，將{barrier,constructive-vehicle,traffic-cone,trailer}設(shè)為異常類別。這些異常類別的樣本在訓(xùn)練過程是不可見的。

3.2.定量結(jié)果

Table 1 定量結(jié)果對比

該工作沿用之前的實驗設(shè)置， 選C3D（Cylinder3D）作為分割基座模型。前SOTA方法， APF，沒有在NuScenes上開展實驗并且沒有開源代碼， 因此該工作無法在NuScenes上與其進行對比。Table 1實驗結(jié)果表明，該工作提出的算法在兩個公開基準(zhǔn)數(shù)據(jù)集上大幅優(yōu)于之前SOTA方法。

3.3.定性結(jié)果

Figure 5 SemanticKITTI（左）和NuScenes（右）上的定性結(jié)果對比

與前SOTA算法對比，該工作提出的算法不管是在64線雷達采集的點云數(shù)據(jù)上（SemanticKITTI）還是32線雷達采集的點云數(shù)據(jù)（NuScenes）上都表現(xiàn)出了優(yōu)越的性能， 不僅能夠精確定位異常類別而且能夠賦予較高的置信度。