01 摘要

自動(dòng)駕駛汽車依靠各種傳感器來收集周圍環(huán)境的信息。車輛的行為是根據(jù)環(huán)境感知進(jìn)行規(guī)劃的，因此出于安全考慮，其可靠性至關(guān)重要。有源激光雷達(dá)傳感器能夠創(chuàng)建場(chǎng)景的精確3D表示，使其成為自動(dòng)駕駛汽車環(huán)境感知的寶貴補(bǔ)充。由于光散射和遮擋，激光雷達(dá)的性能在霧、雪或雨等惡劣天氣條件下會(huì)發(fā)生變化。這種限制最近促進(jìn)了大量關(guān)于緩解感知性能下降的方法的研究。

本文收集、分析并討論了基于激光雷達(dá)的環(huán)境感知中應(yīng)對(duì)不利天氣條件的不同方面。并討論了適當(dāng)數(shù)據(jù)的可用性、原始點(diǎn)云處理和去噪、魯棒感知算法和傳感器融合等主題，以緩解不利天氣造成的缺陷。此外論文進(jìn)一步確定了當(dāng)前文獻(xiàn)中最緊迫的差距，并確定了有希望的研究方向。

02 介紹

LiDAR傳感器最近在自動(dòng)駕駛領(lǐng)域越來越受到關(guān)注[1]。它提供了稀疏但準(zhǔn)確的深度信息，使其成為對(duì)相機(jī)和雷達(dá)等研究更深入的傳感器的寶貴補(bǔ)充。激光雷達(dá)傳感器是一種有源傳感器，這意味著它發(fā)射被環(huán)境反射的光脈沖。然后，傳感器捕捉反射光，并根據(jù)經(jīng)過的時(shí)間測(cè)量環(huán)境的距離。除了時(shí)間之外，還可以評(píng)估其他特征，如光量和信號(hào)的延長(zhǎng)。在大多數(shù)情況下，有機(jī)械組件與多個(gè)激光二極管相結(jié)合，以創(chuàng)建完整場(chǎng)景的稀疏點(diǎn)云[1]。市場(chǎng)上有各種不同的傳感器。

激光雷達(dá)傳感器在惡劣天氣條件下存在不同的缺點(diǎn)。首先，傳感器凍結(jié)或其他機(jī)械并發(fā)癥可能在凍結(jié)溫度下發(fā)生。傳感器技術(shù)、型號(hào)和安裝位置等內(nèi)部和結(jié)構(gòu)因素對(duì)劣化程度起著一定作用。此外，不利天氣會(huì)影響強(qiáng)度值、點(diǎn)數(shù)和其他點(diǎn)云特征（見圖一）。一般來說，當(dāng)由于灰塵或惡劣天氣而在空氣中遇到顆粒物時(shí)，發(fā)射的光會(huì)向后散射或轉(zhuǎn)移。這導(dǎo)致點(diǎn)云中的距離和反射率測(cè)量存在噪聲，因?yàn)橐恍┘す饷}沖過早返回傳感器或在大氣中丟失。在應(yīng)用場(chǎng)景理解算法時(shí)，噪聲尤其有害。在這種安全關(guān)鍵的用例中，保持可靠的高預(yù)測(cè)性能尤為重要。因此，需要有應(yīng)對(duì)策略來最大限度地減少不利天氣條件下激光雷達(dá)感知性能的下降，或者至少檢測(cè)傳感器在現(xiàn)實(shí)世界場(chǎng)景中的局限性。

大多數(shù)最先進(jìn)的算法都依賴于深度學(xué)習(xí)（DL）算法，該算法依賴大量數(shù)據(jù)，以導(dǎo)出環(huán)境的通用特征。雖然有一系列研究集中在無監(jiān)督感知上，但最近的大多數(shù)工作都需要對(duì)原始數(shù)據(jù)進(jìn)行相應(yīng)的標(biāo)記。這包括用于對(duì)象檢測(cè)的邊界框和用于語義分割的逐點(diǎn)類標(biāo)簽。手動(dòng)標(biāo)記稀疏和額外噪聲的點(diǎn)云不僅困難，而且成本高昂且容易出錯(cuò)。因此，如何用特定于天氣的噪聲模擬或增強(qiáng)現(xiàn)有點(diǎn)云的問題尤其有趣。

盡管有大量關(guān)于分析激光雷達(dá)傳感器在惡劣天氣條件下的性能退化的研究，但缺乏關(guān)于改善感知的算法應(yīng)對(duì)策略的全面總結(jié)。此外，針對(duì)惡劣天氣條件下自動(dòng)駕駛的調(diào)查解決了天氣引起的傳感器退化，但并沒有確定激光雷達(dá)傳感器特有的天氣相關(guān)問題。本文總結(jié)并分析了應(yīng)對(duì)激光雷達(dá)感知不利天氣條件的各種方法。因此，論文從三個(gè)不同的角度闡述了這個(gè)主題：

• 數(shù)據(jù)可用性：用于開發(fā)魯棒激光雷達(dá)感知算法的真實(shí)世界和合成數(shù)據(jù)集；
• 點(diǎn)云操作：傳感器特定的天氣魯棒性和感知無關(guān)的點(diǎn)云處理（例如天氣分類、點(diǎn)云去噪）；
• 魯棒感知：魯棒感知算法，能夠通過融合多個(gè)傳感器、在訓(xùn)練中進(jìn)行調(diào)整或提高感知模型的總體魯棒性來處理點(diǎn)云中由天氣引起的噪聲。

最后對(duì)當(dāng)前技術(shù)中缺失的空白以及最有前景的研究方向進(jìn)行了總結(jié)。

03 不利天氣數(shù)據(jù)

要在任何類型的感知任務(wù)上訓(xùn)練DL模型，都需要大量的數(shù)據(jù)。對(duì)于仍占主導(dǎo)地位的監(jiān)督方法，這些數(shù)據(jù)甚至必須通過自動(dòng)標(biāo)記方法或手動(dòng)方式進(jìn)行標(biāo)記。無論哪種方式，獲得精確標(biāo)記的稀疏激光雷達(dá)數(shù)據(jù)都是昂貴和繁瑣的，而且當(dāng)原始點(diǎn)云被天氣引起的噪聲破壞時(shí)，更會(huì)受到阻礙。

因此，需要具有高質(zhì)量標(biāo)簽的有價(jià)值的數(shù)據(jù)集。通常，有三種選擇可以獲得具有天氣特征噪聲模式的激光雷達(dá)點(diǎn)云：真實(shí)世界記錄、增強(qiáng)點(diǎn)云和模擬點(diǎn)云。第一個(gè)是在惡劣的天氣條件下使用帶有適當(dāng)傳感器設(shè)置的測(cè)試車生成的。后一種方法需要物理模型或基于DL的方法來創(chuàng)建部分或整個(gè)點(diǎn)云。

真實(shí)世界數(shù)據(jù)集

用于激光雷達(dá)感知基準(zhǔn)的大多數(shù)現(xiàn)有數(shù)據(jù)集都是在有利的天氣條件下記錄的。為了在現(xiàn)實(shí)世界中使用開發(fā)的感知算法，底層數(shù)據(jù)集必須反映所有天氣條件。除了晴朗的天氣條件外，還有一些廣泛的數(shù)據(jù)集明確包括雨、雪和霧。

表I顯示了用于研究惡劣天氣條件下激光雷達(dá)感知的公開可用數(shù)據(jù)集的概述。數(shù)據(jù)集是在不同的條件下記錄的，并且大小差異很大。其中大多數(shù)實(shí)際上是在真實(shí)世界的駕駛場(chǎng)景中記錄的，而其中兩個(gè)（部分）來自氣象室。氣象室具有完全控制天氣條件和周圍環(huán)境的優(yōu)勢(shì)，即在障礙物方面。盡管如此，它們并不能充分反映現(xiàn)實(shí)世界的情況。

此外，每個(gè)數(shù)據(jù)集都使用不同的傳感器設(shè)置。[27]專門針對(duì)惡劣天氣條件下的激光雷達(dá)制造商和型號(hào)進(jìn)行基準(zhǔn)測(cè)試。除了激光雷達(dá)傳感器，所有數(shù)據(jù)集都提供RGB攝像機(jī)記錄，有些數(shù)據(jù)集甚至包括雷達(dá)、立體聲，事件、門控或紅外攝像機(jī)。

這些數(shù)據(jù)集旨在解決自動(dòng)駕駛汽車的不同感知和駕駛?cè)蝿?wù)。幾乎所有傳感器設(shè)置（除[21]外）都包括定位和運(yùn)動(dòng)傳感器，即GPS/GNSS和IMU。因此，它們適合于開發(fā)和測(cè)試SLAM算法。除了僅提供運(yùn)動(dòng)GT的[29]之外，所有數(shù)據(jù)集都提供了用于目標(biāo)檢測(cè)或逐點(diǎn)分割的標(biāo)簽。

最后，所有數(shù)據(jù)集都包括一些關(guān)于天氣狀況的元數(shù)據(jù)。這對(duì)于在惡劣天氣條件下開發(fā)幾乎任何類型的感知模型都至關(guān)重要。至少對(duì)于徹底的驗(yàn)證來說，了解周圍天氣條件的強(qiáng)度和性質(zhì)是至關(guān)重要的。只有一個(gè)數(shù)據(jù)集提供逐點(diǎn)天氣標(biāo)簽，即路邊的降雪和積雪。

由真實(shí)世界記錄組成的數(shù)據(jù)集的優(yōu)點(diǎn)是高度真實(shí)。缺點(diǎn)是記錄場(chǎng)景的標(biāo)簽僅部分可用（逐點(diǎn)），或者，如果數(shù)據(jù)記錄在氣象室中，則僅限于更復(fù)雜的現(xiàn)實(shí)世界場(chǎng)景。在不利的天氣條件下手動(dòng)逐點(diǎn)標(biāo)記激光雷達(dá)點(diǎn)云尤其具有挑戰(zhàn)性，因?yàn)樵谠S多情況下，將雜波或噪聲與實(shí)際反射信號(hào)區(qū)分開來是不切實(shí)際的。

天氣增強(qiáng)

將不利天氣影響擴(kuò)展到現(xiàn)有數(shù)據(jù)集提供了一種生成大量數(shù)據(jù)的有效方法，而不是乏味地收集和標(biāo)記不同不利天氣影響的新數(shù)據(jù)集。通常，基于物理或經(jīng)驗(yàn)的增強(qiáng)模型被用來將某些不利天氣影響增強(qiáng)為晴朗的天氣點(diǎn)云，無論它們是來自真實(shí)世界的驅(qū)動(dòng)還是來自等模擬。這允許獲得被天氣特定噪聲破壞的場(chǎng)景，同時(shí)保留數(shù)據(jù)集中已經(jīng)存在的所有有趣的邊緣情況和注釋。

增強(qiáng)方法定義了在不利天氣條件下從晴朗天氣點(diǎn)到相應(yīng)點(diǎn)的映射。為此，經(jīng)常參考[32]中的理論激光雷達(dá)模型，該模型對(duì)不利的雨、霧和雪的影響進(jìn)行建模。它通過將發(fā)射的脈沖與場(chǎng)景響應(yīng)卷積，將接收到的強(qiáng)度分布建模為線性系統(tǒng)。場(chǎng)景響應(yīng)對(duì)固體物體上的反射以及由于惡劣天氣造成的背散射和衰減進(jìn)行建模。

[9]中介紹了一種更實(shí)用的霧增強(qiáng)，可以直接應(yīng)用于點(diǎn)云。它基于最大視距，該視距是測(cè)量強(qiáng)度、激光雷達(dá)參數(shù)和霧中光學(xué)能見度的函數(shù)。如果晴朗天氣點(diǎn)的距離低于最大觀看距離，則會(huì)出現(xiàn)隨機(jī)散射點(diǎn)，或者該點(diǎn)以一定的概率丟失。該模型通過將能見度參數(shù)和散射概率轉(zhuǎn)化為降雨率來適應(yīng)降雨。

然而，這些模型忽略了所考慮的用于增雨的發(fā)射激光雷達(dá)脈沖的光束發(fā)散。這里，計(jì)算了模擬光束發(fā)散的超采樣光束與球形雨滴的交點(diǎn)數(shù)量。如果交叉點(diǎn)的數(shù)量超過某個(gè)閾值，則會(huì)添加一個(gè)散射點(diǎn)。[35]中的擴(kuò)充方法擴(kuò)展了這種方法，從而可能出現(xiàn)丟失點(diǎn)。此外，它還適用于雪和霧。

[36]中介紹了霧、雪和雨的另一種增強(qiáng)。該模型在功率域中運(yùn)行，并且不依賴于例如像前面討論的方法那樣計(jì)算交叉點(diǎn)。此外，使用計(jì)算上更有效的散射點(diǎn)距離采樣策略來模擬光束發(fā)散。通常，該模型首先將固體物體和隨機(jī)采樣散射體反射的衰減功率與距離相關(guān)的噪聲閾值進(jìn)行比較。如果散射點(diǎn)的功率超過實(shí)體對(duì)象的功率，則會(huì)添加散射點(diǎn)。如果某個(gè)點(diǎn)低于與距離相關(guān)的噪聲閾值，則該點(diǎn)將丟失。

除了基于物理的模型外，經(jīng)驗(yàn)?zāi)Ｐ鸵部梢杂糜谠鰪?qiáng)。在[38]中可以找到其他車輛卷起的噴霧的經(jīng)驗(yàn)增強(qiáng)方法。這個(gè)模型的中心是從專門的實(shí)驗(yàn)中觀察到的噴霧被組織成簇。[39]中提出了另一種數(shù)據(jù)驅(qū)動(dòng)方法，該方法依賴于Waymo數(shù)據(jù)集的噴霧場(chǎng)景。在[40]中，提出了一種計(jì)算成本更高的噴霧增強(qiáng)方法，該方法依賴于帶有物理引擎的渲染器。

最后，基于DL的方法可以應(yīng)用于不利天氣增強(qiáng)。在[41]中，受圖像到圖像翻譯的啟發(fā)，提出了一種基于生成對(duì)抗性網(wǎng)絡(luò)（GAN）的方法，該方法能夠?qū)Ⅻc(diǎn)云從晴天轉(zhuǎn)換為霧天或雨天。他們將他們的結(jié)果與來自氣象室的真實(shí)霧點(diǎn)云和雨點(diǎn)云進(jìn)行了定性比較。

然而，評(píng)估增強(qiáng)方法的質(zhì)量和真實(shí)程度是具有挑戰(zhàn)性的。一些作者使用氣象室或其他受控環(huán)境，以便與現(xiàn)實(shí)世界的天氣影響進(jìn)行比較。此外，如果增強(qiáng)方法有助于在現(xiàn)實(shí)世界不利天氣條件下的感知性能，則通常認(rèn)為它是現(xiàn)實(shí)的。

04 點(diǎn)云處理與去噪

本節(jié)介紹了如何處理不利天氣條件的方法，這些方法是基于傳感器技術(shù)或點(diǎn)云的，即獨(dú)立于實(shí)際感知任務(wù)。因此，論文分析了一般傳感器相關(guān)的天氣魯棒性，以及根據(jù)天氣條件估計(jì)性能退化程度的可能性。此外，有大量研究使用經(jīng)典去噪方法和DL從激光雷達(dá)點(diǎn)云中去除天氣引起的噪聲。

傳感器相關(guān)天氣魯棒性

根據(jù)技術(shù)、特性和配置，不同的激光雷達(dá)模型或多或少會(huì)受到天氣條件的影響。由于眼睛安全的限制和對(duì)環(huán)境光的抑制，激光雷達(dá)傳感器的兩種工作波長(zhǎng)占主導(dǎo)地位：905nm和1550nm，其中905nm是大多數(shù)可用的傳感器。這在一定程度上是由于在不利天氣條件下具有更好的性能，即雨滴的吸收率較低，在雪中具有更好的反射率，在霧中具有較小的退化。關(guān)于惡劣天氣條件下激光雷達(dá)技術(shù)和波長(zhǎng)的全面討論，我們參考[17]。

此外，還對(duì)惡劣天氣條件下的全波形激光雷達(dá)（FWL）性能進(jìn)行了研究。FWL不僅測(cè)量一個(gè)或兩個(gè)回波，而且測(cè)量所有較弱的回波，有效地測(cè)量了更多的噪聲，但也收集了更多關(guān)于周圍環(huán)境的信息。盡管FWL需要很高的計(jì)算資源，但它已被證明對(duì)分析周圍介質(zhì)很有用，這可以為理解甚至不斷變化的條件并動(dòng)態(tài)調(diào)整條件奠定基礎(chǔ)。

傳感器退化估計(jì)和天氣分類

由于激光雷達(dá)傳感器在不同的天氣條件下退化不同，估計(jì)傳感器退化程度是處理?yè)p壞的激光雷達(dá)點(diǎn)云的第一步。在開發(fā)更好地識(shí)別傳感極限的方法以防止錯(cuò)誤檢測(cè)傳播到下游任務(wù)中時(shí)，已經(jīng)取得了進(jìn)展。

首先，一些關(guān)于表征傳感器在各種天氣條件下退化的研究為傳感器在惡劣天氣條件下的校準(zhǔn)和進(jìn)一步發(fā)展奠定了堅(jiān)實(shí)的基礎(chǔ)，盡管尚未對(duì)其天氣分類能力進(jìn)行評(píng)估。

[33]中介紹了第一項(xiàng)實(shí)際模擬降雨對(duì)激光雷達(dá)傳感器影響的工作。作者提出了一個(gè)從激光雷達(dá)方程導(dǎo)出的數(shù)學(xué)模型，并允許基于降雨率和最大傳感范圍進(jìn)行性能退化估計(jì)。

在隨后的研究工作中，對(duì)惡劣天氣條件下傳感器退化的估計(jì)被公式化為異常檢測(cè)任務(wù)和驗(yàn)證任務(wù)。前者采用了基于DL的模型，該模型旨在學(xué)習(xí)一種潛在的表示，該表示將清晰的LiDAR掃描與雨天的激光雷達(dá)掃描區(qū)分開來，從而能夠量化性能下降的程度。后一種方法建議使用強(qiáng)化學(xué)習(xí)（RL）模型來確定對(duì)象檢測(cè)和跟蹤模型中的失敗。

雖然上述方法旨在量化傳感器性能本身的下降，但另一系列研究側(cè)重于對(duì)周圍天氣條件（即晴朗、下雨、霧和雪）的分類。在基于激光雷達(dá)點(diǎn)云手工制作的特征3的經(jīng)典機(jī)器學(xué)習(xí)方法（k-最近鄰和支持向量機(jī)）的幫助下，取得了令人滿意的結(jié)果：[10]提出了一個(gè)特征集來進(jìn)行逐點(diǎn)天氣分類。

[51]開發(fā)了降雨率逐幀回歸的概率模型。在專家的配合下，他們從激光雷達(dá)點(diǎn)云中準(zhǔn)確地推斷出了降雨率。

應(yīng)該注意的是，大多數(shù)方法都是根據(jù)氣象室收集的數(shù)據(jù)進(jìn)行訓(xùn)練和評(píng)估的。雖然仔細(xì)控制天氣條件的能力允許高再現(xiàn)性，但數(shù)據(jù)通常不能準(zhǔn)確反映真實(shí)世界的情況。為了評(píng)估每種方法的分類能力，有必要對(duì)真實(shí)世界的數(shù)據(jù)進(jìn)行徹底的研究[50]。

點(diǎn)云去噪

天氣效應(yīng)以特定的噪聲模式反映在激光雷達(dá)點(diǎn)云中。如第一節(jié)所述，它們可能會(huì)影響點(diǎn)云中的測(cè)量次數(shù)和最大傳感范圍等因素。可以通過各種方法對(duì)點(diǎn)云進(jìn)行去噪，以重建清晰的測(cè)量結(jié)果，而不是用特定于天氣的噪聲來增強(qiáng)點(diǎn)云。除了經(jīng)典的濾波算法外，最近還出現(xiàn)了一些基于DL的去噪工作。

除了在去噪點(diǎn)云上應(yīng)用物體檢測(cè)等感知任務(wù)外，精度（保留環(huán)境特征）和召回率（濾除天氣引起的噪聲）等指標(biāo)對(duì)于評(píng)估經(jīng)典濾波方法的性能至關(guān)重要。為了計(jì)算這些指標(biāo)，需要逐點(diǎn)標(biāo)記，以說明雪粒等天氣類別。

半徑異常值去除（ROR）基于任何點(diǎn)的鄰域過濾掉噪聲。這對(duì)于激光雷達(dá)測(cè)量遠(yuǎn)處物體來說就成了問題，因?yàn)辄c(diǎn)云變得自然稀疏。先進(jìn)的方法通過根據(jù)感測(cè)距離動(dòng)態(tài)調(diào)整閾值（動(dòng)態(tài)半徑異常值去除（DROR））或考慮到點(diǎn)云中每個(gè)點(diǎn)的鄰居的平均距離（統(tǒng)計(jì)異常值去除）來解決這一問題。這兩種方法都表現(xiàn)出很高的運(yùn)行時(shí)間，使得它們幾乎不適用于自動(dòng)駕駛。快速聚類統(tǒng)計(jì)異常值去除（FCSOR）和動(dòng)態(tài)統(tǒng)計(jì)異常值消除（DSOR）都提出了降低計(jì)算負(fù)載的方法，同時(shí)仍然從點(diǎn)云中去除天氣偽影。

路邊激光雷達(dá)的去噪方法依賴于歷史數(shù)據(jù)的背景模型（可用于固定路邊傳感器），結(jié)合經(jīng)典去噪中使用的基本原理來識(shí)別動(dòng)態(tài)點(diǎn)。[57]在強(qiáng)度閾值的幫助下從實(shí)際物體中過濾天氣噪聲。不幸的是，這并不容易適用于安裝在移動(dòng)車輛上的激光雷達(dá)傳感器。

與經(jīng)典的去噪方法相反，基于DL的激光雷達(dá)點(diǎn)云去噪之所以流行，是因?yàn)樵撃Ｐ湍軌蛑苯永斫馓鞖庠肼暤臐撛诮Y(jié)構(gòu)：首先，基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的模型已被用于有效的天氣去噪。使用時(shí)間數(shù)據(jù)進(jìn)行區(qū)分進(jìn)一步利用了特定于天氣的噪聲去除，因?yàn)樽匀坏?，天氣噪聲的變化頻率高于場(chǎng)景背景甚至場(chǎng)景內(nèi)的對(duì)象。基于CNN的方法（尤其是基于體素的方法）在噪聲濾波方面優(yōu)于經(jīng)典的去噪方法。此外，由于GPU計(jì)算速度更快，它們的推理時(shí)間更低。

除了有監(jiān)督的CNN方法之外，像CycleGANs這樣的無監(jiān)督方法能夠?qū)⒃肼朁c(diǎn)云輸入轉(zhuǎn)化為清晰的激光雷達(dá)掃描。然而，它們的性質(zhì)仍然很嘈雜，由此產(chǎn)生的點(diǎn)云很難就其真實(shí)性進(jìn)行驗(yàn)證。

05 魯棒的激光雷達(dá)感知

盡管在減少不利天氣帶來的領(lǐng)域轉(zhuǎn)移方面有著很好的努力，但有多種可能的方法可以使激光雷達(dá)感知模型在不利天氣條件下更加穩(wěn)健，而與數(shù)據(jù)的質(zhì)量和噪聲水平無關(guān)。這里有三個(gè)工作流程：利用傳感器融合，通過使用天氣特定噪聲的數(shù)據(jù)增強(qiáng)來增強(qiáng)訓(xùn)練，或者針對(duì)域偏移的模型魯棒性的一般方法來補(bǔ)償性能下降。應(yīng)該注意的是，除了物體檢測(cè)之外，傳感器融合方法是唯一解決多種感知任務(wù)的方法。據(jù)論文所知，沒有關(guān)于語義分割等其他感知任務(wù)的文獻(xiàn)。

利用傳感器融合應(yīng)對(duì)惡劣天氣

通?？梢哉f，自動(dòng)駕駛傳感器組中的每個(gè)傳感器都有其優(yōu)點(diǎn)和缺點(diǎn)。這種傳感器組中最常見的傳感器是RGB相機(jī)、雷達(dá)和激光雷達(dá)。如第一節(jié)所述，當(dāng)遇到灰塵、雨、雪或霧等可見的空氣傳播顆粒時(shí)，激光雷達(dá)的感知會(huì)受到影響。相機(jī)對(duì)強(qiáng)光入射和光暈效果更敏感。反過來，雷達(dá)也不受兩者的影響，但缺乏檢測(cè)靜態(tài)物體和精細(xì)結(jié)構(gòu)的能力。因此，它迫使自己融合不同的傳感器，以便在不同的環(huán)境條件下減輕它們各自的缺點(diǎn)，并促進(jìn)魯棒的感知。

早期關(guān)于傳感器融合以對(duì)抗天氣對(duì)傳感器感知的不利影響的工作集中于開發(fā)穩(wěn)健的數(shù)據(jù)關(guān)聯(lián)框架。最近的研究流利用基于DL的方法進(jìn)行魯棒的多模態(tài)感知，并主要解決早期與晚期融合的問題，以在惡劣天氣條件下實(shí)現(xiàn)魯棒性。

選擇前還是后融合似乎取決于傳感器的選擇、數(shù)據(jù)表示和預(yù)期故障率。假設(shè)并非所有融合傳感器的退化程度相同，并且其中至少一個(gè)傳感器功能齊全，則后期融合似乎優(yōu)于早期融合。在這種情況下，該模型能夠獨(dú)立處理傳感器流，它能夠依賴于工作的傳感器而忽略故障的傳感器。相反，雷達(dá)和激光雷達(dá)深度圖的早期融合有助于過濾錯(cuò)誤檢測(cè)，以實(shí)現(xiàn)干凈的掃描。

數(shù)據(jù)表示是另一個(gè)部分有助于回答早期與晚期融合問題的因素。激光雷達(dá)傳感器的鳥瞰圖（BEV）通過提高obejct的可分辨性，極大地促進(jìn)了物體檢測(cè)。因此，當(dāng)激光雷達(dá)數(shù)據(jù)被破壞時(shí)，任何已經(jīng)學(xué)會(huì)依賴于各自激光雷達(dá)特征的模型都將遭受性能損失。利用教師-學(xué)生網(wǎng)絡(luò)成功解決了傳感器的完全故障。

最終，一些傳感器融合方法依賴于將早期和晚期融合結(jié)合到一個(gè)模型中，并利用時(shí)間數(shù)據(jù)和基于區(qū)域的融合[72]或注意力圖[73]等概念。另一種可能性是[21]中提出的自適應(yīng)、熵控制的融合。

除了預(yù)測(cè)性能外，在開發(fā)新的感知方法時(shí)還應(yīng)考慮模型運(yùn)行時(shí)間。[68]引入了一種新的度量，該度量將可驅(qū)動(dòng)空間分割的預(yù)測(cè)性能與推理運(yùn)行時(shí)相結(jié)合。有趣的是，僅使用激光雷達(dá)的模型在這一指標(biāo)上得分最高。

毫無疑問，在惡劣的天氣條件下用未受影響的傳感器補(bǔ)償傳感器故障是很方便的。然而，通過努力改善在惡劣天氣條件下僅使用激光雷達(dá)的感知，自動(dòng)駕駛等安全關(guān)鍵應(yīng)用可以變得更加可靠。

通過數(shù)據(jù)增強(qiáng)增強(qiáng)訓(xùn)練

雖然數(shù)據(jù)增強(qiáng)被廣泛用于DL訓(xùn)練策略，但特別具有挑戰(zhàn)性的是特定天氣噪聲的產(chǎn)生。第二節(jié)介紹了在激光雷達(dá)點(diǎn)云中生成特定天氣噪聲的各種方法。在感知模型的訓(xùn)練過程中利用數(shù)據(jù)增強(qiáng)是點(diǎn)云去噪的徑向方法，這已經(jīng)在三中進(jìn)行了討論。目的不是去除天氣引起的噪音，而是讓模型習(xí)慣于這種確切的噪音。已經(jīng)證明，就魯棒性而言，天氣增強(qiáng)比去噪更有效，這為未來應(yīng)該強(qiáng)調(diào)哪些研究方向提供了寶貴的提示。

一般來說，一些工作通過在任務(wù)3D目標(biāo)檢測(cè)中評(píng)估這些數(shù)據(jù)來證明這種數(shù)據(jù)增強(qiáng)在訓(xùn)練時(shí)的好處。

許多工作都涉及在惡劣天氣條件下為魯棒的激光雷達(dá)感知選擇最佳特征提取器的問題。基于點(diǎn)的和體素化方法似乎不太受增強(qiáng)天氣效應(yīng)的影響，至少在物體檢測(cè)方面是這樣，這表明通過仔細(xì)選擇感知模型可以實(shí)現(xiàn)一定的魯棒性。此外，模型體系結(jié)構(gòu)和惡劣天氣導(dǎo)致的點(diǎn)云損壞之間似乎存在交互作用。[4]中提出的濕地?cái)U(kuò)展只幫助了一些模型，表明射線散射引起的檢測(cè)問題或多或少是嚴(yán)重的，這取決于模型架構(gòu)。

此外，物體的大小和形狀似乎在任何檢測(cè)模型的性能退化程度中發(fā)揮作用。這意味著，較小和代表性不足的類別（如STF數(shù)據(jù)集中的騎自行車的類別）比代表性較好的類別，如汽車和行人，更容易受到天氣增強(qiáng)的影響。因此，即使在不利的天氣條件下，（清晰的）訓(xùn)練集中的注釋對(duì)象的數(shù)量也是對(duì)象檢測(cè)性能的良好指標(biāo)。這表明，天氣增強(qiáng)訓(xùn)練不僅有助于在晴朗的天氣條件下提高檢測(cè)性能，有趣的是，它似乎也起到了相反的作用。

魯棒感知算法

雖然具有互補(bǔ)傳感器的融合方法可以緩解每個(gè)傳感器因天氣原因?qū)е碌男阅芟陆?，但它們只能作為解決當(dāng)前實(shí)際問題的方法。天氣條件的變化可以被視為領(lǐng)域轉(zhuǎn)移的一種特殊情況，因此，為彌合領(lǐng)域差距而開發(fā)的方法可以應(yīng)用于天氣對(duì)天氣（如晴雨/霧/雪）的領(lǐng)域轉(zhuǎn)移。[77]全面概述了當(dāng)前技術(shù)領(lǐng)域的自適應(yīng)方法，但它們主要解決與不同傳感器分辨率或可用數(shù)據(jù)及其標(biāo)簽相關(guān)的問題。

在[78]中，作者提出了數(shù)據(jù)集到數(shù)據(jù)集的域轉(zhuǎn)移，這間接包括天氣變化。他們采用師生設(shè)置進(jìn)行物體檢測(cè)，其中教師接受Waymo Open（晴天）的培訓(xùn)，為部分Waymo Open和部分Kirkland（雨天）生成標(biāo)簽，學(xué)生接受所有標(biāo)簽的培訓(xùn)并應(yīng)用于Kirkland。有趣的是，學(xué)生們似乎能更好地概括到目標(biāo)領(lǐng)域，這表明他們能夠應(yīng)對(duì)惡劣的天氣。然而，應(yīng)該注意的是，領(lǐng)域差距并不局限于天氣條件之間的變化，傳感器分辨率和標(biāo)簽策略等其他因素可能會(huì)掩蓋天氣造成的差距。

[79]的作者提出了一種魯棒的目標(biāo)檢測(cè)流水線，包括注意力機(jī)制和全局上下文特征提取，使模型能夠忽略天氣引起的噪聲，同時(shí)理解整個(gè)場(chǎng)景。雖然他們的方法不能同時(shí)在兩個(gè)域（KITTI、晴天和CADC、雨天）上表現(xiàn)良好，但基于最大差異損失的聯(lián)合訓(xùn)練產(chǎn)生了有希望的結(jié)果，并在源域和目標(biāo)域上都表現(xiàn)出了高性能。在這里，同樣不清楚模型的哪些元素歸因于天氣條件本身的變化，因?yàn)閿?shù)據(jù)集到數(shù)據(jù)集的變化似乎非常強(qiáng)烈。

[80]專注于緩解RGB相機(jī)和激光雷達(dá)因天氣原因?qū)е碌膫鞲衅魍嘶１M管他們利用傳感器融合（源自[21]中提出的熵融合）以及兩個(gè)傳感器的數(shù)據(jù)增強(qiáng)，但他們的工作有力地促進(jìn)了利用一組方法來彌合與多個(gè)未知目標(biāo)域之間的差距，以進(jìn)行目標(biāo)檢測(cè)。他們通過引入領(lǐng)域鑒別器和通過預(yù)訓(xùn)練策略進(jìn)行自我監(jiān)督學(xué)習(xí)來實(shí)現(xiàn)這一點(diǎn)。他們的結(jié)果表明，他們的多模態(tài)、多目標(biāo)領(lǐng)域自適應(yīng)方法能夠很好地推廣到例如霧場(chǎng)景。

06 討論和結(jié)論

在這篇調(diào)查論文中，本文概述了在惡劣天氣條件下基于激光雷達(dá)的自動(dòng)駕駛環(huán)境感知的當(dāng)前研究方向。論文深入分析和討論了用于深度學(xué)習(xí)算法的訓(xùn)練數(shù)據(jù)的可用性、用于檢測(cè)天氣條件和對(duì)激光雷達(dá)掃描去噪的感知無關(guān)點(diǎn)云處理技術(shù)，以及魯棒激光雷達(dá)感知的最新方法。在下文將總結(jié)最有前景的研究方向，并找出剩余的差距。

不利天氣數(shù)據(jù)：有幾個(gè)自動(dòng)駕駛數(shù)據(jù)集，包括激光雷達(dá)傳感器，同時(shí)涵蓋不利天氣條件。它們中的大多數(shù)都提供對(duì)象標(biāo)簽，但只有一個(gè)具有逐點(diǎn)類標(biāo)簽。顯然，需要合適的真實(shí)世界數(shù)據(jù)集來訓(xùn)練和驗(yàn)證越來越多的基于深度學(xué)習(xí)的激光雷達(dá)感知算法。一些工作采用特定于天氣的數(shù)據(jù)增強(qiáng)來模擬不利的天氣影響，然而，缺少一種評(píng)估生成的增強(qiáng)的真實(shí)性的方法。

點(diǎn)云處理和去噪：不同的激光雷達(dá)技術(shù)對(duì)惡劣天氣條件的反應(yīng)不同。雖然對(duì)傳感器在惡劣天氣條件下的退化進(jìn)行了深入研究，但對(duì)感知算法的影響缺乏系統(tǒng)分析。在這里，傳感器退化估計(jì)的方法將是有用的。此外，目前正在對(duì)云去噪進(jìn)行研究，但現(xiàn)有的統(tǒng)計(jì)方法已被證明不如在訓(xùn)練中使用天氣增強(qiáng)方法有效。現(xiàn)代方法，如基于CNN或GAN的方法，可能會(huì)彌合這一差距。

魯棒激光雷達(dá)感知：大量研究集中在借助傳感器融合緩解傳感器退化。雖然這產(chǎn)生了令人信服的結(jié)果，但在惡劣天氣條件下改善僅使用激光雷達(dá)的感知能力不應(yīng)被忽視。復(fù)雜的域自適應(yīng)方法（如異常檢測(cè)或不確定性建模）可能有助于解決這一問題。從不同的角度觀察激光雷達(dá)點(diǎn)云中天氣引起的噪聲的存在，可能會(huì)開啟彌合不利天氣條件帶來的領(lǐng)域差距的新研究流。調(diào)查這一領(lǐng)域差距的質(zhì)量將提示通用領(lǐng)域適應(yīng)方法的潛力。