本文經(jīng)自動駕駛之心公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

寫在前面&個人理解

駕駛系統(tǒng)通常依賴高精（HD）地圖來獲取精確的環(huán)境信息，這對于規(guī)劃和導(dǎo)航至關(guān)重要。盡管當(dāng)前的高精地圖構(gòu)建器在理想條件下表現(xiàn)良好，但它們對現(xiàn)實世界挑戰(zhàn)的韌性，例如惡劣天氣和傳感器故障，尚不完全清楚，這引發(fā)了安全問題。MapBench是首個旨在評估高精地圖構(gòu)建方法對各種傳感器損壞情況的魯棒性的全面基準(zhǔn)測試?；鶞?zhǔn)測試涵蓋了來自Camera和激光雷達(dá)傳感器的總共29種損壞類型。對31個高精地圖構(gòu)建器的廣泛評估揭示了現(xiàn)有方法在惡劣天氣條件和傳感器故障下性能顯著下降，這凸顯了關(guān)鍵的安全問題。對此，識別出增強魯棒性的有效策略，包括利用多模態(tài)融合、高級數(shù)據(jù)增強和架構(gòu)技術(shù)的創(chuàng)新方法。這些見解為開發(fā)更可靠的高精地圖構(gòu)建方法提供了途徑，這對于自動駕駛技術(shù)的進步至關(guān)重要。

項目鏈接：https://mapbench.github.io/

領(lǐng)域背景介紹

高精地圖是自動駕駛系統(tǒng)的基礎(chǔ)組件，提供了交通規(guī)則、矢量拓?fù)浜蛯?dǎo)航信息的厘米級細(xì)節(jié)。這些地圖使自動駕駛車輛能夠準(zhǔn)確地定位自身在道路上的位置，并預(yù)測即將到來的特征。高精地圖構(gòu)建器將這項任務(wù)表述為預(yù)測以鳥瞰圖（BEV）形式的一系列矢量靜態(tài)地圖元素，例如人行橫道、車道分隔線、道路邊界等。

現(xiàn)有的高精地圖構(gòu)建方法可以根據(jù)輸入傳感器的類型進行分類：僅基于camera、僅基于激光雷達(dá)以及camera-激光雷達(dá)融合模型。每種傳感器都有其獨特的功能：camera從圖像中捕獲豐富的語義信息，而激光雷達(dá)則從點云中提供明確的幾何信息。

通常，基于camera的方法比僅基于激光雷達(dá)的方法表現(xiàn)更好，而基于融合的方法則產(chǎn)生了最滿意的結(jié)果。然而，目前的模型設(shè)計和性能評估都是基于理想的駕駛條件，例如晴朗的白天天氣和完全正常的傳感器。

為了彌補這一差距，這里提出了MapBench，這是首個旨在評估高精地圖構(gòu)建方法在實際環(huán)境中對自然損壞可靠性的全面基準(zhǔn)測試。通過研究三種流行的配置：純視覺、僅基于激光雷達(dá)以及視覺-激光雷達(dá)融合模型，全面評估了模型在損壞情況下的魯棒性。評估涵蓋了8種camera損壞類型、8種激光雷達(dá)損壞類型以及13種視覺-激光雷達(dá)損壞組合類型，如圖2和圖4所示。為每種損壞類型定義了三個嚴(yán)重程度級別，并設(shè)計了適當(dāng)?shù)闹笜?biāo)以進行定量魯棒性比較。利用MapBench，對總共31種最先進的高精地圖構(gòu)建方法進行了廣泛的實驗。

如圖1所示的結(jié)果揭示了“干凈”數(shù)據(jù)集和損壞數(shù)據(jù)集之間模型性能的顯著差異。這些評估的關(guān)鍵發(fā)現(xiàn)包括：

• 在所有camera/激光雷達(dá)損壞情況中，雪天損壞顯著降低了模型性能。它覆蓋了道路，使得地圖元素?zé)o法識別，對自動駕駛構(gòu)成了重大威脅。此外，傳感器故障損壞（例如幀丟失和回聲不完整）對所有模型來說也是一個挑戰(zhàn)，這顯示了傳感器故障對高精地圖模型的嚴(yán)重威脅。
• 盡管camera-激光雷達(dá)融合方法通過結(jié)合兩種模態(tài)的信息顯示出了有前景的性能，但現(xiàn)有方法通常假設(shè)可以訪問完整的傳感器信息，這導(dǎo)致在傳感器損壞或缺失時魯棒性較差，并可能崩潰。

通過廣泛的基準(zhǔn)研究，進一步揭示了提高高精地圖構(gòu)建器對傳感器損壞可靠性的關(guān)鍵因素。這項工作的主要貢獻(xiàn)有三個方面：

• 引入了MapBench，首次嘗試全面基準(zhǔn)測試和評估高精地圖構(gòu)建模型對各種傳感器損壞的魯棒性。
• 在三種配置下（僅基于camera、僅基于激光雷達(dá)以及camera-激光雷達(dá)融合）廣泛基準(zhǔn)測試了總共31種最先進的高精地圖構(gòu)建器及其變體。這包括研究它們在8種camera損壞、8種激光雷達(dá)損壞以及每種配置下13種camera-激光雷達(dá)損壞組合下的魯棒性。
• 確定了提高魯棒性的有效策略，包括利用先進的數(shù)據(jù)增強和架構(gòu)技術(shù)的創(chuàng)新方法。發(fā)現(xiàn)揭示了顯著提高性能和魯棒性的策略，強調(diào)了針對高精地圖構(gòu)建中特定挑戰(zhàn)定制解決方案的重要性。

MapBench：高精地圖構(gòu)建魯棒性基準(zhǔn)測試

在這項工作中，研究了三種流行的配置，即僅基于camera的、僅基于激光雷達(dá)的以及基于camera-激光雷達(dá)融合的高精地圖構(gòu)建任務(wù)，并研究了它們對各種傳感器損壞的魯棒性。如圖2所示，camera/激光雷達(dá)損壞被分為外部環(huán)境、內(nèi)部傳感器和傳感器故障類型，涵蓋了大多數(shù)真是情況。我們?yōu)槊總€損壞類型考慮了三個損壞嚴(yán)重程度級別，即容易、中等和困難。此外，對于多傳感器損壞，我們使用camera/激光雷達(dá)傳感器故障類型來分別或同時干擾camera和激光雷達(dá)傳感器輸入。MapBench是通過破壞nuScenes的驗證集來構(gòu)建的。選擇nuScenes是因為它幾乎在所有最近的高精地圖構(gòu)建工作中都得到了廣泛應(yīng)用。

1）傳感器損壞

camera傳感器損壞。為了探究僅基于camera的模型魯棒性，采用了8種真實世界中的camera傳感器損壞情況，這些損壞情況從三個角度進行分類：外部環(huán)境、內(nèi)部傳感器和傳感器故障。外部環(huán)境包括各種光照和天氣條件，如強光、低光、霧和雪。camera輸入也可能因傳感器內(nèi)部因素而損壞，如運動模糊和顏色量化。最后，考慮了傳感器故障的情況，即由于物理問題導(dǎo)致camera崩潰或某些幀丟失，分別導(dǎo)致camera崩潰和幀丟失。

激光雷達(dá)傳感器損壞。為了探索僅基于激光雷達(dá)的模型魯棒性，采用了中的8種激光雷達(dá)傳感器損壞情況，這些損壞情況在現(xiàn)實世界的部署中具有很高的發(fā)生概率。這些損壞情況也分為外部、內(nèi)部和傳感器故障三種情況。外部環(huán)境包括霧、濕地和雪，這些條件會導(dǎo)致激光雷達(dá)脈沖的背散射、衰減和反射。此外，激光雷達(dá)輸入可能會因不平坦的表面、灰塵或昆蟲而損壞，這通常會導(dǎo)致干擾并導(dǎo)致運動模糊和光束缺失。最后，我們考慮了激光雷達(dá)內(nèi)部傳感器故障的情況，如串?dāng)_、可能的回聲不完整和跨傳感器場景。

多傳感器損壞。為了探索camera-激光雷達(dá)融合模型的魯棒性，設(shè)計了13種camera-激光雷達(dá)損壞組合，使用上述傳感器故障類型分別或同時干擾camera和激光雷達(dá)輸入。這些多傳感器損壞被分為僅camera損壞、僅激光雷達(dá)損壞以及它們的組合，涵蓋了大多數(shù)現(xiàn)實場景。具體來說，利用“干凈”的激光雷達(dá)點數(shù)據(jù)和三種camera故障情況（如不可用camera（所有RGB圖像的所有像素值都設(shè)置為零）、camera崩潰和幀丟失）設(shè)計了3種僅camera損壞情況。此外，利用“干凈”的camera數(shù)據(jù)和損壞的激光雷達(dá)數(shù)據(jù)作為輸入設(shè)計了4種僅激光雷達(dá)損壞情況。這包括完全激光雷達(dá)故障（由于沒有任何模型可以在所有點都缺失的情況下工作，通過僅保留一個點作為輸入來近似這種情況）、不完整回波、串?dāng)_和跨傳感器。請注意，對完全激光雷達(dá)故障的實現(xiàn)接近現(xiàn)實情況。最后，設(shè)計了6種camera-激光雷達(dá)損壞組合，使用之前提到的圖像/激光雷達(dá)傳感器故障類型同時干擾兩個傳感器輸入。

2）Evaluation Metrics

基于mAP（平均精度均值）定義了兩個魯棒性評估指標(biāo)，mAP是矢量化高精地圖構(gòu)建中常用的準(zhǔn)確度指標(biāo)。

損壞誤差（CE）。將CE定義為主要指標(biāo)，用于比較模型的魯棒性。它衡量了候選模型相對于基準(zhǔn)模型的相對魯棒性。給定總共N種不同的損壞類型，CE和mCE（平均損壞誤差）的分?jǐn)?shù)計算如下：

恢復(fù)率（RR）。將RR定義為相對魯棒性指標(biāo)，用于衡量模型在損壞集上評估時能夠保留多少準(zhǔn)確性，其計算方式如下：

實驗分析

候選模型。MapBench總共包含了31個高精地圖構(gòu)建器及其變體，即HDMapNet 、VectorMapNet 、PivotNet 、BeMapNet 、MapTR 、MapTRv2 、StreamMapNet 和HIMap 。其他一些高精地圖方法的代碼不是開源的，因此在本工作中不會考慮。

模型配置。在表1中報告了不同模型的基本信息，包括輸入模態(tài)、BEV編碼器、主干網(wǎng)絡(luò)、訓(xùn)練周期以及它們在官方nuScenes驗證集上的性能。請注意，這里的僅激光雷達(dá)模型將時間聚合的激光雷達(dá)點作為輸入，因此它們在“干凈”數(shù)據(jù)上的mAP遠(yuǎn)高于其他表格或圖表中的值，后者使用單次掃描的激光雷達(dá)點，以便與損壞數(shù)據(jù)進行公平比較。

評估協(xié)議。為確保公平性，盡可能使用開源代碼庫提供的官方模型配置和public checkpoints，或者按照默認(rèn)設(shè)置重新訓(xùn)練模型。此外，通過平均三個嚴(yán)重程度級別來報告每種損壞類型的指標(biāo)。采用不同配置的MapTR （見表1）作為計算等式1中mCE指標(biāo)的基線，因為它在最新方法中被廣泛采用。

1）純視覺基準(zhǔn)測試結(jié)果

在圖3（a）-（b）中展示了8個僅使用camera的高精地圖模型在camera傳感器損壞情況下的魯棒性。發(fā)現(xiàn)表明，現(xiàn)有的高精地圖模型在損壞場景下表現(xiàn)出不同程度的性能下降。總體來說，損壞魯棒性與在“干凈”數(shù)據(jù)上的原始準(zhǔn)確度高度相關(guān)，因為準(zhǔn)確度更高的模型（例如StreamMapNet 、HIMap ）也表現(xiàn)出更好的損壞魯棒性。我們進一步在圖6中展示了僅使用camera的方法在不同損壞嚴(yán)重程度下的準(zhǔn)確度比較。

基于實證評估結(jié)果，得出以下幾個重要發(fā)現(xiàn)，可以總結(jié)如下：

1）在所有camera損壞情況中，雪對性能的影響最大，對駕駛安全構(gòu)成嚴(yán)重威脅。主要原因是雪會覆蓋道路，導(dǎo)致地圖元素?zé)o法識別。此外，幀丟失和camera崩潰對所有模型來說也是一個挑戰(zhàn)，這顯示了camera傳感器故障對僅使用camera的模型構(gòu)成的嚴(yán)重威脅。

2）如圖3（a）-（b）所示，最魯棒的兩個模型是StreamMapNet 和HIMap 。盡管它們在各種camera損壞情況下比其他研究的模型表現(xiàn)出更好的魯棒性，但現(xiàn)有模型的整體魯棒性仍然相對較低。具體來說，mRR的范圍在40%到60%之間，而最佳模型HIMap 的mRR僅為56.6%。

2）純激光雷達(dá)基準(zhǔn)測試結(jié)果

在圖3（c）-（d）和圖6中報告了4個僅使用激光雷達(dá)的高精地圖構(gòu)建器的激光雷達(dá)傳感器損壞魯棒性。與僅使用camera的模型觀察結(jié)果類似，在“干凈”數(shù)據(jù)集上準(zhǔn)確度更高的僅使用激光雷達(dá)的模型通常也表現(xiàn)出更好的損壞魯棒性。關(guān)鍵要點如下：

1）在所有損壞情況中，雪和跨傳感器損壞對性能的影響最大，對僅使用激光雷達(dá)的方法的魯棒性構(gòu)成嚴(yán)重威脅。更具體地說，雪和跨傳感器損壞都導(dǎo)致所有僅使用激光雷達(dá)的方法性能下降超過80%。主要原因是雪會導(dǎo)致激光雷達(dá)數(shù)據(jù)中的激光脈沖反射。此外，跨傳感器損壞表明，由不同激光雷達(dá)配置/設(shè)備引起的域差異大大降低了性能。

2）大多數(shù)模型在不完整回波損壞下的性能下降可以忽略不計。這種損壞類型主要影響來自深色車輛或物體的數(shù)據(jù)，而高精地圖構(gòu)建任務(wù)更關(guān)注靜態(tài)地圖元素。此外，盡管VectorMapNet 在mRR指標(biāo)上取得了最佳性能，但與HIMap 相比，在mAP方面并不遜色。

3）Camera-激光雷達(dá)融合基準(zhǔn)測試結(jié)果

為了系統(tǒng)地評估基于camera-激光雷達(dá)融合方法的可靠性，設(shè)計了13種多傳感器損壞類型，這些損壞類型分別或同時干擾camera和激光雷達(dá)輸入。結(jié)果如圖4所示。發(fā)現(xiàn)表明，camera-激光雷達(dá)融合模型在不同損壞組合下表現(xiàn)出不同程度的性能下降。

實驗結(jié)果揭示了幾個有趣的發(fā)現(xiàn)，我們提供如下詳細(xì)分析：

1）在camera數(shù)據(jù)缺失的場景中，MapTR  和 HIMap  的mAP分別下降了40.0%和68.9%，對安全感知構(gòu)成了嚴(yán)重威脅。此外，幀丟失對基于傳感器融合方法的性能造成的影響比camera崩潰更為嚴(yán)重。這些觀察結(jié)果驗證了camera傳感器故障對高精地圖融合模型構(gòu)成了重大威脅。

2）在激光雷達(dá)數(shù)據(jù)缺失的場景中，MapTR  和 HIMap  的mAP分別下降了42.1%和41.5%，這顯示了激光雷達(dá)傳感器的重要性。此外，激光雷達(dá)的串?dāng)_（Crosstalk）和跨傳感器損壞（Cross-Sensor corruptions）對camera-激光雷達(dá)融合的性能影響最大。相比之下，激光雷達(dá)的不完整回波損壞（Incomplete Echo corruption）對模型性能的影響不大，這與僅使用激光雷達(dá)配置下的觀察結(jié)果一致。

3）camera-激光雷達(dá)組合損壞導(dǎo)致的性能下降比其單模態(tài)對應(yīng)項更糟，這凸顯了camera和激光雷達(dá)傳感器故障對高精地圖構(gòu)建任務(wù)的嚴(yán)重威脅。此外，無論與哪種類型的激光雷達(dá)損壞相結(jié)合，幀丟失（Frame Lost）對融合模型性能的影響都比camera崩潰（Camera Crash）更為顯著，這強調(diào)了camera傳感器多視角輸入的重要性。在三種激光雷達(dá)損壞類型中，跨傳感器損壞對融合模型性能的影響最大。即使與各種類型的camera損壞相結(jié)合，這種模式仍然保持一致，說明了跨配置或跨設(shè)備激光雷達(dá)數(shù)據(jù)輸入構(gòu)成的嚴(yán)重威脅。在圖5中提供了一些在各種camera-激光雷達(dá)損壞組合下高精地圖構(gòu)建的定性示例，這些示例展示了在各種損壞下的性能下降。

值得注意的是，盡管HIMap 在“干凈”條件下的性能優(yōu)于MapTR ，但在損壞情況下，其魯棒性相對較差。這些觀察結(jié)果促使我們進一步專注于增強camera-激光雷達(dá)融合方法的魯棒性，尤其是在一種傳感器模態(tài)缺失或camera和激光雷達(dá)都受損的情況下。

觀察與討論

主干網(wǎng)絡(luò)。首先全面研究了骨干網(wǎng)絡(luò)的影響，結(jié)果如表4所示。分別在PivotNet 和BeMapNet 中使用了三種不同的骨干網(wǎng)絡(luò)。結(jié)果顯示，Swin Transformer 顯著保留了模型的魯棒性。例如，與ResNet-50 相比，Swin Transformer 骨干網(wǎng)絡(luò)分別將PivotNet 和BeMapNet 的mCE提高了22.2%和24.1%的絕對增益。這些結(jié)果表明，較大的預(yù)訓(xùn)練模型往往有助于增強在域外數(shù)據(jù)下特征提取的魯棒性。

不同的BEV編碼器。研究了幾種流行的2D到BEV轉(zhuǎn)換方法，并在表2中展示了結(jié)果。具體來說，為僅基于camera的MapTR 模型采用了BEVFormer 、BEVPool 和GKT 。結(jié)果顯示，MapTR 與各種2D到BEV方法兼容，并實現(xiàn)了穩(wěn)定的魯棒性性能。此外，BEVPool 的mRR結(jié)果不如BEVFormer 和GKT ，驗證了基于Transformer的BEV編碼器在提高高精地圖模型魯棒性方面的有效性。GKT 實現(xiàn)了最佳的mCE，這可能是由于它同時集成了幾何和視角Transformer方法。

時間信息。研究了利用時間線索對高精地圖模型魯棒性的影響，并在表3中展示了結(jié)果。我們檢查了StreamMapNet 的兩個變體：一個包含時間融合模塊，另一個不包含。結(jié)果顯示，時間融合模塊可以顯著增強魯棒性。這里的mAP結(jié)果與表1不同，因為StreamMapNet 是根據(jù)新的訓(xùn)練/驗證集劃分默認(rèn)設(shè)置重新訓(xùn)練的，而表1中的結(jié)果則是使用舊的訓(xùn)練/驗證集劃分獲得的?？梢杂^察到，帶有時間線索的模型在mRR和mCE指標(biāo)上分別獲得了8.4%和14.1%的絕對增益。這驗證了時間融合可以在傳感器損壞的情況下提供額外的互補信息，從而增強對不同傳感器損壞的魯棒性。

訓(xùn)練周期。在這個設(shè)置中，我們研究了三個使用不同訓(xùn)練周期訓(xùn)練的高精地圖模型，結(jié)果如表5所示。可以觀察到，更多的訓(xùn)練周期可以顯著提高“干凈”集上的性能和對損壞的魯棒性。例如，使用更長的訓(xùn)練計劃可以增強mCE指標(biāo)的魯棒性：MapTR （+19.1%）、PivotNet （+9.8%）和BeMapNet （+10.8%）。值得注意的是，隨著訓(xùn)練周期的延長，這些模型在“干凈”集上的性能也有所提高，這表明延長訓(xùn)練允許模型更好地學(xué)習(xí)數(shù)據(jù)集中的內(nèi)在模式，從而在損壞的數(shù)據(jù)上實現(xiàn)更好的泛化性能。

數(shù)據(jù)增強以提升損壞魯棒性。文章研究了各種數(shù)據(jù)增強技術(shù)對高精地圖模型魯棒性的影響。由于多模態(tài)數(shù)據(jù)增強仍然是一個開放的問題，這項工作專注于研究圖像和LiDAR數(shù)據(jù)增強技術(shù)的影響。這里研究了三種不同的圖像數(shù)據(jù)增強方法，即Rotate 、Flip 和PhotoMetric ，以及三種不同的基于LiDAR的數(shù)據(jù)增強方法，即Dropout 、RTS-LiDAR（針對LiDAR的旋轉(zhuǎn)-平移-縮放）和PolarMix 。

1. 對于基于相機的數(shù)據(jù)增強，選擇MapTR-R50 作為基線，并在表6中展示了結(jié)果。可以觀察到，圖像增強方法在“干凈”集上適度提高了模型性能。然而，它們并沒有一致地增強模型的魯棒性。例如，PhotoMetric 將魯棒性指標(biāo)mRR和mCE分別提高了8.2%和15.5%，而Rotate 和Flip 則削弱了魯棒性。這種差異可能源于PhotoMetric 對于某些類型的損壞（如亮度和低光）起到了類似于損壞增強的作用，與其他增強方法不同。
2. 對于基于LiDAR的數(shù)據(jù)增強，選擇MapTR-LiDAR 模型，因為它在所有僅使用LiDAR的模型中具有優(yōu)越的魯棒性。不同LiDAR增強的結(jié)果如表7所示。我們觀察到，所有LiDAR增強技術(shù)都顯著提高了模型在“干凈”集上的性能。特別是，PolarMix 實現(xiàn)了3.0%的絕對性能提升。此外，所有LiDAR增強技術(shù)都有效地增強了模型的魯棒性，使Dropout 的絕對mCE值降低了1.1%，RTS-LiDAR 降低了6.0%，PolarMix 降低了6.5%。這些結(jié)果證明了LiDAR增強方法在提高僅使用LiDAR的高精地圖構(gòu)建方法的損壞魯棒性方面的有效性。