本文經(jīng)自動(dòng)駕駛之心公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

寫在前面 & 筆者的個(gè)人理解

無(wú)圖NOA以來(lái)，研究人員focus在端到端的在線矢量地圖構(gòu)建上，該技術(shù)在鳥(niǎo)瞰圖（BEV）空間中實(shí)現(xiàn)，希望能夠替代傳統(tǒng)成本較高的離線高精（HD）地圖。但是當(dāng)前方法在惡劣環(huán)境下的準(zhǔn)確性和魯棒性很容易受限。為此本文提出了HRMapNet，其利用低成本的歷史光柵化地圖來(lái)增強(qiáng)在線矢量化地圖的感知能力。歷史光柵化地圖來(lái)源于先前預(yù)測(cè)的結(jié)果，因此可以提供當(dāng)前幀一定的先驗(yàn)信息。為了充分利用歷史地圖，作者設(shè)計(jì)了兩個(gè)模塊來(lái)增強(qiáng)BEV特征和地圖元素的查詢。對(duì)于BEV特征，本文設(shè)計(jì)了特征聚合模塊，以編碼圖像和歷史地圖的特征。對(duì)于地圖元素的查詢，則設(shè)計(jì)了一個(gè)查詢初始化模塊，以賦予查詢從歷史地圖中得到的先驗(yàn)信息。這兩個(gè)模塊對(duì)于在在線感知中利用地圖信息至關(guān)重要。HRMapNet能夠與大多數(shù)現(xiàn)有的在線矢量化地圖感知方法集成。問(wèn)鼎nuScenes和Argoverse 2 SOTA。

開(kāi)源鏈接：https://github.com/HXMap/HRMapNet

相關(guān)工作總結(jié)

自動(dòng)駕駛技術(shù)中，高精HD地圖對(duì)于車輛導(dǎo)航至關(guān)重要，它們可以詳細(xì)表述如車道線、人行橫道和道路邊界等矢量化地圖元素的位置與結(jié)構(gòu)。這些地圖以往通過(guò)離線方式并結(jié)合SLAM等技術(shù)構(gòu)建的。

單幀地圖感知

早期的地圖感知研究主要集中在車道線檢測(cè)、道路拓?fù)渫评砘虻貓D分割上，這些研究通常產(chǎn)生光柵地圖，并需要額外的后處理步驟來(lái)生成用于后續(xù)任務(wù)的矢量化地圖元素。例如，HDMapNet通過(guò)聚類分析預(yù)測(cè)的光柵地圖來(lái)構(gòu)建最終的矢量化地圖。

VectorMapNet和MapTR等工作直接預(yù)測(cè)矢量化地圖。VectorMapNet設(shè)計(jì)了一個(gè)地圖元素檢測(cè)器和一個(gè)多邊形生成器來(lái)構(gòu)建最終的矢量化地圖。MapTR提出了一種統(tǒng)一的排列等價(jià)模型，并采用DETR框架直接預(yù)測(cè)矢量化地圖元素。這些突破性的研究推動(dòng)了在線矢量化地圖感知技術(shù)的發(fā)展，并激發(fā)了一系列旨在提升性能的新方法。MapTR的改進(jìn)版MapTRv2在解碼器中引入了解耦的自注意力機(jī)制和輔助損失，顯著提高了預(yù)測(cè)精度。ScalableMap利用地圖元素的結(jié)構(gòu)特性，設(shè)計(jì)了一種漸進(jìn)式解碼器以支持長(zhǎng)距離感知。MapVR引入了可微分的光柵化和基于渲染的損失函數(shù)，以增強(qiáng)對(duì)細(xì)節(jié)的敏感度。此外，BeMapNet和PivotNet等方法通過(guò)預(yù)測(cè)貝塞爾控制點(diǎn)和支點(diǎn)，而非固定數(shù)量的點(diǎn)，來(lái)提高預(yù)測(cè)的準(zhǔn)確性。

利用額外信息的地圖感知

上述方法僅利用單幀圖像進(jìn)行地圖元素的預(yù)測(cè)，這限制了性能的進(jìn)一步提升。最新的研究進(jìn)展已經(jīng)開(kāi)始突破單幀感知的局限，通過(guò)整合額外的信息來(lái)提升性能。例如一些研究探索了如何利用額外的標(biāo)準(zhǔn)清晰度（SD）地圖來(lái)輔助HD地圖感知和車道拓?fù)淅斫?。還有研究利用衛(wèi)星地圖來(lái)增強(qiáng)車載圖像數(shù)據(jù)，以改善地圖感知。這些方法雖然提高了性能，但需要額外的數(shù)據(jù)源，從而增加了在線建圖的成本。

時(shí)間信息作為在線感知中更容易獲得的補(bǔ)充信息，在BEV特征學(xué)習(xí)和目標(biāo)檢測(cè)中已被廣泛利用。在矢量化地圖感知方面，StreamMapNet通過(guò)查詢傳播和BEV特征融合來(lái)利用時(shí)間信息。SQD-MapNet引入了流查詢?nèi)ピ爰夹g(shù)，以增強(qiáng)時(shí)間一致性。這些方法通常利用時(shí)間上短期的先前幀來(lái)輔助感知。

如果能夠收集并利用所有時(shí)間信息，就可以構(gòu)建一個(gè)地圖。一些工作利用過(guò)去的LiDAR掃描構(gòu)建的地圖被用于自動(dòng)駕駛中的目標(biāo)檢測(cè)。NMP構(gòu)建了一個(gè)用于地圖分割的由歷史BEV特征組成的地圖。然而，BEV特征占用大量的內(nèi)存，這限制了它的實(shí)際應(yīng)用。以nuScenes數(shù)據(jù)集中的波士頓地圖為例，BEV特征需要超過(guò)11GB的內(nèi)存在NMP中。相比之下，本文提出維護(hù)一個(gè)低成本的歷史光柵化地圖進(jìn)行矢量化地圖感知，大幅減少了內(nèi)存開(kāi)銷。

HRMapNet方法詳解

概述

HRMapNet框架旨在作為現(xiàn)有在線矢量化地圖感知技術(shù)的補(bǔ)充。如圖2所示，該框架通過(guò)維護(hù)一個(gè)全局歷史光柵化地圖來(lái)輔助在線感知過(guò)程。輸入環(huán)視圖像后，從共享的主干網(wǎng)絡(luò)中提取2D特征，并將其轉(zhuǎn)換到鳥(niǎo)瞰圖（BEV）空間。作者引入了地圖編碼器和特征聚合模塊，以及一個(gè)新穎的查詢初始化模塊，這些模塊在原始地圖解碼器之前工作，旨在賦予基礎(chǔ)查詢來(lái)自本地地圖的先驗(yàn)信息，使搜索所需地圖元素的過(guò)程更加高效。最終矢量化地圖元素直接從預(yù)測(cè)頭輸出，并可以光柵化以合并到全局地圖中。

圖 2: 所提出的 HRMapNet 架構(gòu)圖。圖中的灰色塊表示與現(xiàn)有最先進(jìn)在線矢量化地圖感知方法保持一致的部分

全局光柵化地圖

BEV特征聚合

查詢初始化

實(shí)驗(yàn)結(jié)果和分析

數(shù)據(jù)集

nuScenes數(shù)據(jù)集包含1000個(gè)場(chǎng)景，這些場(chǎng)景分布在4個(gè)不同的地理位置，并且每個(gè)場(chǎng)景都提供了由6個(gè)環(huán)視圖像。Argoverse 2數(shù)據(jù)集則涵蓋了6個(gè)不同城市的1000個(gè)場(chǎng)景，每個(gè)場(chǎng)景都包含了7個(gè)環(huán)視圖像。

評(píng)估指標(biāo)

評(píng)測(cè)主要關(guān)注三個(gè)地圖元素：車道線、人行橫道和道路邊界。本文使用Chamfer距離來(lái)衡量預(yù)測(cè)結(jié)果與真實(shí)標(biāo)注之間的匹配程度，該距離在三個(gè)不同的閾值（0.5米、1.0米和1.5米）下進(jìn)行計(jì)算。最終計(jì)算這三個(gè)類別的平均精度均值（mAP）作為評(píng)估指標(biāo)。

實(shí)驗(yàn)細(xì)節(jié)

與SOTA比較

在 nuScenes 數(shù)據(jù)集上的比較：如表 1 所示，作者將 HRMapNet 與僅使用單幀圖像的當(dāng)前最先進(jìn)技術(shù)進(jìn)行了比較。HRMapNet 在這些方法中表現(xiàn)出顯著的優(yōu)勢(shì)，包括 VectorMapNet、PivotNet、BeMapNet、MapTR、StreamMapNet 和 MapTRv2。具體而言，經(jīng)過(guò) 24 個(gè)周期的訓(xùn)練，HRMapNet 將 StreamMapNet 和 MapTRv2 的性能分別提升了 5.9 mAP 和 5.7 mAP。即使在 110 個(gè)周期的訓(xùn)練后，HRMapNet 依然在同一設(shè)置下比 MapTRv2 高出 4.9 mAP。與引入額外信息的方法相比，HRMapNet 通過(guò)全面利用所有歷史信息而脫穎而出。例如，P-MapNet 引入了 OpenStreetMap的額外標(biāo)準(zhǔn)清晰度地圖，但其改進(jìn)幅度不如作者的方法。SQD-MapNet 利用流查詢?nèi)ピ氩呗詮南惹皫慕Y(jié)果中受益，而 HRMapNet 利用全局柵格化地圖不僅整合了時(shí)間信息，還整合了所有過(guò)去的結(jié)果進(jìn)行在線感知，因此取得了更優(yōu)越的性能。此外，HRMapNet 在與 StreamMapNet 和 MapTRv2 集成時(shí)，推理速度分別達(dá)到了 21.1 FPS 和 17.0 FPS，確保了其在自動(dòng)駕駛實(shí)時(shí)應(yīng)用中的實(shí)用性。

表 1: 在 nuScenes數(shù)據(jù)集上的比較結(jié)果。每個(gè)塊中的第一行是基線方法，標(biāo)記為 “#” 的是改進(jìn)方法?！癕odality” 列中，“means using only a single frame” 表示僅使用單幀圖像；“SDMap” 表示添加額外的標(biāo)準(zhǔn)清晰度地圖作為輸入；“Temporal” 表示使用時(shí)間信息；“HRMap” 表示使用歷史柵格化地圖。MapTR 和 P-MapNet 的結(jié)果取自 P-MapNet；StreamMapNet 和 SQD-MapNet 的結(jié)果取自 SQD-MapNet，也與作者自己復(fù)現(xiàn)的結(jié)果一致。其他結(jié)果取自各自論文。FPS 是在單塊 NVIDIA A100 GPU 上，批量大小為 1 時(shí)測(cè)量的。作者方法引入的改進(jìn)用紅色標(biāo)記。

在 Argoverse 2 數(shù)據(jù)集上的比較：如表 2 所示，Argoverse 2 數(shù)據(jù)集上的結(jié)果進(jìn)一步證明了 HRMapNet 的有效性。HRMapNet 在 StreamMapNet 和 MapTRv2 上都取得了顯著的提升，分別提高了 2.8 mAP 和 4.0 mAP。這些結(jié)果強(qiáng)調(diào)了作者方法在不同方法論和數(shù)據(jù)集上的有效性和通用性。

表2：在 Argoverse 2數(shù)據(jù)集上的比較結(jié)果

在新分割數(shù)據(jù)集上的比較：上述實(shí)驗(yàn)是在常用的原始數(shù)據(jù)集分割上進(jìn)行的，其中訓(xùn)練和驗(yàn)證數(shù)據(jù)集之間存在位置重疊。StreamMapNet 提出了 nuScenes 和 Argoverse 2 的新分割方法，其中訓(xùn)練和驗(yàn)證數(shù)據(jù)在位置上是分開(kāi)的。作者在表 3 中也提供了這些新分割數(shù)據(jù)集上的結(jié)果。在這些新分割數(shù)據(jù)上，StreamMapNet 利用查詢傳播和 BEV 特征融合來(lái)整合時(shí)間信息。作者沒(méi)有使用這兩種時(shí)間融合模塊，僅集成了利用全局柵格化地圖的策略。HRMapNet 仍然在這兩個(gè)數(shù)據(jù)集上提高了 StreamMapNet 的性能，分別提高了超過(guò) 3.0 mAP，這加強(qiáng)了集成全局柵格化地圖的價(jià)值。

表3

消融實(shí)驗(yàn)

在本節(jié)中，作者對(duì)方法進(jìn)行了消融研究，這些研究在 nuScenes 數(shù)據(jù)集上進(jìn)行，使用 24 個(gè)訓(xùn)練周期，并將 MapTRv2作為基準(zhǔn)模型。

特征聚合與查詢初始化：在線感知中，作者的方法利用全局地圖信息增強(qiáng)了鳥(niǎo)瞰視圖（BEV）特征和查詢。表 4 展示了這兩個(gè)模塊的消融研究?；?MapTRv2，將全局地圖信息集成到 BEV 特征中，性能提升了 3.1 mAP。進(jìn)一步引入查詢初始化模塊，性能又提升了 2.6 mAP。這兩個(gè)組件在將全局地圖信息集成到在線感知中都起到了顯著的正面作用。為了進(jìn)一步證明提出的查詢初始化模塊有助于更高效地搜索地圖元素，作者在補(bǔ)充材料中提供了減少解碼器層數(shù)的消融研究。

表4：消融實(shí)驗(yàn)

查詢初始化中的地圖分辨率：在查詢初始化過(guò)程中，所有地圖元素存在的位置都被視為地圖先驗(yàn)，并嵌入到基礎(chǔ)查詢中。然而，有時(shí)會(huì)產(chǎn)生過(guò)多的先驗(yàn)嵌入，占用大量?jī)?nèi)存。為此，在提取地圖先驗(yàn)嵌入之前，作者對(duì)檢索到的本地柵格地圖進(jìn)行了下采樣，以達(dá)到更粗糙的分辨率。表 5 展示了不同分辨率下編碼地圖先驗(yàn)嵌入的消融研究。在 0.3 m 分辨率下，未采用下采樣，導(dǎo)致訓(xùn)練過(guò)程中產(chǎn)生大量嵌入和顯著的 GPU 內(nèi)存消耗。隨著分辨率的降低，內(nèi)存使用量迅速減少，對(duì)推理速度的影響很小。作者將分辨率設(shè)置為 0.6 m 作為默認(rèn)配置，因?yàn)榇藭r(shí)內(nèi)存消耗是可以接受的，并且能夠獲得最佳性能。結(jié)果還表明，與 MapTRv2 相比，HRMapNet 在訓(xùn)練中額外消耗了約 9 GB 的 GPU 內(nèi)存。

表5：消融實(shí)驗(yàn)

實(shí)際使用中的額外結(jié)果

定位誤差的魯棒性：如第 3.2 節(jié)所述，全局地圖是基于自車定位從本地預(yù)測(cè)的柵格地圖中更新的。在自動(dòng)駕駛中，自車定位通常使用 GNSS 模塊或基于 SLAM 的方法進(jìn)行高精度定位。為了評(píng)估 HRMapNet 對(duì)定位誤差的魯棒性，作者在 nuScenes 數(shù)據(jù)集上進(jìn)行了額外的實(shí)驗(yàn)，結(jié)果如表 6 所示?；?MapTRv2 訓(xùn)練了 24 個(gè)周期的模型在不同級(jí)別的定位誤差下進(jìn)行了測(cè)試；所有結(jié)果均來(lái)自同一模型，只是定位誤差水平不同。作者為自車定位的平移和旋轉(zhuǎn)添加了隨機(jī)噪聲，從而影響了地圖的更新和檢索。

表 6: 在不同定位誤差下測(cè)試的 mAP

結(jié)果清楚地展示了 HRMapNet 對(duì)定位誤差的魯棒性，尤其是在平移方面。一個(gè)促成因素是作者方法中使用的相對(duì)較小的地圖分辨率（0.3m）。盡管存在不同程度的定位誤差，HRMapNet 仍然能夠一致地提供可比的結(jié)果，大多數(shù)情況下性能僅下降了 1 mAP。即使在最壞情況下，即噪聲最大的情況下，歷史地圖仍然帶來(lái)了好處（63.8 mAP），與基線模型 MapTRv2（61.5 mAP）相比有所提升。考慮到自動(dòng)駕駛中對(duì)平移的 0.1 m 誤差和對(duì)旋轉(zhuǎn)的 0.01 rad 誤差是常見(jiàn)的要求，這些額外的結(jié)果表明 HRMapNet 在實(shí)際使用中的有效性。

不同初始地圖：在上述實(shí)驗(yàn)中，為了進(jìn)行更公平的比較，HRMapNet 被測(cè)試為使用一個(gè)空的初始全局地圖。全局地圖是逐漸從感知結(jié)果中更新的，并有利于后續(xù)預(yù)測(cè)。對(duì)于許多幀來(lái)說(shuō)，在線感知實(shí)際上只從時(shí)間上的前幾幀中受益，這削弱了使用全局歷史地圖的力量。在這里，作者提供了使用預(yù)構(gòu)建初始地圖的額外結(jié)果，如表 7 所示。這里使用的模型與表 1 中的模型相同，與 MapTRv2 集成并訓(xùn)練了 24 個(gè)周期。注意，模型沒(méi)有重新訓(xùn)練或微調(diào)，作者只是用不同的初始地圖進(jìn)行了測(cè)試。這里有兩種地圖可以提供。

表 7: 使用不同初始地圖進(jìn)行測(cè)試的 mAP

對(duì)于“驗(yàn)證地圖”，相同的模型用驗(yàn)證數(shù)據(jù)運(yùn)行兩次。第一次是使用空的初始地圖運(yùn)行。地圖隨著驗(yàn)證數(shù)據(jù)的進(jìn)入而逐漸更新，最終的全局地圖被保存。這個(gè)全局地圖被加載用于第二次驗(yàn)證。實(shí)際上沒(méi)有額外的數(shù)據(jù)輸入，模型自己構(gòu)建了一個(gè)全局地圖并再次用于驗(yàn)證。有了這個(gè)更完整的地圖的幫助，相同模型的性能進(jìn)一步提高了 +5.4 mAP。此外，訓(xùn)練期間構(gòu)建的全局地圖被保存并再次加載用于驗(yàn)證。如第 4.2 節(jié)所述，訓(xùn)練和驗(yàn)證數(shù)據(jù)之間存在位置重疊。因此這個(gè)訓(xùn)練地圖也可以在線感知中受益于驗(yàn)證。因?yàn)檫@個(gè)訓(xùn)練地圖更準(zhǔn)確，性能大大提高了 +16.5 mAP。作者提供這些額外的結(jié)果，以顯示 HRMapNet 在自動(dòng)駕駛實(shí)際使用中的潛力，包括眾包在線地圖感知。提供了一個(gè)易于維護(hù)的全局地圖，甚至可以由其他車輛構(gòu)建，在線矢量化地圖感知的性能可以大大提高。

定性結(jié)果分析

如圖 3 所示，作者對(duì)比了在嚴(yán)重遮擋、雨天以及夜間照明條件不佳的情況下的地圖感知結(jié)果。所有參與比較的方法均基于 24 周期的訓(xùn)練。本研究提出的方法以 MapTRv2 為基礎(chǔ)模型。圖中，車道線、人行橫道和道路邊界分別用紅色、綠色和藍(lán)色標(biāo)識(shí)。

圖 3: 在三個(gè)挑戰(zhàn)性場(chǎng)景（嚴(yán)重遮擋、雨天和夜間照明不足）下的可視化結(jié)果對(duì)比

結(jié)論

作者提出了一種新穎的框架，即通過(guò)維護(hù)一個(gè)全局的歷史柵格化地圖來(lái)增強(qiáng)在線矢量化地圖的感知。這種全局柵格化地圖能夠利用過(guò)往的預(yù)測(cè)成果被簡(jiǎn)易地構(gòu)建和更新。作者通過(guò)將歷史柵格化地圖的信息融合進(jìn)鳥(niǎo)瞰視圖（BEV）特征增強(qiáng)和查詢初始化過(guò)程中，使其成為在線感知任務(wù)中的有益補(bǔ)充。本框架與當(dāng)前大多數(shù)在線矢量化地圖感知技術(shù)相兼容。實(shí)驗(yàn)結(jié)果證明，作者所提出的 HRMapNet 顯著提升了兩種業(yè)界領(lǐng)先的在線矢量化地圖感知方法的性能。作者期望 HRMapNet 能夠成為眾包地圖感知的基石：由眾多自動(dòng)駕駛車輛共同維護(hù)一個(gè)精確的全局柵格化地圖，并以此為每輛車提供準(zhǔn)確的在線矢量化地圖感知的先驗(yàn)知識(shí)。

局限性：盡管 HRMapNet 專注于如何利用歷史柵格化地圖來(lái)增強(qiáng)在線矢量化地圖的感知，作者并未設(shè)計(jì)過(guò)于復(fù)雜的地圖維護(hù)機(jī)制，而是采用了一種源自機(jī)器人領(lǐng)域的占用網(wǎng)格建圖技術(shù)的簡(jiǎn)化版本，用以將局部預(yù)測(cè)結(jié)果整合入全局地圖。