寫在前面 & 筆者的個人理解

自VectorMapNet以來，無圖/輕圖的智能駕駛方案開始出現(xiàn)在自動駕駛量產(chǎn)的牌桌上，到如今也有兩年多的時間。而『無圖NOA』真正開始爆火的節(jié)點當(dāng)屬MapTR算法的提出，原來矢量化地圖還能這么學(xué)習(xí)，以前分割的方案開始退出自動駕駛舞臺，各家開始真正投入主力量產(chǎn)無圖/輕圖方案。

首先需要明確一點，無圖方案不是完全摒棄高精地圖，下游軌跡預(yù)測/規(guī)控仍然依賴高精地圖的輸入?！簾o圖』實際指的是不再依賴廠商提供的高精地圖，轉(zhuǎn)而使用車載算法實時感知的『局部在線高精地圖』。

因此無圖方案的核心在于實時在線地圖構(gòu)建的準確性，從技術(shù)層面來講，正常情況下無圖的上限就是有圖；而在傳統(tǒng)高精地圖更新不及時的區(qū)域（比如施工路段、道路重構(gòu)路段等），無圖方案是更有優(yōu)勢的。在線高精地圖的發(fā)展也有兩年多了，無圖一直致力于從『能用』走向『好用』。今天自動駕駛之心就帶大家盤點一下2024年在線高精地圖的主流前沿算法，一探研究趨勢，并在文末進行總結(jié)。

相關(guān)工作

Driving with Prior Maps: Unified Vector Prior Encoding for Autonomous Vehicle Mapping

• 論文鏈接：https://arxiv.org/abs/2409.05352v1

阿里巴巴和西交團隊的工作：高精地圖（HD地圖）對于自動駕駛汽車的精確導(dǎo)航和決策至關(guān)重要，但其創(chuàng)建和維護帶來了巨大的成本和及時性挑戰(zhàn)。使用車載傳感器在線構(gòu)建高精地圖已成為一種有前景的解決方案；然而，由于遮擋和惡劣天氣，這些方法可能會受到不完整數(shù)據(jù)的阻礙。本文提出了PriorDrive框架，通過利用先驗地圖的力量來解決這些局限性，顯著提高了在線高精地圖構(gòu)建的魯棒性和準確性。我們的方法整合了各種先前的地圖，如OpenStreetMap的標準定義地圖（SD地圖）、供應(yīng)商過時的高精地圖以及來自歷史車輛數(shù)據(jù)的本地構(gòu)建地圖。為了將這些先驗信息有效地編碼到在線見圖模型中，PriorDrive提出了一種混合先驗表示（HPQuery），該表示對不同地圖元素的表示進行了標準化。PriorDrive的核心是統(tǒng)一矢量編碼器（UVE），它采用雙編碼機制來處理矢量數(shù)據(jù)。矢量內(nèi)編碼器捕獲細粒度的局部特征，而矢量間編碼器集成全局上下文。此外提出了一種segment-level和point-level的預(yù)訓(xùn)練策略，使UVE能夠?qū)W習(xí)矢量數(shù)據(jù)的先驗分布，從而提高編碼器的泛化能力和性能。通過對nuScenes數(shù)據(jù)集的廣泛測試，PriorDrive與各種在線地圖模型高度兼容，并大大提高了地圖預(yù)測能力。通過PriorDrive框架整合先前的地圖，為單一感知數(shù)據(jù)的挑戰(zhàn)提供了一個強大的解決方案，為更可靠的自動駕駛汽車導(dǎo)航鋪平了道路。

Neural HD Map Generation from Multiple Vectorized Tiles Locally Produced by Autonomous Vehicles

• 論文鏈接：https://arxiv.org/abs/2409.03445v1

高精地圖廠商四維圖新的工作：高精地圖是自動駕駛系統(tǒng)的基本組成部分，因為它可以提供有關(guān)駕駛場景的精確環(huán)境信息。最近關(guān)于矢量化地圖生成的工作，車輛運行一次只能在自車周圍生成65%的局部地圖元素，這就留下了一個難題，即如何在高質(zhì)量標準下構(gòu)建投影在世界坐標系中的全局高精地圖。為了解決這個問題，我們將GNMap作為一個端到端的生成神經(jīng)網(wǎng)絡(luò)來自動構(gòu)建具有多個矢量化圖塊的高精地圖，這些圖塊是由自動駕駛汽車通過多次旅行在本地生成的。它利用多層和基于注意力的自動編碼器作為共享網(wǎng)絡(luò)，其中的參數(shù)是從兩個不同的任務(wù)（即分別進行預(yù)訓(xùn)練和微調(diào)）中學(xué)習(xí)的，以確保生成的映射的完整性和元素類別的正確性。對真實世界的數(shù)據(jù)集進行了大量的定性評估，實驗結(jié)果表明，GNMap可以超過SOTA方法5%以上的F1分數(shù)，只需少量手動修改即可達到工業(yè)使用水平。我們已經(jīng)在有限公司Navinfo公司部署了它，作為自動構(gòu)建自動駕駛系統(tǒng)高精地圖的不可或缺的軟件。

Enhancing Vectorized Map Perception with Historical Rasterized Maps（ECCV2024）

• 論文鏈接：https://arxiv.org/abs/2409.00620v1
• 開源鏈接：https://github.com/HXMap/HRMapNet

無圖NOA以來，研究人員focus在端到端的在線矢量地圖構(gòu)建上，該技術(shù)在鳥瞰圖（BEV）空間中實現(xiàn)，希望能夠替代傳統(tǒng)成本較高的離線高精（HD）地圖。但是當(dāng)前方法在惡劣環(huán)境下的準確性和魯棒性很容易受限。為此本文提出了HRMapNet，其利用低成本的歷史光柵化地圖來增強在線矢量化地圖的感知能力。歷史光柵化地圖來源于先前預(yù)測的結(jié)果，因此可以提供當(dāng)前幀一定的先驗信息。為了充分利用歷史地圖，作者設(shè)計了兩個模塊來增強BEV特征和地圖元素的查詢。對于BEV特征，本文設(shè)計了特征聚合模塊，以編碼圖像和歷史地圖的特征。對于地圖元素的查詢，則設(shè)計了一個查詢初始化模塊，以賦予查詢從歷史地圖中得到的先驗信息。這兩個模塊對于在在線感知中利用地圖信息至關(guān)重要。HRMapNet能夠與大多數(shù)現(xiàn)有的在線矢量化地圖感知方法集成。問鼎nuScenes和Argoverse 2 SOTA。

Online Temporal Fusion for Vectorized Map Construction in Mapless Autonomous Driving

• 論文鏈接：https://arxiv.org/abs/2409.00593v1

為了減少對高精（HD）地圖的依賴，自動駕駛的一個日益增長的趨勢是利用車載傳感器在線生成矢量化地圖。然而目前的方法大多受到僅處理單幀輸入的限制，這阻礙了它們在復(fù)雜場景中的魯棒性和有效性。為了克服這個問題，我們提出了一種在線地圖構(gòu)建系統(tǒng)，該系統(tǒng)利用長期的時間信息來構(gòu)建一致的矢量化地圖。首先，該系統(tǒng)有效地將來自現(xiàn)成網(wǎng)絡(luò)的所有歷史道路標記檢測融合到語義體素圖中，該圖使用基于哈希的策略來實現(xiàn)，以利用道路元素的稀疏性。然后通過檢查融合信息找到可靠的體素，并逐步聚類到道路標記的實例級表示中。最后，該系統(tǒng)結(jié)合領(lǐng)域知識來估計道路的幾何和拓撲結(jié)構(gòu)，這些結(jié)構(gòu)可以直接由規(guī)劃和控制（PnC）模塊使用。通過在復(fù)雜的城市環(huán)境中進行的實驗，我們證明了我們系統(tǒng)的輸出比網(wǎng)絡(luò)輸出更一致、更準確，并且可以有效地用于閉環(huán)自動駕駛系統(tǒng)。

PriorMapNet: Enhancing Online Vectorized HD Map Construction with Priors

• 論文鏈接：https://arxiv.org/abs/2408.08802v2

北理工和元戎啟行團隊的工作：在線矢量化高精地圖構(gòu)建對于自動駕駛中的后續(xù)預(yù)測和規(guī)劃任務(wù)至關(guān)重要。遵循MapTR范式，最近的工作取得了值得注意的成就。然而在主流方法中，參考點是隨機初始化的，導(dǎo)致預(yù)測和GT之間的匹配不穩(wěn)定。為了解決這個問題，我們引入了PriorMapNet來增強在線矢量化高精地圖的構(gòu)建。我們提出了PPS解碼器，它為參考點提供了位置和結(jié)構(gòu)先驗。根據(jù)數(shù)據(jù)集中的地圖元素進行擬合，先驗參考點降低了學(xué)習(xí)難度，實現(xiàn)了穩(wěn)定的匹配。此外，我們提出了PF編碼器，利用BEV特征先驗來增強圖像到BEV的轉(zhuǎn)換。此外，我們提出了DMD交叉注意，它分別沿多尺度和多樣本解耦交叉注意，以實現(xiàn)效率。我們提出的PriorMapNet在nuScenes和Argoverse2數(shù)據(jù)集上的在線矢量化高精地圖構(gòu)建任務(wù)中實現(xiàn)了最先進的性能。

Enhancing Online Road Network Perception and Reasoning with Standard Definition Maps

• 論文鏈接：https://arxiv.org/abs/2408.01471v1
• 項目主頁：https://henryzhangzhy.github.io/sdhdmap/

用于城市和高速公路駕駛應(yīng)用的自動駕駛通常需要高精（HD）地圖來生成導(dǎo)航。然而在按比例生成和維護高精地圖時，會出現(xiàn)各種挑戰(zhàn)。雖然最近的在線建圖方法已經(jīng)開始出現(xiàn)，但其在于大范圍感知時的性能受到動態(tài)環(huán)境中嚴重遮擋的限制?？紤]到這些因素，本文旨在在開發(fā)在線矢量化高精地圖表示時利用輕量級和可擴展的先驗標準清晰度（SD）地圖。我們首先研究了將原型光柵化SD地圖表示集成到各種在線地圖架構(gòu)中。此外，為了確定輕量級策略，我們使用OpenStreetMaps擴展了OpenLane-V2數(shù)據(jù)集，并評估了圖形SD地圖表示的好處。設(shè)計SD地圖集成組件的一個關(guān)鍵發(fā)現(xiàn)是，SD地圖編碼器與模型無關(guān)，可以快速適應(yīng)利用鳥瞰圖（BEV）編碼器的新架構(gòu)。我們的結(jié)果表明，使用SD圖作為在線映射任務(wù)的先驗可以顯著加快收斂速度，并將在線中心線感知任務(wù)的性能提高30%（mAP）。此外，我們表明，引入SD圖可以通過利用SD圖來減少感知和推理任務(wù)中的參數(shù)數(shù)量，同時提高整體性能。

PrevPredMap: Exploring Temporal Modeling with Previous Predictions for Online Vectorized HD Map Construction

• 論文鏈接：https://arxiv.org/abs/2407.17378v1

時間信息對于檢測被遮擋的實例至關(guān)重要?，F(xiàn)有的時間表示已經(jīng)從BEV或PV特征發(fā)展到更緊湊的查詢特征。與上述特征相比，預(yù)測提供了最高級別的抽象，提供了明確的信息。在在線矢量化高精地圖構(gòu)建的背景下，這種獨特的預(yù)測特性可能有利于長時間建模和地圖先驗的整合。本文介紹了PrevPredMap，這是一個開創(chuàng)性的時間建?？蚣?，利用之前的預(yù)測構(gòu)建在線矢量化高精地圖。我們?yōu)镻revPredMap精心設(shè)計了兩個基本模塊：之前的基于預(yù)測的查詢生成器和動態(tài)位置查詢解碼器。具體而言，基于先前預(yù)測的查詢生成器被設(shè)計為對來自先前預(yù)測的不同類型的信息進行單獨編碼，然后由動態(tài)位置查詢解碼器有效地利用這些信息來生成當(dāng)前預(yù)測。此外，我們還開發(fā)了一種雙模策略，以確保PrevPredMap在單幀和時間模式下的穩(wěn)健性能。大量實驗表明，PrevPredMap在nuScenes和Argoverse2數(shù)據(jù)集上實現(xiàn)了最先進的性能。

Mask2Map: Vectorized HD Map Construction Using Bird's Eye View Segmentation Masks

• 論文鏈接：https://arxiv.org/abs/2407.13517v2
• 代碼鏈接：https://github.com/SehwanChoi0307/Mask2Map

漢陽大學(xué)的工作：本文介紹了Mask2Map，這是一種專為自動駕駛應(yīng)用設(shè)計的端到端在線高精地圖構(gòu)建方法。我們的方法側(cè)重于預(yù)測場景中以鳥瞰圖（BEV）表示的地圖實例的類和有序點集。Mask2Map由兩個主要組件組成：實例級掩碼預(yù)測網(wǎng)絡(luò)（IMPNet）和掩碼驅(qū)動映射預(yù)測網(wǎng)絡(luò)（MMPNet）。IMPNet生成掩碼感知查詢和BEV分割掩碼，以在全局范圍內(nèi)捕獲全面的語義信息。隨后，MMPNet通過兩個子模塊使用本地上下文信息增強了這些查詢功能：位置查詢生成器（PQG）和幾何特征提取器（GFE）。PQG通過將邊界元位置信息嵌入到掩碼感知查詢中來提取實例級位置查詢，而GFE則利用邊界元分割掩碼來生成點級幾何特征。然而，我們觀察到Mask2Map的性能有限，這是由于IMPNet和MMPNet之間對GT匹配的不同預(yù)測導(dǎo)致的網(wǎng)絡(luò)間不一致。為了應(yīng)對這一挑戰(zhàn)，我們提出了網(wǎng)絡(luò)間去噪訓(xùn)練方法，該方法指導(dǎo)模型對受噪聲GT查詢和擾動GT分割掩碼影響的輸出進行去噪。我們對nuScenes和Argoverse2基準進行的評估表明，Mask2Map比以前最先進的方法實現(xiàn)了顯著的性能改進，分別提高了10.1%mAP和4.1 mAP。

MapDistill: Boosting Efficient Camera-based HD Map Construction via Camera-LiDAR Fusion Model Distillation（ECCV 2024）

• 論文鏈接：https://arxiv.org/abs/2407.11682v1

三星研究院的工作：在線高精地圖構(gòu)建是自動駕駛領(lǐng)域一項重要而具有挑戰(zhàn)性的任務(wù)。最近研究人員對基于成本效益高的環(huán)視相機的方法越來越感興趣，而不依賴于激光雷達等其他傳感器。然而，這些方法缺乏明確的深度信息，需要使用大型模型來實現(xiàn)令人滿意的性能。為了解決這個問題，我們首次采用知識蒸餾（KD）思想進行高效的高精地圖構(gòu)建，并引入了一種名為MapDistill的基于知識蒸餾的新方法，將知識從高性能相機LiDAR融合模型轉(zhuǎn)移到僅使用相機的輕量模型。具體而言，我們采用師生架構(gòu)，即以攝像頭LiDAR融合模型為教師，以輕量級攝像頭模型為學(xué)生，并設(shè)計了一個雙BEV轉(zhuǎn)換模塊，以促進跨模式知識提取，同時保持僅使用攝像頭的成本效益部署。此外，我們提出了一種全面的蒸餾方案，包括跨模態(tài)關(guān)系蒸餾、雙層特征蒸餾和映射頭蒸餾。這種方法緩解了模式之間的知識轉(zhuǎn)移挑戰(zhàn)，使學(xué)生模型能夠?qū)W習(xí)改進的特征表示，用于HD地圖構(gòu)建。在具有挑戰(zhàn)性的nuScenes數(shù)據(jù)集上的實驗結(jié)果證明了MapDistill的有效性，性能提升7.7 mAP或速度提升4.5倍。

Accelerating Online Mapping and Behavior Prediction via Direct BEV Feature Attention（ECCV 2024）

• 論文鏈接：https://arxiv.org/abs/2407.06683v1

多倫多大學(xué)&英偉達等團隊的工作：了解道路幾何形狀是自動駕駛汽車（AV）堆棧的關(guān)鍵組成部分。雖然高精（HD）地圖可以很容易地提供此類信息，但它們的標簽和維護成本很高。因此，許多最近的工作提出了從傳感器數(shù)據(jù)在線估計HD地圖的方法。最近的絕大多數(shù)方法將多相機觀測值編碼為中間表示，例如鳥瞰圖（BEV）網(wǎng)格，并通過解碼器生成矢量地圖元素。雖然這種架構(gòu)是高性能的，但它會大量抽取中間表示中編碼的信息，從而阻止下游任務(wù)（例如行為預(yù)測）利用它們。在這項工作中，我們建議揭示在線地圖估計方法的豐富內(nèi)部特征，并展示它們?nèi)绾螌⒃诰€地圖與軌跡預(yù)測更緊密地結(jié)合起來。通過這樣做，我們發(fā)現(xiàn)直接訪問內(nèi)部BEV特征可以使推理速度提高73%，對真實世界nuScenes數(shù)據(jù)集的預(yù)測準確率提高29%。

Is Your HD Map Constructor Reliable under Sensor Corruptions?

• 論文鏈接：https://arxiv.org/abs/2406.12214v2
• 項目鏈接：https://mapbench.github.io/

三星研究院&悉尼大學(xué)等團隊的工作：駕駛系統(tǒng)通常依賴高精（HD）地圖獲取精確的環(huán)境信息，這對規(guī)劃和導(dǎo)航至關(guān)重要。雖然目前的高精地圖構(gòu)建器在理想條件下表現(xiàn)良好，但它們對現(xiàn)實世界挑戰(zhàn)的彈性，例如惡劣天氣和傳感器故障，還沒有得到很好的理解，這引發(fā)了安全問題。這項工作介紹了MapBench，這是第一個旨在評估HD地圖構(gòu)建方法對各種傳感器損壞的魯棒性的綜合基準。我們的基準測試共包括29種由攝像頭和激光雷達傳感器引起的損壞。對31個HD地圖構(gòu)建器的廣泛評估顯示，在惡劣天氣條件和傳感器故障下，現(xiàn)有方法的性能顯著下降，突顯了關(guān)鍵的安全問題。我們確定了增強魯棒性的有效策略，包括利用多模態(tài)融合、先進數(shù)據(jù)增強和架構(gòu)技術(shù)的創(chuàng)新方法。這些見解為開發(fā)更可靠的高精地圖構(gòu)建方法提供了途徑，這對自動駕駛技術(shù)的進步至關(guān)重要。

MapVision: CVPR 2024 Autonomous Grand Challenge Mapless Driving Tech Report

• 論文鏈接：https://arxiv.org/abs/2406.10125v1

滴滴&北郵團隊在CVPR 2024挑戰(zhàn)賽上的工作：沒有高精（HD）地圖的自動駕駛需要更高水平的主動場景理解。在本次比賽中，組織者提供了多視角相機圖像和標清（SD）地圖，以探索場景推理能力的邊界。我們發(fā)現(xiàn)，大多數(shù)現(xiàn)有的算法都是從這些多視角圖像中構(gòu)建鳥瞰圖（BEV）特征，并使用多任務(wù)頭來描繪道路中心線、邊界線、人行橫道和其他區(qū)域。然而，這些算法在道路的遠端表現(xiàn)不佳，當(dāng)圖像中的主要對象被遮擋時，它們會遇到困難。因此，在這場比賽中，我們不僅使用多視角圖像作為輸入，還結(jié)合了SD地圖來解決這個問題。我們采用地圖編碼器預(yù)訓(xùn)練來增強網(wǎng)絡(luò)的幾何編碼能力，并利用YOLOX來提高交通要素檢測精度。此外，對于區(qū)域檢測，我們創(chuàng)新性地引入了LDTR和輔助任務(wù)，以實現(xiàn)更高的精度。因此，我們的OLUS最終得分為0.58。

DTCLMapper: Dual Temporal Consistent Learning for Vectorized HD Map Construction

• 論文鏈接：https://arxiv.org/abs/2405.05518v2
• 代碼鏈接：https://github.com/lynn-yu/DTCLMapper

時間信息在鳥瞰圖（BEV）感知場景理解中起著關(guān)鍵作用，可以緩解視覺信息的稀疏性。然而，在構(gòu)建矢量化高精晰度（HD）地圖時，不加選擇的時間融合方法會導(dǎo)致特征冗余的障礙。本文重新審視了矢量化HD地圖的時間融合，重點研究了時間實例一致性和時間地圖一致性學(xué)習(xí)。為了改進單幀映射中實例的表示，我們引入了一種新方法DTCLMapper。該方法使用雙流時間一致性學(xué)習(xí)模塊，該模塊將實例嵌入與幾何圖相結(jié)合。在實例嵌入組件中，我們的方法集成了時態(tài)實例一致性學(xué)習(xí)（ICL），確保向量點和從點聚合的實例特征的一致性。采用矢量化點預(yù)選模塊來提高每個實例中矢量點的回歸效率。然后，從矢量化點預(yù)選模塊獲得的聚合實例特征基于對比學(xué)習(xí)來實現(xiàn)時間一致性，其中基于位置和語義信息選擇正樣本和負樣本。幾何映射組件引入了使用自監(jiān)督學(xué)習(xí)設(shè)計的映射一致性學(xué)習(xí)（MCL）。MCL通過關(guān)注實例的全局位置和分布約束來增強我們一致學(xué)習(xí)方法的泛化能力。在公認的基準上進行的廣泛實驗表明，所提出的DTCLMapper在矢量化映射任務(wù)中達到了最先進的性能，在nuScenes和Argoverse數(shù)據(jù)集上分別達到了61.9%和65.1%的mAP得分。

HybriMap: Hybrid Clues Utilization for Effective Vectorized HD Map Construction

• 論文鏈接：https://arxiv.org/abs/2404.11155v1

港中文團隊的工作：近年來，利用全景相機構(gòu)建矢量化高精地圖引起了人們的廣泛關(guān)注。然而，主流方法中常用的多階段順序工作流往往會導(dǎo)致早期信息的丟失，特別是在透視圖特征中。通常，在最終的鳥瞰預(yù)測中，這種損失被視為實例缺失或形狀不匹配。為了解決這個問題，我們提出了一種新的方法，即HybriMap，它有效地利用混合特征的線索來確保有價值的信息的傳遞。具體來說，我們設(shè)計了雙增強模塊，以便在混合特征的指導(dǎo)下實現(xiàn)顯式集成和隱式修改。此外，透視關(guān)鍵點被用作監(jiān)督，進一步指導(dǎo)特征增強過程。在現(xiàn)有基準上進行的廣泛實驗證明了我們提出的方法的最先進性能。

MGMap: Mask-Guided Learning for Online Vectorized HD Map Construction（CVPR 2024）

• 論文鏈接：https://arxiv.org/abs/2404.00876v1
• 代碼鏈接：https://github.com/xiaolul2/MGMap

浙大和有鹿的工作：目前高精晰度（HD）地圖構(gòu)建傾向于輕量級的在線生成趨勢，旨在保存及時可靠的道路場景信息。然而地圖元素包含強大的形狀先驗。一些奇形怪狀的標注使當(dāng)前基于檢測的框架在定位相關(guān)特征范圍方面模糊不清，并導(dǎo)致預(yù)測中詳細結(jié)構(gòu)的丟失。為了緩解這些問題，我們提出了MGMap，這是一種掩模引導(dǎo)的方法，可以有效地突出信息區(qū)域，并通過引入學(xué)習(xí)到的掩模來實現(xiàn)精確的地圖元素定位。具體來說，MGMap從兩個角度采用了基于增強的多尺度邊界元法特征的學(xué)習(xí)掩模。在實例級別，我們提出了掩碼激活實例（MAI）解碼器，該解碼器通過激活實例掩碼將全局實例和結(jié)構(gòu)信息合并到實例查詢中。在點級別，設(shè)計了一種新的位置引導(dǎo)掩模補丁細化（PG-MPR）模塊，從更細粒度的角度細化點位置，從而能夠提取特定于點的補丁信息。與基線相比，我們提出的MGMap在不同輸入模式下實現(xiàn)了約10mAP的顯著改善。大量實驗還表明，我們的方法具有很強的魯棒性和泛化能力。

MapTracker: Tracking with Strided Memory Fusion for Consistent Vector HD Mapping

• 論文鏈接：https://arxiv.org/abs/2403.15951v1
• 項目主頁：https://map-tracker.github.io/

Wayve等團隊的工作：本文提出了一種矢量HD建圖算法，該算法將地圖表示為跟蹤任務(wù)，并使用內(nèi)存延遲歷史來確保隨時間推移的一致重建。我們的方法MapTracker將傳感器流累積到兩個潛在表示的存儲緩沖區(qū)中：1）鳥瞰（BEV）空間中的光柵延遲，2）道路元素（即人行橫道、車道分隔線和道路邊界）上的矢量延遲。該方法借鑒了跟蹤文獻中的查詢傳播范式，該范式明確地將前一幀中的跟蹤道路元素與當(dāng)前幀相關(guān)聯(lián)，同時融合了用距離步長選擇的記憶延遲子集，以進一步增強時間一致性。對向量潛勢進行解碼以重建道路元素的幾何形狀。該論文還通過以下方式做出了基準貢獻：1）改進現(xiàn)有數(shù)據(jù)集的處理代碼，以通過時間對齊產(chǎn)生一致的地面實況，2）通過一致性檢查增強現(xiàn)有的mAP度量。MapTracker在nuScenes和Agroverse2數(shù)據(jù)集上的表現(xiàn)明顯優(yōu)于現(xiàn)有方法，在傳統(tǒng)和新的一致性感知指標上分別超過8%和19%。

HIMap: HybrId Representation Learning for End-to-end Vectorized HD Map Construction

• 論文鏈接：https://arxiv.org/abs/2403.08639v2

三星團隊的工作：矢量化高精（HD）地圖構(gòu)建需要預(yù)測地圖元素（如道路邊界、車道分隔線、人行橫道等）的類別和點坐標。最先進的方法主要基于點級表示學(xué)習(xí)，用于回歸精確的點坐標。然而該范式在獲取元素級信息和處理元素級故障方面存在局限性，例如錯誤的元素形狀或元素之間的糾纏。為了解決上述問題，我們提出了一個簡單而有效的名為HIMap的HybrId框架，以充分學(xué)習(xí)和交互點級和元素級信息。具體來說，我們引入了一種名為HIQuery的混合表示來表示所有地圖元素，并提出了一個點元素交互器來交互式地提取元素的混合信息，例如點位置和元素形狀，并將其編碼到HIQuery中。此外，我們提出了一個點元素一致性約束，以增強點級和元素級信息之間的一致性。最后，集成HIQuery的輸出點元素可以直接轉(zhuǎn)換為地圖元素的類、點坐標和掩碼。我們進行了廣泛的實驗，并在nuScenes和Argoverse2數(shù)據(jù)集上始終優(yōu)于以前的方法。值得注意的是，我們的方法在nuScenes數(shù)據(jù)集上實現(xiàn)了77.8 mAP，至少比之前的SOTA高出8.3 mAP。

EAN-MapNet: Efficient Vectorized HD Map Construction with Anchor Neighborhoods

• 論文鏈接：https://arxiv.org/abs/2402.18278v2

中山大學(xué)等團隊的工作：高精（HD）地圖對于自動駕駛系統(tǒng)至關(guān)重要。現(xiàn)有的大多數(shù)工作設(shè)計了基于DETR解碼器的地圖元素檢測頭。然而，初始查詢?nèi)狈ξ锢砦恢眯畔⒌拿鞔_結(jié)合，而普通的自注意力需要很高的計算復(fù)雜性。因此我們提出了EAN MapNet，用于使用錨點鄰域高效構(gòu)建高精地圖。首先，我們基于錨點鄰域設(shè)計查詢單元，允許非鄰域中心錨點有效地幫助將鄰域中心錨點擬合到表示地圖元素的目標點。然后利用查詢之間的相對實例關(guān)系，提出了分組局部self-att（GL-SA）。這有助于同一實例的查詢之間的直接特征交互，同時創(chuàng)新性地將本地查詢用作不同實例查詢之間交互的中介。因此，GL-SA顯著降低了自注意力的計算復(fù)雜度，同時確保了查詢之間有足夠的特征交互。在nuScenes數(shù)據(jù)集上，EAN MapNet經(jīng)過24個epoch的訓(xùn)練，達到了63.0 mAP的最新性能，比MapTR高出12.7 mAP。此外，與MapTRv2相比，它大大減少了8198M的內(nèi)存消耗。

ADMap: Anti-disturbance framework for reconstructing online vectorized HD map（ECCV2024）

• 論文鏈接：https://arxiv.org/abs/2401.13172v2
• 開源鏈接：https://github.com/hht1996ok/ADMap

零跑&浙大等團隊的工作：在自動駕駛領(lǐng)域，在線高精（HD）地圖重建對于規(guī)劃任務(wù)至關(guān)重要。最近的研究開發(fā)了幾種高性能的高精地圖重建模型來滿足這一需求。然而，由于預(yù)測偏差，實例向量內(nèi)的點序列可能會抖動或鋸齒狀，這可能會影響后續(xù)任務(wù)。因此，本文提出了抗干擾圖重建框架（ADMap）。為了減輕點序抖動，該框架由三個模塊組成：多尺度感知neck、實例交互注意力（IIA）和矢量方向差損失（VDDL）。通過以級聯(lián)方式探索實例之間和實例內(nèi)部的點序關(guān)系，該模型可以更有效地監(jiān)控點序預(yù)測過程。ADMap在nuScenes和Argoverse2數(shù)據(jù)集上實現(xiàn)了最先進的性能。廣泛的結(jié)果表明，它能夠在復(fù)雜和不斷變化的駕駛場景中生成穩(wěn)定可靠的地圖元素。

Stream Query Denoising for Vectorized HD Map Construction

• 論文鏈接：https://arxiv.org/abs/2401.09112v2

中科大&曠視團隊的工作：為了提高自動駕駛領(lǐng)域復(fù)雜和廣泛場景中的感知性能，人們對時間建模給予了特別關(guān)注，特別強調(diào)了流式方法。流模型的主流趨勢涉及利用流查詢來傳播時間信息。盡管這種方法很流行，但將流式范式直接應(yīng)用于構(gòu)建矢量化高精地圖（HD地圖）并不能充分利用時間信息的內(nèi)在潛力。本文介紹了流查詢?nèi)ピ耄⊿QD）策略，這是一種在高精地圖（HD map）構(gòu)建中進行時間建模的新方法。SQD旨在促進流模型中映射元素之間時間一致性的學(xué)習(xí)。該方法涉及對因在前一幀的GT中添加噪聲而受到干擾的查詢進行去噪。該去噪過程旨在重建當(dāng)前幀的地面真實信息，從而模擬流查詢中固有的預(yù)測過程。SQD策略可以應(yīng)用于這些流式方法（例如StreamMapNet），以增強時間建模。擬議的SQD MapNet是配備SQD的StreamMapNet。在nuScenes和Argoverse2上的大量實驗表明，我們的方法在近距離和遠距離的所有設(shè)置中都明顯優(yōu)于其他現(xiàn)有方法。

MapNeXt: Revisiting Training and Scaling Practices for Online Vectorized HD Map Construction

• 論文鏈接：https://arxiv.org/abs/2401.07323v1

獨立研究作者：高精（HD）地圖是自動駕駛導(dǎo)航的關(guān)鍵。將運行時輕量級高精地圖構(gòu)建的能力集成到自動駕駛系統(tǒng)中最近成為一個有前景的方向。在這種激增中，視覺感知脫穎而出，因為相機設(shè)備仍然可以感知立體信息，更不用說其便攜性和經(jīng)濟性的吸引人的特征了。最新的MapTR架構(gòu)以端到端的方式解決了在線高精地圖構(gòu)建任務(wù)，但其潛力仍有待探索。在這項工作中，我們提出了MapTR的全面升級，并提出了下一代高精地圖學(xué)習(xí)架構(gòu)MapNeXt，從模型訓(xùn)練和縮放的角度做出了重大貢獻。在深入了解MapTR的訓(xùn)練動態(tài)并充分利用地圖元素的監(jiān)督后，MapNeXt Tiny在不進行任何架構(gòu)修改的情況下，將MapTR Tiny的map從49.0%提高到54.8%。MapNeXt Base享受著地圖分割預(yù)訓(xùn)練的成果，將map進一步提高到63.9%，已經(jīng)比現(xiàn)有技術(shù)多模態(tài)MapTR提高了1.4%，同時速度提高了1.8倍。為了將性能邊界推向下一個水平，我們在實際模型縮放方面得出了兩個結(jié)論：增加的查詢有利于更大的解碼器網(wǎng)絡(luò)進行充分的消化；一個大的主干穩(wěn)定地提高了最終的準確性，沒有花哨的東西?；谶@兩條經(jīng)驗法則，MapNeXt Huge在具有挑戰(zhàn)性的nuScenes基準測試中取得了最先進的性能。具體來說，我們首次將無地圖視覺單模型性能提高到78%以上，比現(xiàn)有方法中的最佳模型高出16%。

總結(jié)與展望

從今年文章的情況來看，可以總結(jié)以下幾點趨勢：

• 前期工作主要是模型層面的改動：比如模型訓(xùn)練的優(yōu)化方法、損失、新型注意力機制、Query、Encoder-Decoder的改進等等方式；
• 下半年的文章則聚焦在如何使用額外的信息提升模型性能：比如SD Map、歷史地圖等等，額外信息的引入能大幅提升模型性能，這塊也是業(yè)內(nèi)實際量產(chǎn)的前沿方向，值得更進一步挖局；
• 此外也有一些工作嘗試進行蒸餾、研究模型的魯棒性等，這塊對量產(chǎn)的指導(dǎo)意義更強，期待后續(xù)有業(yè)務(wù)數(shù)據(jù)的反饋。

總結(jié)來說，目前在線高精地圖是工業(yè)界和學(xué)術(shù)界主流的研究方向，從CVPR/ECCV等頂會也可以反應(yīng)出這一趨勢。模塊化方法離不開在線高精地圖，端到端更離不開在線地圖。但反過來說，在線地圖依賴傳統(tǒng)高精地圖的標注訓(xùn)練?？芍^從群眾中來，到群眾中去。傳統(tǒng)高精地圖不會湮滅，仍然會在技術(shù)發(fā)展的洪流中發(fā)光發(fā)熱。