本文經(jīng)自動駕駛之心公眾號授權轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

寫在前面&筆者的個人理解

近年來，自動駕駛受到越來越多的關注，高精地圖成為自動駕駛技術的關鍵組成部分。這些地圖提供了道路網(wǎng)絡的復雜細節(jié)，并作為車輛定位、導航和決策等關鍵任務的基本輸入。鑒于視覺傳感器的廣泛可用性和可負擔性，已成為自動駕駛汽車不可或缺的一個方面。這篇綜述的目的是為研究人員提供HD地圖構建的最新進展的全面概述和總結(jié)。文章首先簡要總結(jié)了與使用相機傳感器創(chuàng)建高精地圖相關的關鍵框架和背景信息。隨后對地圖制作所使用的研究方法進行了全面調(diào)查，包括離線和在線方法。特別是，基于網(wǎng)絡的建圖方法已經(jīng)成為HD地圖領域的一個突出研究領域。為了應對這一迅速發(fā)展的趨勢，我們對這一特定領域的各種研究工作進行了全面而細致的概述。最后討論了相關問題和未來的挑戰(zhàn)，旨在指導研究人員了解該領域的當前趨勢和流行方法。

總結(jié)來說，本文的主要貢獻如下：

• 1） 回顧了現(xiàn)有的關于高精地圖構建的文獻，特別關注基于相機的方法。我們分析了這些方法的優(yōu)勢和局限性，深入了解了它們在實時自動駕駛應用中的有效性和適用性；
• 2） 強調(diào)了使用神經(jīng)網(wǎng)絡進行端到端建圖的新興趨勢，這展示了實時高精地圖生成的潛力。我們討論了它們的基本原理、架構和性能，揭示了它們在該領域的可行性和實用性；
• 3） 確定了基于相機的高精地圖構建中的關鍵挑戰(zhàn)和懸而未決的研究問題。

聊一聊相關背景

HD地圖是一種數(shù)字汽車地圖表示，可以全面準確地描述自動駕駛汽車導航的物理環(huán)境。這些地圖的構建需要利用各種數(shù)據(jù)源，包括相機和激光雷達傳感器?？紤]到相機傳感器的成本效益和語義魯棒性，它們的集成已成為自動駕駛汽車傳感器套件的重要組成部分。在本節(jié)中，我們闡明了高精地圖構建的任務定義，并提供了該領域所用方法的系統(tǒng)分類。

A.高精地圖構建的任務定義

高精地圖的構建通過生成準確表示物理環(huán)境的三維模型，豐富視覺傳感器的數(shù)據(jù)以實現(xiàn)高精度?；谙鄼C的高精地圖包括使用安裝在車輛上的一個或多個相機來捕捉道路環(huán)境的圖像，然后處理這些圖像以提取所需信息。

首先，采集的圖像要經(jīng)過地圖元素提取方法，包括車道標記、交通標志、道路邊界等的識別。通常，計算機視覺算法，如邊緣檢測、目標檢測和語義分割，都用于此目的。隨后，利用提取的地圖元素來構建道路環(huán)境的3D表示，有助于生成HD地圖。這涉及到將二維元素映射到三維模型上，從而能夠創(chuàng)建道路環(huán)境的詳細描述。最后，生成的高精地圖經(jīng)過驗證和定期更新，以確保其準確性和完整性。

從本質(zhì)上講，高精地圖的構建過程需要整合多種技術和技術，包括數(shù)據(jù)收集、處理和地圖生成。通過解決這些技術固有的相關挑戰(zhàn)和局限性，我們可以提高高精地圖制作的準確性和可靠性，從而促進更安全、更高效的自動駕駛汽車的開發(fā)。

B.高精地圖構建的分類

根據(jù)時間成本要求、數(shù)據(jù)處理管道和計算資源，可視化方法可大致分為離線和在線方法。同樣，基于高精地圖構建中使用的數(shù)據(jù)處理框架，視覺方法可以大致分為基于規(guī)則的方法或基于網(wǎng)絡的方法。

1）離線和在線方法：術語“在線”和“離線”建圖起源于SLAM領域，用于區(qū)分實時車載過程和外部進行的過程。在線和離線之間的選擇取決于傳感器數(shù)據(jù)的處理方法、算法的運行時間是否滿足實時要求以及計算設備的使用情況。該命名法已被各種方法廣泛采用。值得注意的是，HDMapNet引入了在線高精地圖構建的概念，強調(diào)使用車載傳感器和硬件創(chuàng)建本地地圖。這種方法不同于傳統(tǒng)的解決方案，傳統(tǒng)解決方案嚴重依賴人力資源進行場外注釋。

如圖4所示，離線建圖方法需要在服務器上進行漫長的計算才能獲得詳細的高精地圖，在線建圖方法直接在自車中生成語義地圖。全局高精地圖的構建通常是離線過程。主要目標是生成可用于自動駕駛的詳細準確的地圖。離線處理允許更多的傳感器數(shù)據(jù)、更復雜的算法和更長的處理時間，從而實現(xiàn)更高的準確性和完整性。SLAM是一種在線地圖構建方法，需要實時處理來估計車輛的位置并同時繪制地圖。隨著計算機視覺任務的發(fā)展，地圖已被建模為神經(jīng)網(wǎng)絡可以學習的目標，也逐漸出現(xiàn)了能夠端到端在線構建高精地圖的網(wǎng)絡。

2） 基于規(guī)則和基于網(wǎng)絡的模型：基于規(guī)則的高精地圖使用預定義的算法和規(guī)則，使用顏色閾值和霍夫變換等技術構建地圖。雖然這些方法很簡單，但可能缺乏準確性、穩(wěn)定性和對不同環(huán)境的適應性。相比之下，基于網(wǎng)絡的方法在管理復雜場景、學習復雜模式以提高準確性方面表現(xiàn)出了高超的能力。然而，它們依賴于標注的數(shù)據(jù)和大量的計算資源，并且它們的擬合能力限制了全局HD地圖的生成。混合方法結(jié)合了其他方法，在各自擅長的地方使用。例如，語義分割網(wǎng)絡可以提取地圖元素，而基于規(guī)則的3D重建，如關鍵點匹配，是3D構建階段的首選。

C.相關數(shù)據(jù)集

無論是使用數(shù)據(jù)驅(qū)動的網(wǎng)絡方法還是基于規(guī)則的方法，高精地圖的構建都需要大量的數(shù)據(jù)。相關數(shù)據(jù)集大致可分為二維數(shù)據(jù)集、三維數(shù)據(jù)集和高精地圖數(shù)據(jù)集。

• 2D數(shù)據(jù)集：常見的2D數(shù)據(jù)集有Cityscapes、Mapillary Vistas等；
• 3D數(shù)據(jù)集見表1；
• HD map數(shù)據(jù)集：最常見的HD map數(shù)據(jù)集便是nuScenes、Argoverse2、OpenLane-V2等；
• 車道數(shù)據(jù)集見表2。

基于視覺的離線全局高精地圖構建

基于昂貴采集車輛的傳統(tǒng)集中式高精地圖構建和基于傳感器的低成本視覺眾包解決方案都不在自動駕駛汽車的車輛側(cè)進行高精地圖構建。我們將這種在云中或服務器上構建高精地圖的方法歸類為離線高精地圖構建，表示在車輛側(cè)完成數(shù)據(jù)收集后，需要離開車輛側(cè)將傳感器數(shù)據(jù)處理成地圖。在本節(jié)中，我們首先解釋離線構建高精地圖的原因。接下來詳細介紹離線構建高精地圖的常見步驟：地圖元素提取、三維矢量化重建和地圖元素更新。第一步是地圖元素提取，包括識別和隔離地圖上的不同地圖元素實例，如車道、燈桿和地標。這個過程可以使用各種技術來實現(xiàn)，例如語義分割和目標檢測算法，它們分析輸入的視覺傳感器數(shù)據(jù)以提取和分類不同的元素。該過程中的第二步是地圖元素的3D重建。一旦識別并隔離了地圖元素，下一步就是創(chuàng)建這些元素的3D表示。這通常使用計算機視覺技術來重建3D環(huán)境。這些方法允許創(chuàng)建每個地圖元素的高度精確的3D模型，該模型可用于創(chuàng)建詳細和精確的地圖。近年來，隨著三維檢測任務的發(fā)展，人們對直接從傳感器輸入中估計三維目標的位置和形狀信息進行了大量研究。地圖元素也可以作為3D檢測算法的研究目標，直接獲得3D地圖元素信息。然而，目前對3D地圖元素的端到端提取的研究有限，只有3D車道線提取的工作和數(shù)據(jù)集。通過融合3D地圖元素、位置、基礎地圖和其他信息，可以構建或更新高精地圖。總體而言，離線構建高精地圖的過程非常復雜，需要準確的地圖元素的位置和形狀信息，并進行有效的融合。

A.為什么要離線構建高精地圖

由于高精地圖的高精度，從傳感器數(shù)據(jù)到地圖的制作過程需要先進的算法來處理大量的傳感器數(shù)據(jù)，并使三維地圖中的地圖元素盡可能精確，以獲得覆蓋范圍廣的高精地圖。因此，高精地圖的制作需要大量的計算資源，如強大的處理器，以克服大數(shù)據(jù)量和復雜制作步驟的挑戰(zhàn)。然而，所需的計算資源很難在自動駕駛汽車的車載硬件上實現(xiàn)，尤其是在自動駕駛車輛的情況下，其中計算硬件配備了更真實的車輛感知算法，這些算法需要大量資源來確保駕駛安全性和可靠性。由于自動駕駛汽車上安裝的算法之間的優(yōu)先級限制，可用于地圖繪制的計算資源量將不豐富。將傳感器數(shù)據(jù)傳輸?shù)竭h程服務器進行處理可以降低車輛網(wǎng)絡連接的負載和存儲容量。此外，在其他服務器上離線構建高精地圖允許多輛車共享同一張地圖并協(xié)作構建。這減少了重復性工作，并提高了地圖的準確性和完整性。高精地圖的離線構建仍然是繪制地圖的主要方法。在這篇文章中，我們將只討論基于相機的算法。

B.離線全局高精地圖構建pipeline

基于相機的離線高精地圖創(chuàng)建過程，從圖像數(shù)據(jù)輸入開始，可以分為地圖元素提取、地圖元素的三維重建、定位和建圖。

地圖元素提取是從相機傳感器構建地圖的第一步。該步驟主要涉及通過對輸入的原始圖像數(shù)據(jù)的一系列操作來獲得關于圖像平面中的結(jié)構化地圖元素的準確信息。最初，這是使用簡單的計算機圖形算法實現(xiàn)的，例如基于霍夫變換的車道線提取。隨著今年圖像算法的發(fā)展，目標檢測和語義分割得到了廣泛的研究。地圖元素可以用作經(jīng)典計算機視覺任務的研究目標，如語義分割和目標檢測。可以對地圖元素進行注釋，并通過相應地訓練神經(jīng)網(wǎng)絡來獲得地圖元素的提取結(jié)果。通過神經(jīng)網(wǎng)絡提取地圖元素的方法使地圖元素提取算法更加穩(wěn)健和靈活，減少了人工干預，大大提高了地圖構建的效率。具體而言，segment anything的工作標志著使用神經(jīng)網(wǎng)絡提取圖像目標的時代更加全面和精細，這提供了更強的提取地圖元素的能力。

3D元素建模緊跟著在透視圖中提取地圖元素的工作。該步驟是通過透視變換將相機空間中的地圖元素轉(zhuǎn)換為3D空間中的地圖元素。傳統(tǒng)的方法通常是利用激光雷達數(shù)據(jù)通過校準獲得這種轉(zhuǎn)換關系，并通過簡單的計算直接進行透視變換。最近，越來越多的方法試圖探索通過神經(jīng)網(wǎng)絡實現(xiàn)從2D圖像輸入到3D空間的地圖元素提取。近年來，隨著Nerf的提出，用于3D地圖重建的隱式編碼空間視角關系的神經(jīng)網(wǎng)絡正逐漸被考慮在內(nèi)。

數(shù)據(jù)融合是高精地圖離線建設的最后一步。這項工作通常利用多個幀之間的一致性來融合每個幀的提取地圖元素數(shù)據(jù)。通過融合多幀數(shù)據(jù)，最終獲得完整的全局高精地圖。

C.地圖元素提取

地圖要素提取是高精地圖構建中最重要的環(huán)節(jié)。它是從原始視覺傳感器數(shù)據(jù)中提取準確的結(jié)構化地圖元素信息，這是高精地圖構建的基本任務。在傳統(tǒng)的集中式高精晰度地圖構建方案中，如圖2所示，地圖元素提取通常通過基于規(guī)則的方法來完成，如霍夫變換、多項式擬合、閾值化等。

2013年后，隨著深度學習的快速發(fā)展，基于卷積神經(jīng)網(wǎng)絡的方法逐漸成為主流。地圖元素提取通常遵循自動駕駛感知任務的范式，將地圖元素視為傳統(tǒng)視覺任務的主體。卷積神經(jīng)網(wǎng)絡證明了在不同尺度上提取特征的能力。通過在結(jié)構上設計不同類型的網(wǎng)絡層，可以將包括特征提取、分類、語義分割和目標檢測在內(nèi)的任務無縫集成到單個網(wǎng)絡模型中，以進行全面的訓練和優(yōu)化。近年來，隨著ViT的引入，也出現(xiàn)了一些基于變換器結(jié)構的特征提取主干。上述主干網(wǎng)絡通常被設計用于圖像分類任務，將提取的圖像特征映射到一組分類概率中。實際應用程序的可視化任務更為復雜。

通過主干完成特征提取后，通常會根據(jù)任務要求設計不同的解碼網(wǎng)絡，輸出所需的數(shù)據(jù)模式。根據(jù)不同的輸出格式，視覺任務可分為圖像分類、語義分割、目標檢測和實例分割。

1）用于建圖的語義分割：語義分割是將圖像分割成與不同類別的目標（如道路、人行道、車道、交通標志等）相對應的區(qū)域的任務。它通常基于在標記圖像的大型數(shù)據(jù)集上訓練的網(wǎng)絡，可以實現(xiàn)實時分割不同類型目標的高精度。

2）用于建圖的目標檢測：目標檢測任務是檢測和定位圖像或視頻幀中感興趣的目標。它最初包括兩個階段的過程，首先生成一組區(qū)域建議，然后將每個建議分類為特定的目標類別（如汽車、行人、交通標志等）。目標檢測可以基于各種CNN架構，如Faster R-CNN、YOLO、SSD、CenterNet和CornerNet。一些目標檢測方法的比較如表IV所示。

近年來，ViT的發(fā)明進一步提高了物體檢測任務的能力。這種機制有效地增強了模型關注整個圖像的能力，并可以實現(xiàn)更高的精度。DETR表示的模型將目標與預設的查詢相對應，使端到端的目標檢測更加有效，這只有一個階段。

目標檢測方法通常提供特定目標類型的邊界框信息，但它們通常缺乏精確的形狀信息，這對于繪制HD地圖至關重要。因此，物體檢測主要用于識別元素，如地面箭頭、燈桿和交通燈，這些元素主要需要關于位置和類別的信息，而不是詳細的形狀表示。由于物體檢測技術的局限性，高精地圖中形狀相關元素的準確描述仍然是一個挑戰(zhàn)。

3）用于建圖的實例分割：語義分割雖然提供了像素級的語義類別，但在區(qū)分同一類別的不同實例方面存在不足，不足以滿足高精地圖更新和構建自動駕駛?cè)蝿盏鸟{駛空間的要求。因此，實例分割被研究為語義分割的擴展，以有效準確地從圖像數(shù)據(jù)中獲得元素類別、形狀信息和位置細節(jié)，在自動駕駛應用中發(fā)揮著至關重要的作用。實例分割涉及處理圖像數(shù)據(jù)以獲取圖像中每個感興趣個體的像素級掩碼，其中具有相同語義類別的個體被分配不同的實例號以及共享的語義標簽。該任務能夠同時提取單個類別、精確的位置信息和相應的形狀細節(jié)。

D.三維重建

提取圖像中的地圖元素信息后，通常需要通過矢量提取、視角轉(zhuǎn)換等方法對高精晰度地圖的三維空間中的地圖要素進行建模，如圖8所示。一種常見的3D重建方法是攝影測量，它涉及使用從不同角度拍攝的照片來創(chuàng)建3D模型。這項技術依賴于這樣一個事實，即照片中的物體根據(jù)其在空間中的位置而不同，從而可以計算其三維坐標。攝影測量可以使用專門的軟件工具進行，這些工具可以自動識別和匹配照片中的特征，然后根據(jù)這些匹配生成3D模型。

E.HD地圖構建

高精地圖構建需要融合來自不同幀或不同相機傳感器的各種地圖元素及其相應的3D空間關系。此過程旨在創(chuàng)建地圖區(qū)域的統(tǒng)一、精確表示。它本質(zhì)上構成了一個經(jīng)典的多傳感器多源融合挑戰(zhàn)。最近，隨著在線地圖神經(jīng)網(wǎng)絡的發(fā)展，一些工作也設計了用于離線地圖融合的網(wǎng)絡結(jié)構。MVMap利用多視圖特征視角提供的全局一致性，將多個幀的地圖輸出集成到統(tǒng)一的HD地圖中。為了減輕檢測不太準確或不太清楚的幀的影響，該模型結(jié)合了置信度估計模塊。該模塊為更精確估計的幀分配更高的權重，便于基于置信度得分對HD Map補丁進行加權平均。NeMO設計了一個可寫可讀的大地圖、一個基于學習的融合模塊以及它們之間的交互。通過假設所有BEV網(wǎng)格上的特征分布一致，應用共享權重神經(jīng)網(wǎng)絡來更新廣泛的大地圖。這種創(chuàng)新范式能夠融合廣泛的時間序列數(shù)據(jù)，并創(chuàng)建擴展范圍的BEV局部地圖。

為了解決高精地圖高成本注釋的挑戰(zhàn)，已經(jīng)開發(fā)了矢量化地圖注釋（VMA）框架。它結(jié)合了一種分而治之的注釋策略，以解決高精地圖創(chuàng)建中的空間可擴展性問題。VMA將地圖元素簡化為統(tǒng)一的點序列表示，包括一系列幾何圖案。

表V總結(jié)了在nuScenes數(shù)據(jù)集上評估的各種語義圖構建方法的性能，其中IoU作為準確性度量。對這些方法的比較表明，仍有改進的潛力，特別是在實現(xiàn)人行橫道的更高精度方面。

基于視覺的在線局部高精地圖構建

A.為什么要在線構建高精地圖

在線構建高精地圖是指實時生成地圖。這種方法提供了幾個顯著的優(yōu)點。首先，在線構建確保了高精地圖不斷更新最新數(shù)據(jù)的新鮮感。這保證了地圖保持準確，即使在路況頻繁變化的動態(tài)環(huán)境中也是如此。這種實時更新功能使車輛能夠做出明智的決定，繞過障礙物并避免事故。其次，在線構建提供了將各種數(shù)據(jù)源合并用于地圖創(chuàng)建的靈活性。來自聯(lián)網(wǎng)車輛的實時數(shù)據(jù)可以補充現(xiàn)有的地圖信息，提高準確性和適應性。第三，通過消除離線處理和存儲的需要，在線高精地圖構建可以潛在地降低總體成本。這在涉及大量自動駕駛汽車的場景中尤其有益，在這些場景中，成本效益高的解決方案至關重要。

B.沒有矢量化實例的在線建圖方法

1）onboard視覺SLAM：SLAM問題最早是在1986年的國際機器人與自動化會議（ICRA）上提出的。SLAM被描述為，放置在未知環(huán)境中未知位置的機器人是否可以逐步構建環(huán)境的一致地圖，同時實時確定其在地圖中的位置，要求配備有特定傳感器的受試者在沒有關于環(huán)境的先驗信息的情況下實時估計其自身的運動以解決定位問題并且同時構建環(huán)境的地圖以解決地圖構建問題。

2）占用網(wǎng)絡：占用網(wǎng)絡的任務最早由特斯拉提出。該方法將周圍環(huán)境劃分為體素網(wǎng)格，體素的屬性包括占用概率、語義信息和占用流信息。通過體素的表示，運動中的車輛對周圍環(huán)境有著密集的理解和認知。從NeRF中汲取靈感，占用網(wǎng)絡包含了一個隱式可查詢MLP解碼器。該解碼器可以處理任何坐標值（x，y，z），以提取關于該空間中的位置的細節(jié)，包括所提到的屬性信息。這種能力使占用網(wǎng)絡能夠?qū)崿F(xiàn)3D占用地圖的靈活分辨率。

總之，SLAM一直是一個廣泛研究的主題，而占用網(wǎng)絡代表了實時創(chuàng)建環(huán)境三維表示的最新進展，從而產(chǎn)生了密集的語義圖。這兩種類型的方法還需要更多地關注非地圖元素的類別，例如行人、車輛和樹木。這些信息對于實際車輛駕駛是必要的，但對于全球高精地圖構建來說有些多余。此外，地圖元素的實例級信息仍然短缺。

C.Onboard矢量化HD地圖網(wǎng)絡

HDMapNet的出現(xiàn)，及其使用神經(jīng)網(wǎng)絡直接建模矢量化地圖元素實例的創(chuàng)新方法，引發(fā)了該領域的興趣激增，并引發(fā)了研究的新趨勢。該方法側(cè)重于分析矢量化靜態(tài)地圖元素實例，最終通過應用神經(jīng)網(wǎng)絡直接從車輛攝像頭數(shù)據(jù)生成矢量化地圖。

1） 矢量化高精地圖網(wǎng)絡的通用管道：專門用于矢量化高精地圖構建的神經(jīng)網(wǎng)絡的一般過程在圖10中總結(jié)為幾個主要部分。如圖10所示，在輸入環(huán)視圖像后，高精地圖構建網(wǎng)絡的總體架構可以劃分為不同的部分：主干、視角轉(zhuǎn)換和地圖解碼器。這三個組成部分構成了視覺建圖網(wǎng)絡的基本框架，這是各種相關方法共享的共同結(jié)構。為了增強建圖性能，某些方法包含了補充的后處理步驟、時間信息注入和輔助監(jiān)督分支。這些附加方法對于視覺建圖不是必需的。

2）使用后處理學習地圖組件：HDMapNet是第一個將深度神經(jīng)網(wǎng)絡直接應用于語義地圖構建的任務。具體結(jié)構如圖11所示。網(wǎng)絡結(jié)構通過視覺傳感器的數(shù)據(jù)輸入，通過Transformer網(wǎng)絡模型，直接對BEV視角下的多視圖數(shù)據(jù)進行解碼和融合，最終生成三個網(wǎng)絡分支，分別進行車道線的語義分割、實例嵌入量的學習和車道線方向的預測。通過對車道線進行語義分割，獲得屬于車道線的鳥瞰圖的透視像素，然后通過實例嵌入量和方向預測字段連接每幀數(shù)據(jù)的車道起點，生成車道線實例。通過對三個分支數(shù)據(jù)的組合后處理，最終生成具有方向信息的實例級鳥瞰視角下的車道線結(jié)果，實現(xiàn)了簡單地圖的實時構建。

然而，HDMapNet仍然需要經(jīng)過大量的后處理步驟。從上面自下而上的實例提取方法的介紹可以看出，這種方法消耗了大量的時間，而且后處理不穩(wěn)定，無法在車端實時構建地圖。

在CVPR2023自動駕駛挑戰(zhàn)賽中，MachMap在Argoverse2基準測試中達到83.5 mAP，并以非常領先的性能位居地圖挑戰(zhàn)賽第一。MachMap將任務劃分為多段線的直線檢測和多邊形的實例分割。

3）端到端建圖網(wǎng)絡：許多方法已經(jīng)探索了端到端在線建圖。VectorMapNet是第一個實現(xiàn)高精地圖直接輸出的網(wǎng)絡。VectorMapNet通過深度神經(jīng)網(wǎng)絡提取網(wǎng)絡編碼的視角轉(zhuǎn)換特征，獲得鳥瞰圖下的深度特征，然后將地圖元素設置為查詢輸入，通過地圖元素檢測器檢測關鍵點表示的地圖元素，將鳥瞰圖的深度特征和關鍵點進行集成，并通過設計曲線生成模型結(jié)構將連接信息分配給關鍵點，最終直接輸出矢量化的三維地圖結(jié)果。MapTR的具體結(jié)構如圖12所示。后續(xù)發(fā)展出來了MapTRv2、InsightMapper、InstaGraM、PivotNet、Bi-Mapper等等一系列算法。

4）時序融合：上述方法使用視覺傳感器生成矢量化高精地圖。然而，由于它們僅依賴于單幀輸入，因此它們遇到了限制。這種約束影響了它們的穩(wěn)健性和有效性，尤其是在閉塞等復雜場景中，主要是由于缺乏時間背景。此外，當應用于感知范圍擴大的情況時，它們的性能往往會惡化。引入時間信息以在此基礎上構建局部地圖是一種自然的過程。一方面，時間連續(xù)性為障礙物遮擋的挑戰(zhàn)提供了有效的解決方案。另一方面，它增強了空間信息的恢復，從而提高了從PV到BEV轉(zhuǎn)換的準確性。此外，時間連續(xù)性有助于直接生成綜合的局部地圖。StreamMapNet是第一個將時間信息引入在線地圖的工作。如圖13所示，主預測器與其他單幀網(wǎng)絡結(jié)構基本相同，由BEV編碼器和地圖解碼器組成。不同的是，它使用內(nèi)存緩沖區(qū)來存儲傳播的內(nèi)存特性。

5）矢量化地圖構建網(wǎng)絡的研究現(xiàn)狀和比較：表VI總結(jié)了最近在nuScenes數(shù)據(jù)集上的一些工作的性能。上述最先進的研究側(cè)重于使用具有特定規(guī)則的點集作為建模地圖元素。該研究利用神經(jīng)網(wǎng)絡強大的學習能力，通過逐層可變電壓解碼器查詢預設的地圖元素實例，輸出端到端的矢量化車道線地圖。這使得能夠?qū)崟r構建端到端的車道圖。然而，值得注意的是，該研究尚處于早期階段，缺乏地圖元素中典型的廣泛語義和拓撲邏輯關聯(lián)。此外，在利用時間信息方面的工作并不多，大量的時間感知任務提供了很好的參考價值。因此，需要進一步的研究來探索這一領域。

與建圖相關的其他工作

拓撲預測

車道圖是高級自動駕駛中離線高精地圖的基本組成部分。道路網(wǎng)絡對規(guī)劃和導航非常有用。因此，道路網(wǎng)絡預測的任務可以是地圖的一部分。如圖14所示，車道中心線、相應的十字路口、紅綠燈控制信號等是高精地圖的關鍵信息。

STSU首先提出了在線車道拓撲結(jié)構的提取，它將任務擴展到包括中心線提取和車道連接關系。隨后，LaneGap等工作將連接關系建模為用于檢測的可驅(qū)動路徑。這一方面也包含在MapTRv2中。隨后，引入了交通元素與車道之間的對應關系，進一步提高了對場景結(jié)構的理解。例如，OpenLaneV2數(shù)據(jù)集及其相應的算法TopoNet。MFV在OpenLaneV2數(shù)據(jù)集的拓撲挑戰(zhàn)中排名第一。此外，Road Genome為拓撲推理引入了一個新的基準。

這類工作的挑戰(zhàn)是如何將道路網(wǎng)絡的拓撲結(jié)構建模為一組可以通過神經(jīng)網(wǎng)絡學習的值，以及如何在建模道路網(wǎng)絡結(jié)構之間的關系以及如何有效利用信號燈和標志的信息的基礎上設計適當?shù)木W(wǎng)絡。然而，現(xiàn)有的數(shù)據(jù)集和研究很少，僅限于連接關系問題，缺乏對場景結(jié)構的進一步了解。

地圖作為先驗

自動駕駛中的高精地圖是預先存在的道路信息來源，將可見性擴展到眼前之外。因此，最近的努力都致力于利用地圖數(shù)據(jù)作為先驗信息。

Xiong等人的“自動駕駛的神經(jīng)地圖先驗”。介紹了一種利用先驗地圖作為知識庫的開創(chuàng)性方法。該方法積極收集周圍環(huán)境的各種實時信息，用于在線地圖繪制。從該在線建圖過程中獲得的特征被存儲在存儲器特征庫中。當車輛重新訪問特定區(qū)域時，基于車輛的地理位置從記憶特征庫中檢索與該路段相對應的先前特征。這些記憶的特征與從在線推理中獲得的特征一起在生成車輛的當前局部地圖中發(fā)揮著重要作用。

受Nerf的啟發(fā)，MapNeRF將地圖先驗融入神經(jīng)輻射場，以生成指定賽道外的駕駛視圖，確保語義道路一致性。這種方法解決了在相機模擬的偏差視圖中保持語義一致性的挑戰(zhàn)。

雖然地圖提供了有價值的先驗信息，但目前這一領域的研究只觸及了表面。地圖作為先驗知識來源，在現(xiàn)有研究中并沒有顯著提高生成新地圖的精度。因此，在這一領域仍有充分的進一步探索空間。

結(jié)論和討論

挑戰(zhàn)和未來前景

• 統(tǒng)一地圖元素表示模型。高精地圖由具有空間信息和關系的地圖元素組成。地圖元素的表示作為地圖的基本組成部分，影響著高精地圖構建的效率，以克服各個模塊之間的差距。該表示還確定了后續(xù)決策模塊的結(jié)構化信息形式。然而，對于所有的自動駕駛管道，并沒有一個統(tǒng)一和公認的模型。狹長的車道和桿子形狀，緊湊的標記和斑馬形狀給通用表達帶來了困難。
• 預處理數(shù)據(jù)集。由于國家法律的限制和高昂的制作成本，有限的場景和罕見的注釋對數(shù)據(jù)集的構建產(chǎn)生了影響。無論如何，仍然強烈需要高精地圖數(shù)據(jù)集進行進一步的研究，以增強可擴展性。
• 端到端模型與混合模型。端到端模型的性能可能會受到訓練數(shù)據(jù)集的限制，而訓練數(shù)據(jù)集存在嚴重的可擴展性問題?；旌夏Ｐ褪艿矫總€模型的輸入和輸出缺口的限制。在統(tǒng)一地圖表示的幫助下，離線方法框架可以將深度學習模塊作為混合模型集成到預先構建的物理/幾何模型中。端到端模型依賴于數(shù)據(jù)集和計算能力。什么樣的工作是最好的仍然是個問題。
• 統(tǒng)一評估基準和指標。HD地圖的研究者一直關注合適的評價基準和指標。由于呈現(xiàn)形式的豐富性，不同模式的高精地圖無法相互比較。統(tǒng)一的評估基準和度量是高精地圖研究的必要條件。
• 地圖元素的綜合類別。盡管已經(jīng)有很多關于地圖構建的研究，但大多數(shù)研究仍然局限于最簡單的地圖元素，如車道線和人行橫道。3D地圖的基本元素，如道路箭頭、文本、交通標志和交通燈桿，對地圖的構建同樣重要。因此，在三維空間中考慮更廣泛、更全面的地圖元素對地圖構建也很重要。
• 實時場景理解。SLAM的密集語義圖和簡單的矢量化圖都不能為決策算法提供高度可信的認知信息。如何密切地圖和決策之間的關系仍然是一個問題。
• 高精度挑戰(zhàn)。更高的精度一直是地圖建設的一個重要挑戰(zhàn)。更準確的結(jié)果將有助于移動車輛更準確地了解當前路況。

結(jié)論

在這篇文章中，我們研究了關于使用相機傳感器構建高精地圖的文獻，特別是關于使用神經(jīng)網(wǎng)絡進行地圖構建的文獻。我們將建圖方法分為基于計算硬件的離線和在線、基于神經(jīng)網(wǎng)絡和基于算法的基于規(guī)則，并總結(jié)了主流技術路線的主要過程。最后，我們討論了這些模型的評估前景和設計趨勢。

參考

[1] High-Definition Maps Construction Based on Visual Sensor: A Comprehensive Survey

原文鏈接：https://mp.weixin.qq.com/s/73QothZNZ4eUo0iceKPc6Q