寫在前面&筆者的理解：

現(xiàn)在各大廠商都在布局輕地圖（輕高精地圖）或無(wú)圖（無(wú)高精地圖）方案，而其中之一就是local map（局部地圖），并且輔助以SD地圖（標(biāo)準(zhǔn)地圖），所以對(duì)這個(gè)領(lǐng)域的整體把握非常具有實(shí)際意義。局部地圖不僅提供了復(fù)雜的道路網(wǎng)絡(luò)細(xì)節(jié)，還作為車輛定位、導(dǎo)航和決策等關(guān)鍵任務(wù)的基礎(chǔ)輸入。由于標(biāo)準(zhǔn)定義地圖（SD Map）具有低成本、易獲取和高通用性的特點(diǎn)，結(jié)合SD地圖作為先驗(yàn)信息的感知方法在局部地圖感知領(lǐng)域展現(xiàn)出顯著潛力。

今天自動(dòng)駕駛之心和大家分享的是對(duì)SD地圖作為先驗(yàn)信息整合到局部地圖感知方法中的最新進(jìn)展的全面概述和總結(jié)。首先介紹了將SD地圖作為先驗(yàn)信息融入局部地圖感知方法的任務(wù)定義和總體流程，以及相關(guān)的公共數(shù)據(jù)集。隨后，重點(diǎn)討論了多源信息的表示與編碼方法，以及多源信息融合的方法。為應(yīng)對(duì)這一快速發(fā)展的趨勢(shì)，本文對(duì)該領(lǐng)域的多樣化研究工作進(jìn)行了全面而細(xì)致的綜述。最后，文章探討了相關(guān)問(wèn)題和未來(lái)挑戰(zhàn)，以期幫助研究人員理解該領(lǐng)域當(dāng)前的趨勢(shì)和方法。

介紹

局部地圖感知是智能駕駛領(lǐng)域中的一項(xiàng)關(guān)鍵且具有挑戰(zhàn)性的任務(wù)。它涉及對(duì)車輛周圍環(huán)境的詳細(xì)理解和實(shí)時(shí)建模，作為自動(dòng)駕駛系統(tǒng)中決策和導(dǎo)航的基礎(chǔ)。局部地圖不僅提供關(guān)于道路和車道的信息，還涵蓋對(duì)障礙物、交通標(biāo)志、行人及其他動(dòng)態(tài)或靜態(tài)物體的檢測(cè)與識(shí)別。這些信息對(duì)于確保車輛安全運(yùn)行和高效路徑規(guī)劃至關(guān)重要。沒(méi)有精確的局部地圖感知，自動(dòng)駕駛車輛可能偏離路線、引發(fā)交通事故，甚至威脅乘客安全。因此，局部地圖感知在自動(dòng)駕駛生態(tài)系統(tǒng)中扮演著不可或缺的角色。

與典型的目標(biāo)檢測(cè)不同，局部地圖感知需要在處理復(fù)雜和動(dòng)態(tài)環(huán)境信息的同時(shí)，在各種光照條件和天氣情況下保持高精度。例如，路上的陰影、光線反射、動(dòng)態(tài)障礙物以及交通標(biāo)志的遮擋都會(huì)干擾局部地圖感知。此外，傳感器噪聲和數(shù)據(jù)延遲進(jìn)一步加劇了感知任務(wù)的復(fù)雜性。因此，開發(fā)魯棒的局部地圖感知技術(shù)對(duì)于實(shí)現(xiàn)安全可靠的自動(dòng)駕駛至關(guān)重要。

為了應(yīng)對(duì)這些問(wèn)題，許多研究人員提出了各種方法。Chen 和 Lei提出了一種利用地面紋理進(jìn)行視覺定位和地圖構(gòu)建的方法，通過(guò)全局和局部?jī)?yōu)化提高了定位精度和地圖更新的精確度。還有研究人員[2]通過(guò)利用SD地圖并通過(guò)Transformer編碼器集成SD地圖信息，增強(qiáng)了在線地圖預(yù)測(cè)和車道拓?fù)淅斫猓瑥亩徑饬塑嚨谰€遮擋或能見度差的問(wèn)題，顯著提升了車道檢測(cè)和拓?fù)漕A(yù)測(cè)的性能。研究人員[3]提出了一種創(chuàng)新的視頻車道檢測(cè)算法，該算法通過(guò)使用遮擋感知的基于記憶的細(xì)化（OMR）模塊，利用障礙物掩碼和記憶信息來(lái)提高遮擋下的檢測(cè)精度和魯棒性。RVLD通過(guò)遞歸傳播當(dāng)前幀的狀態(tài)到下一幀，利用前幾幀的信息提高了車道檢測(cè)的可靠性。此外，還有 Laneaf、LaneATT、Streammapnet等方法來(lái)緩解這些問(wèn)題。

在先前的自動(dòng)駕駛研究中，高精地圖（HDMap）一直是至關(guān)重要的。HDMap 具有絕對(duì)和相對(duì)精度在1米以內(nèi)的特點(diǎn)，提供了高精度、新鮮度和豐富的電子地圖信息，包括廣泛的道路和環(huán)境信息。這些地圖為安全高效的自動(dòng)駕駛提供了精確的導(dǎo)航和定位服務(wù)。然而，HDMap 面臨著重大挑戰(zhàn)，主要是在實(shí)時(shí)更新和成本控制方面。城市道路環(huán)境經(jīng)常變化，任何微小的改變都可能影響自動(dòng)駕駛車輛的行駛安全。傳統(tǒng)的 HDMap 制作方法需要大量的時(shí)間和資源，難以實(shí)現(xiàn)實(shí)時(shí)更新，研究[8] 和 [9] 都指出了類似的問(wèn)題。此外，HDMap 的制作和維護(hù)成本極高，使用傳統(tǒng)方法的成本可達(dá)每公里數(shù)千美元。

在這種背景下，“重感知，輕地圖”這種方法在業(yè)內(nèi)獲得了廣泛認(rèn)可。這種方法強(qiáng)調(diào)使用車載傳感器進(jìn)行自動(dòng)駕駛感知任務(wù)，并輔以輕量級(jí)地圖信息。這種策略減少了對(duì)實(shí)時(shí)地圖更新的依賴，降低了維護(hù)成本，同時(shí)輕量級(jí)地圖信息可以有效彌補(bǔ)車載傳感器的某些局限性，增強(qiáng)模型的魯棒性。作為交通導(dǎo)航和地理信息服務(wù)中廣泛使用的電子地圖，標(biāo)準(zhǔn)定義地圖（SD Map）具有低制作和維護(hù)成本、易于獲取和數(shù)據(jù)量小的特點(diǎn)，適合作為輕量級(jí)地圖來(lái)輔助車載傳感器構(gòu)建自動(dòng)駕駛的局部地圖。

盡管基于 SD Map 構(gòu)建局部地圖的前景廣闊，但面臨著諸多挑戰(zhàn)，且在這一領(lǐng)域缺乏全面的研究綜述。為了解決這一空白，本綜述旨在提供利用 SD Map 的局部地圖構(gòu)建方法的最新進(jìn)展的全面概述。具體而言，重點(diǎn)是 SD Map 信息表示方法和多模態(tài)數(shù)據(jù)融合技術(shù)在局部地圖感知任務(wù)中的應(yīng)用。本研究深入探討了該領(lǐng)域的主要發(fā)展、挑戰(zhàn)和研究方向。對(duì)現(xiàn)有基于 SD Map 作為先驗(yàn)信息的局部地圖構(gòu)建文獻(xiàn)進(jìn)行了回顧。分析了這些方法的優(yōu)缺點(diǎn)，為其在實(shí)時(shí)自動(dòng)駕駛應(yīng)用中的有效性和適用性提供了見解。重點(diǎn)介紹了各種傳感器信息的表示和編碼方法，以及多源傳感器數(shù)據(jù)的融合技術(shù)，這對(duì)于實(shí)時(shí)局部地圖生成至關(guān)重要。討論了這些方法的基本原理、架構(gòu)和性能，揭示了它們?cè)谠擃I(lǐng)域的可行性和實(shí)用性。此外，本文還識(shí)別了使用 SD Map 作為先驗(yàn)信息進(jìn)行局部地圖構(gòu)建的關(guān)鍵挑戰(zhàn)和開放研究問(wèn)題。

背景知識(shí)

此節(jié)將明確基于SD地圖的局部地圖構(gòu)建的定義，并總結(jié)此類任務(wù)的一般流程。介紹SD地圖的組成和應(yīng)用場(chǎng)景。最后，列舉在局部地圖感知任務(wù)中常用的公共數(shù)據(jù)集和評(píng)估指標(biāo)。

基于SD地圖的局部地圖構(gòu)建任務(wù)定義

局部地圖感知任務(wù)涉及創(chuàng)建一個(gè)準(zhǔn)確的地圖，表示車輛周圍的環(huán)境，以支持自動(dòng)駕駛的決策和規(guī)劃。這一任務(wù)通常依賴于來(lái)自各種傳感器的數(shù)據(jù)，包括相機(jī)、激光雷達(dá)、雷達(dá)和GPS。此外，結(jié)合SD地圖中的先驗(yàn)信息可以增強(qiáng)模型的魯棒性，減少車載傳感器的不確定性對(duì)模型的影響，從而提高整體模型性能。局部地圖感知任務(wù)的核心在于實(shí)時(shí)感知和理解車輛周圍的環(huán)境。

用于局部地圖構(gòu)建的神經(jīng)網(wǎng)絡(luò)的一般過(guò)程可以總結(jié)為幾個(gè)關(guān)鍵組件，如圖1所示。在輸入環(huán)視圖像和激光雷達(dá)點(diǎn)云后，局部地圖構(gòu)建網(wǎng)絡(luò)的整體架構(gòu)可以分為不同部分：用于圖像特征提取的骨干網(wǎng)絡(luò)（backbone）、用于視角轉(zhuǎn)換的PV2BEV（透視視角到鳥瞰視角）模塊、用于多模態(tài)特征融合的模塊，以及用于車道檢測(cè)的特定任務(wù)頭（task-specific heads）。這些組件構(gòu)成了局部地圖感知網(wǎng)絡(luò)的基本框架。環(huán)視相機(jī)和激光雷達(dá)捕獲的圖像和點(diǎn)云數(shù)據(jù)首先通過(guò)骨干網(wǎng)絡(luò)處理，以獲得（多尺度的）圖像特征。這些特征隨后通過(guò)PV2BEV模塊轉(zhuǎn)換為鳥瞰視角，并通過(guò)模態(tài)融合模塊與SD地圖數(shù)據(jù)融合，最終通過(guò)不同的特定任務(wù)頭輸出。

標(biāo)準(zhǔn)定義地圖

SD地圖（Standard Definition Map的縮寫）是一種提供基本地理信息和道路網(wǎng)絡(luò)結(jié)構(gòu)的數(shù)字地圖技術(shù)。它廣泛應(yīng)用于日常導(dǎo)航和地理信息服務(wù)，為用戶提供便利。SD地圖主要提供道路的中心線骨架，但不包含詳細(xì)的車道信息、道路標(biāo)志或其他高精度環(huán)境特征。

對(duì)于局部地圖構(gòu)建任務(wù)，SD地圖提供了三大主要優(yōu)勢(shì)。首先，SD地圖數(shù)據(jù)易于獲取。通常可以從開放的地理數(shù)據(jù)源（如OpenStreetMap）免費(fèi)獲得，適用于大規(guī)模應(yīng)用。其次，與HD地圖相比，SD地圖的生產(chǎn)和維護(hù)成本顯著降低。最后，SD地圖具有高度的通用性，覆蓋了大多數(shù)類型的道路，可以為局部地圖構(gòu)建任務(wù)提供相關(guān)的道路信息。OSM和百度地圖等平臺(tái)可以作為SD地圖的數(shù)據(jù)來(lái)源。例如，OpenStreetMap（OSM）是一個(gè)由全球志愿者創(chuàng)建和維護(hù)的協(xié)作項(xiàng)目，提供免費(fèi)的、可編輯的、開放內(nèi)容的地圖。OSM數(shù)據(jù)包括廣泛的地理信息，如道路、建筑、公園和河流，用戶可以自由訪問(wèn)、編輯和使用。

數(shù)據(jù)集

在鳥瞰視角（BEV）局部地圖構(gòu)建領(lǐng)域，常用的數(shù)據(jù)集包括KITTI、nuScenes、ApolloScape、Argoverse、Openlane和Waymo開放數(shù)據(jù)集。

由卡爾斯魯厄理工學(xué)院和豐田創(chuàng)建的KITTI數(shù)據(jù)集提供了雙目相機(jī)、激光雷達(dá)和GPS/IMU數(shù)據(jù)，涵蓋了城市、農(nóng)村和高速公路場(chǎng)景，適用于目標(biāo)檢測(cè)、跟蹤和道路檢測(cè)等任務(wù)。Motional發(fā)布的nuScenes 數(shù)據(jù)集包括來(lái)自六個(gè)相機(jī)、五個(gè)Radar、一個(gè)激光雷達(dá)、IMU和GPS的數(shù)據(jù)，適用于各種天氣和光照條件下的城市交通場(chǎng)景。由百度發(fā)布的ApolloScape 數(shù)據(jù)集提供了覆蓋各種城市道路場(chǎng)景的高精度3D標(biāo)注數(shù)據(jù)，適用于車道檢測(cè)和語(yǔ)義分割等任務(wù)。

由Argo AI發(fā)布的Argoverse 數(shù)據(jù)集包括雙目相機(jī)、激光雷達(dá)、GPS和IMU數(shù)據(jù)，提供詳細(xì)的3D標(biāo)注和車道標(biāo)記，主要用于3D目標(biāo)檢測(cè)和車道檢測(cè)。Waymo發(fā)布的Waymo 開放數(shù)據(jù)集涵蓋了多種天氣和交通條件，提供了來(lái)自激光雷達(dá)和相機(jī)的高質(zhì)量數(shù)據(jù)，適用于3D目標(biāo)檢測(cè)、跟蹤和車道檢測(cè)等任務(wù)。

OpenLane-V2（又名OpenLane-Huawei或Road Genome）是一個(gè)由上海人工智能實(shí)驗(yàn)室和華為諾亞方舟實(shí)驗(yàn)室聯(lián)合開源的面向下一代自動(dòng)駕駛場(chǎng)景道路結(jié)構(gòu)感知的基準(zhǔn)數(shù)據(jù)集。它是首個(gè)包含交通場(chǎng)景中道路結(jié)構(gòu)拓?fù)潢P(guān)系的數(shù)據(jù)集。

ONCE-3DLanes 數(shù)據(jù)集是一個(gè)具有3D空間車道布局標(biāo)注的真實(shí)世界自動(dòng)駕駛數(shù)據(jù)集，是為了促進(jìn)單目3D車道檢測(cè)方法的發(fā)展而構(gòu)建的新的基準(zhǔn)數(shù)據(jù)集。該數(shù)據(jù)集在中國(guó)的多個(gè)地理位置收集，包括高速公路、橋梁、隧道、郊區(qū)和市區(qū)，涵蓋不同的天氣條件（晴天/雨天）和光照條件（白天/夜間）。整個(gè)數(shù)據(jù)集包含211K張圖像及其對(duì)應(yīng)的相機(jī)坐標(biāo)系下的3D車道標(biāo)注。

CurveLanes是一個(gè)新的基準(zhǔn)車道檢測(cè)數(shù)據(jù)集，包含15萬(wàn)張用于交通車道檢測(cè)中曲線和多車道等困難場(chǎng)景的車道圖像。該數(shù)據(jù)集在中國(guó)多個(gè)城市的真實(shí)城市和高速公路場(chǎng)景中收集。所有圖像都經(jīng)過(guò)精心挑選，其中大多數(shù)圖像至少包含一條曲線車道。該數(shù)據(jù)集中還可以找到更具挑戰(zhàn)性的場(chǎng)景，如S形曲線、Y形車道、夜間和多車道等。

常用評(píng)估指標(biāo)

車道提取的評(píng)估指標(biāo)

mAP是評(píng)估目標(biāo)檢測(cè)模型性能的常用指標(biāo)。mAP通過(guò)匹配預(yù)測(cè)的邊界框與真實(shí)框來(lái)計(jì)算正檢（TP）、誤檢（FP）和漏檢（FN），以測(cè)量模型在不同閾值水平下的精度。首先，根據(jù)指定的交并比（IoU，Intersection over Union）閾值，將預(yù)測(cè)框與真實(shí)框進(jìn)行匹配。然后，計(jì)算每個(gè)類別的精度（TP / (TP + FP)）和召回率（TP / (TP + FN)），并繪制精度-召回曲線。通過(guò)插值方法計(jì)算曲線下的面積，得到單個(gè)類別的平均精度（AP）。最后，所有類別的AP值的均值即為mAP，反映了模型的整體檢測(cè)性能，值越高表示性能越好。

平均交并比（mIoU）是評(píng)估語(yǔ)義分割模型性能的常用指標(biāo)。mIoU衡量模型對(duì)各種對(duì)象的像素級(jí)分類準(zhǔn)確性。計(jì)算過(guò)程涉及幾個(gè)步驟。對(duì)于每個(gè)類別，通過(guò)將預(yù)測(cè)區(qū)域與真實(shí)區(qū)域之間的相交像素?cái)?shù)（Intersection）除以這些區(qū)域的并集像素?cái)?shù)（Union）來(lái)計(jì)算IoU。這一計(jì)算對(duì)每個(gè)類別進(jìn)行，然后所有類別的IoU均值即為mIoU，提供了模型分割準(zhǔn)確性的平均性能評(píng)估，值越高表示分割性能越好。

傳統(tǒng)的目標(biāo)檢測(cè)指標(biāo)，如mAP，可能無(wú)法全面捕捉檢測(cè)任務(wù)中的所有重要方面，例如目標(biāo)速度和屬性的估計(jì)，以及位置、大小和方向的準(zhǔn)確性。因此，提出了nuScenes 檢測(cè)評(píng)分（NDS），以綜合考慮這些因素。NDS集成了多個(gè)關(guān)鍵指標(biāo)，克服了現(xiàn)有指標(biāo)的局限性，提供了更全面的性能評(píng)估。

NDS的計(jì)算公式如下：

在該公式中，mAP代表平均精度（mean Average Precision），用于衡量檢測(cè)精度。TP集合包含五個(gè)真正例指標(biāo)的平均值：ATE（平均平移誤差）、ASE（平均尺度誤差）、AOE（平均方向誤差）、AVE（平均速度誤差）和AAE（平均屬性誤差）。

拓?fù)渫评淼脑u(píng)估指標(biāo)

OpenLane-V2 將任務(wù)分為三個(gè)子任務(wù)：3D車道檢測(cè)、交通元素識(shí)別和拓?fù)渫评怼Ｕw任務(wù)性能通過(guò)OpenLane-V2評(píng)分（OLS）來(lái)描述，該評(píng)分是每個(gè)子任務(wù)指標(biāo)的平均值。3D車道檢測(cè)的指標(biāo)，DETl，可以表示為不同閾值的平均AP [公式]，其中AP使用Fréchet距離計(jì)算。交通元素檢測(cè)與目標(biāo)檢測(cè)類似，使用AP進(jìn)行評(píng)估，IoU閾值設(shè)為0.75。交通元素具有多種屬性，如交通燈的顏色，這些屬性與車道的通行性密切相關(guān)，因此也必須考慮屬性。假設(shè)A是所有屬性的集合，評(píng)估包括屬性分類準(zhǔn)確率。

OpenLane-V2使用TOP評(píng)分來(lái)評(píng)估拓?fù)渫评淼馁|(zhì)量，類似于mAP指標(biāo)，但經(jīng)過(guò)調(diào)整以適應(yīng)圖的結(jié)構(gòu)?；旧希@是將拓?fù)漕A(yù)測(cè)問(wèn)題轉(zhuǎn)化為鏈接預(yù)測(cè)問(wèn)題，并通過(guò)計(jì)算所有頂點(diǎn)的平均AP來(lái)評(píng)估算法性能。第一步是確定一種匹配方法，以配對(duì)真實(shí)的和預(yù)測(cè)的頂點(diǎn)（即中心線和交通元素）。對(duì)于中心線，使用Fréchet距離；對(duì)于交通元素，使用IoU。當(dāng)兩個(gè)頂點(diǎn)之間的邊的置信度超過(guò)0.5時(shí)，認(rèn)為它們是連接的。通過(guò)對(duì)頂點(diǎn)的所有預(yù)測(cè)邊進(jìn)行排序并計(jì)算累積精度的平均值，獲得頂點(diǎn)AP。

多模態(tài)表示

圖像數(shù)據(jù)

在鳥瞰圖（BEV）的感知任務(wù)中，全景相機(jī)的圖像信息是最重要的輸入數(shù)據(jù)，全景圖像的常見特征提取方法遵循自動(dòng)駕駛感知任務(wù)BEVformer 或LSS 的范式。神經(jīng)網(wǎng)絡(luò)的骨干模塊通過(guò)ResNet-50 或101，Mobilenets，EfficientNet，V2-99 等經(jīng)典且輕量的卷積網(wǎng)絡(luò)，從各種相機(jī)角度提取2D圖像特征。其中，ResNet系列因其在訓(xùn)練過(guò)程中通過(guò)引入殘差塊解決了深度神經(jīng)網(wǎng)絡(luò)中的梯度消失問(wèn)題而被廣泛使用。ResNet等變體通過(guò)增加網(wǎng)絡(luò)的深度和寬度來(lái)增強(qiáng)特征提取能力。由于在圖像識(shí)別和特征提取方面的出色表現(xiàn)，這些網(wǎng)絡(luò)被廣泛應(yīng)用于BEV局部地圖感知任務(wù)中。通常，骨干模塊后會(huì)附加一個(gè)特征金字塔網(wǎng)絡(luò)（FPN）模塊。FPN集成了不同尺度的特征圖，生成更強(qiáng)大的多尺度特征表示。這似乎是默認(rèn)的基本配置，融合層的數(shù)量可以根據(jù)網(wǎng)絡(luò)類型選擇。這種多尺度特征融合有助于提高對(duì)不同大小物體的檢測(cè)和識(shí)別，從而增強(qiáng)整體性能。

除了這些輕量級(jí)且簡(jiǎn)單的骨干網(wǎng)絡(luò)外，未來(lái)更大規(guī)模的骨干網(wǎng)絡(luò)將成為主流趨勢(shì)。隨著Transformer在計(jì)算機(jī)視覺領(lǐng)域的成功，基于Transformer的特征提取方法也被應(yīng)用于BEV局部地圖感知任務(wù)，如Swin。參考Nuscece排行榜上的方法，最先進(jìn)的方法都使用預(yù)訓(xùn)練的VIT-L作為骨干網(wǎng)絡(luò)，或者它的變體EVA-02。盡管大型模型的參數(shù)數(shù)量多且計(jì)算復(fù)雜度高，可能嚴(yán)重影響推理速度，但這些大型預(yù)訓(xùn)練骨干網(wǎng)絡(luò)是提高模型性能的關(guān)鍵。盡管如此，其性能直接推動(dòng)了檢測(cè)精度的提升。這些大模型的訓(xùn)練需要海量數(shù)據(jù)支持，但數(shù)據(jù)標(biāo)注成本高且有限，自監(jiān)督訓(xùn)練方法將成為主流。隨著BERT 預(yù)訓(xùn)練模型在自然語(yǔ)言處理中的各種自監(jiān)督任務(wù)中廣泛應(yīng)用，并展示了強(qiáng)大的語(yǔ)言表示學(xué)習(xí)能力，在計(jì)算機(jī)視覺任務(wù)中的自監(jiān)督學(xué)習(xí)中，MAE 隨機(jī)遮蓋圖像上的補(bǔ)丁并實(shí)現(xiàn)了遮蓋圖像的自監(jiān)督學(xué)習(xí)。基于MIM 的預(yù)訓(xùn)練算法的成就正在計(jì)算機(jī)視覺領(lǐng)域蓬勃發(fā)展。此類自監(jiān)督預(yù)訓(xùn)練模型不僅可以解決高成本標(biāo)簽的問(wèn)題，還可以更好地學(xué)習(xí)圖像的表示關(guān)系。

無(wú)論是基于CNN還是Transformer方法，其最終目標(biāo)都是獲得高質(zhì)量的全景圖像特征表示。對(duì)于BEV局部地圖感知任務(wù)，特征表示至關(guān)重要，因?yàn)樗苯佑绊懜兄到y(tǒng)的準(zhǔn)確性和魯棒性。FPN模塊或Transformer的全局特征提取機(jī)制可以顯著提高網(wǎng)絡(luò)的整體性能，使其在復(fù)雜駕駛環(huán)境中的感知和決策更加有效。

激光雷達(dá)點(diǎn)云數(shù)據(jù)

在BEV的局部地圖感知任務(wù)中，除了使用純視覺環(huán)繞相機(jī)作為單一數(shù)據(jù)輸入外，多模態(tài)方法還融合了激光雷達(dá)點(diǎn)云和相機(jī)數(shù)據(jù)等多模態(tài)信息以執(zhí)行深度感知的BEV變換。與單一視覺方法和多模態(tài)（RGB+LiDAR）方法相比，盡管增加了額外的計(jì)算復(fù)雜度，多模態(tài)融合方法在準(zhǔn)確性方面表現(xiàn)優(yōu)異。激光雷達(dá)點(diǎn)云數(shù)據(jù)的處理是多模態(tài)感知任務(wù)中的關(guān)鍵步驟。P-mapnet中的激光雷達(dá)點(diǎn)云數(shù)據(jù)特征提取首先需要將點(diǎn)云體素化，然后使用多層感知器（MLP）提取每個(gè)點(diǎn)的局部特征。最大池化選擇多個(gè)局部特征中的最大特征值來(lái)形成全局特征表示，增強(qiáng)模型對(duì)點(diǎn)云數(shù)據(jù)的全局感知能力。

給定激光雷達(dá)點(diǎn)云P和全景圖像I，公式如下：

其中，代表特征提取器，提取多模態(tài)輸入以獲取BEV特征，代表解碼器，輸出檢測(cè)結(jié)果。

MapLite 2.0方法進(jìn)一步將激光雷達(dá)點(diǎn)云數(shù)據(jù)與其他傳感器數(shù)據(jù)集成，并與從SD地圖（如OpenStreetMap）獲得的粗略道路地圖集成，使用SD地圖中的粗略路線信息來(lái)優(yōu)化道路的幾何形狀和拓?fù)浣Y(jié)構(gòu)。這不僅提高了地圖的準(zhǔn)確性，還增強(qiáng)了對(duì)復(fù)雜道路環(huán)境的理解。它還用于通過(guò)鳥瞰圖投影激光雷達(dá)強(qiáng)度數(shù)據(jù)在線生成高清地圖。通過(guò)集成多模態(tài)數(shù)據(jù)，不僅提供了詳細(xì)的空間信息，還實(shí)現(xiàn)了駕駛環(huán)境的精確語(yǔ)義分割。

SD地圖數(shù)據(jù)

在增強(qiáng)局部地圖感知任務(wù)的背景下，整合SD地圖信息作為先驗(yàn)知識(shí)可以顯著提高視覺和激光雷達(dá)傳感器的性能，特別是在遠(yuǎn)距離和遮擋場(chǎng)景中。為了有效地將SD地圖整合到網(wǎng)絡(luò)結(jié)構(gòu)中，同時(shí)保留其獨(dú)特的道路信息，已經(jīng)探索了各種表示形式。SD地圖通?？梢苑譃閮煞N形式：柵格和矢量。

圖2展示了一個(gè)SD地圖的示例，說(shuō)明了如何利用不同形式的SD地圖表示來(lái)補(bǔ)充局部地圖構(gòu)建過(guò)程，從而增強(qiáng)感知系統(tǒng)的整體性能。

特征提取器可以包含多種模態(tài)數(shù)據(jù)。這里S是以道路中心線骨架形式的SD地圖先驗(yàn)知識(shí)。其中，表示特征提取器，提取多模態(tài)輸入以獲得BEV特征，表示解碼器，輸出檢測(cè)結(jié)果。

柵格表示

MapLite2.0首次將SD地圖引入局部地圖感知任務(wù)。PriorLane將地圖建模為二值圖像，其中1代表可駕駛區(qū)域，0代表不可駕駛區(qū)域。同樣，MapVision也采用了one-hot編碼方法，然后將位置編碼信息串聯(lián)并通過(guò)編碼器提取SD地圖特征。SD地圖通過(guò)文章中提出的KEA模塊與自車數(shù)據(jù)對(duì)齊，然后與傳感器數(shù)據(jù)融合以獲得混合表達(dá)。P-MapNet和MapLite2.0都使用柵格化表示SD地圖，但區(qū)別在于P-MapNet在柵格化SD地圖后，使用CNN網(wǎng)絡(luò)從中提取信息，作為BEV特征優(yōu)化的額外信息源（即key和val）；MapLite2.0將SD地圖作為高清地圖的初始估計(jì)，將其轉(zhuǎn)換為BEV視角，并與傳感器輸入的圖像結(jié)合。通過(guò)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，預(yù)測(cè)其語(yǔ)義標(biāo)簽。最后，這些語(yǔ)義分割結(jié)果被轉(zhuǎn)化為特定標(biāo)簽的距離變換，并使用結(jié)構(gòu)化估計(jì)器來(lái)維持局部地圖估計(jì)并整合SD地圖先驗(yàn)知識(shí)。

矢量表示

SMERF首次提出了一種基于Transformer的編碼器模型，用于推斷道路拓?fù)?。MapEX和SMERF對(duì)地圖元素有相似的表示，引入了多段線序列表示和Transformer編碼器，以獲取場(chǎng)景的最終地圖表示。具體而言，SD地圖中的道路首先以多段線的形式抽象表示。對(duì)于多段線數(shù)據(jù)，通過(guò)均勻采樣獲得N個(gè)數(shù)據(jù)點(diǎn)。然后，在經(jīng)過(guò)正弦余弦編碼后，得到N維的線條描述?？紤]一條曲率較小的垂直線，它的所有點(diǎn)的x或y軸值都非常相似。直接將這些點(diǎn)的坐標(biāo)輸入模型可能導(dǎo)致對(duì)曲率的區(qū)分不足。

因此，使用正弦嵌入會(huì)使這種差異更加明顯，從而提高模型對(duì)這些特征的解釋能力。在實(shí)際操作中，每條線的坐標(biāo)將相對(duì)于BEV范圍歸一化到(0,2π)的范圍內(nèi)，然后對(duì)每條線的坐標(biāo)進(jìn)行嵌入。這些編碼數(shù)據(jù)將經(jīng)過(guò)幾層Transformer網(wǎng)絡(luò)，以獲得地圖特征表示。

其他信息的編碼

SMERF：除了對(duì)SD地圖的多段線坐標(biāo)進(jìn)行編碼外，SMERF還使用獨(dú)熱編碼將道路類型編碼為維度為K（道路類型的數(shù)量）的向量。對(duì)于感知范圍內(nèi)的地面元素，將獲得M * (N * d + K)編碼數(shù)據(jù)，這些數(shù)據(jù)將經(jīng)過(guò)幾層轉(zhuǎn)換以獲得地圖特征表示。消融實(shí)驗(yàn)表明，增加更多的道路類型信息可以提高車道檢測(cè)和道路拓?fù)渫茢嗟挠行浴?/p>

多模態(tài)融合方法

在以圖像作為輸入的方法中，例如基于編碼器-解碼器架構(gòu)的MapTR，建立了局部地圖構(gòu)建的經(jīng)典范式，為后續(xù)方法鋪平了道路。Streammapnet通過(guò)整合全面的時(shí)間信息，進(jìn)一步增強(qiáng)了在遮擋區(qū)域的表現(xiàn)。3D LaneNet采用了端到端的學(xué)習(xí)框架，將圖像編碼、視圖間的空間轉(zhuǎn)換和3D曲線提取等任務(wù)整合到一個(gè)網(wǎng)絡(luò)中。Gen LaneNet提出了一個(gè)兩階段框架，解耦了圖像分割子網(wǎng)絡(luò)和幾何編碼子網(wǎng)絡(luò)的學(xué)習(xí)。此外，一些單目3D車道檢測(cè)方法僅關(guān)注視覺圖像作為輸入。許多模型也僅依賴于視覺圖像。另一方面，HDMapNet作為代表性多模態(tài)方法，通過(guò)對(duì)激光雷達(dá)點(diǎn)云進(jìn)行編碼并預(yù)測(cè)鳥瞰視角下的矢量化地圖元素，實(shí)現(xiàn)了多傳感器數(shù)據(jù)的有效融合。此外，其他模型也將激光雷達(dá)點(diǎn)云數(shù)據(jù)作為額外的輸入。圖3展示了近年來(lái)局部地圖構(gòu)建的發(fā)展趨勢(shì)?？紤]到構(gòu)建高精地圖的成本，Maplite 2.0率先將SD地圖引入局部地圖感知任務(wù)。MapEX通過(guò)將現(xiàn)有地圖元素轉(zhuǎn)換為不可學(xué)習(xí)的查詢并與可學(xué)習(xí)的查詢結(jié)合進(jìn)行訓(xùn)練和預(yù)測(cè)，解決了現(xiàn)有地圖信息不完整或不準(zhǔn)確的情況。SMERF和P-MapNet結(jié)合了SD地圖的特征表示與相機(jī)輸入特征，使用多頭交叉注意力機(jī)制，使車道拓?fù)渫茢喔佑行А?/p>

為了實(shí)現(xiàn)視覺BEV特征與SD地圖語(yǔ)義信息的有效融合，BLOS-BEV探索了各種特征融合方法。此外，諸如PriorLane、FlexMap、Bayesian、TopoLogic、LGMap、MapVision、RoadPainter和EORN等方法將SD地圖先驗(yàn)整合到局部地圖構(gòu)建中，這一趨勢(shì)正在逐漸獲得關(guān)注。在融合之前，需要進(jìn)行視角轉(zhuǎn)換。本節(jié)的重點(diǎn)是將從2D相機(jī)傳感器圖像（通常稱為透視視圖（PV））中提取的特征信息轉(zhuǎn)換為BEV特征。局部地圖感知任務(wù)通常將地面視為一個(gè)平面，在鳥瞰視角中建立地圖，因?yàn)橐环矫?，BEV有助于多傳感器信息的融合，而現(xiàn)有的先進(jìn)BEV目標(biāo)檢測(cè)工作可以提供良好的基礎(chǔ)。從PV到BEV的轉(zhuǎn)換方法包括基于幾何的方法和基于網(wǎng)絡(luò)的方法。基于幾何的方法可以分為同構(gòu)變換和深度估計(jì)兩種類型。基于網(wǎng)絡(luò)的方法可以分為基于MLP的方法和基于Transformer的方法?；赥ransformer的PV到BEV轉(zhuǎn)換通常可以直接通過(guò)BEV感知模型實(shí)現(xiàn)。圖4中的MapTR提出了一個(gè)基于BEVFormer中的View Transformer模塊的優(yōu)化GTK模塊。

對(duì)齊

由于GPS信號(hào)的固有誤差和車輛運(yùn)動(dòng)的影響，矢量化和柵格化的SD地圖先驗(yàn)與當(dāng)前的BEV空間不可避免地存在空間錯(cuò)位，難以完全對(duì)齊。因此，在融合之前，有必要將SD地圖先驗(yàn)與當(dāng)前的BEV操作空間進(jìn)行空間對(duì)齊。FlexMap使用SLAM軌跡和修正后的RTK軌跡來(lái)計(jì)算偏移量并實(shí)現(xiàn)空間對(duì)齊。為了解決這個(gè)問(wèn)題，PriorMap設(shè)置了一個(gè)KEA（知識(shí)嵌入對(duì)齊）模塊，將SD地圖先驗(yàn)知識(shí)嵌入并與圖像特征在空間上對(duì)齊。具體來(lái)說(shuō)，首先使用特征提取網(wǎng)絡(luò)從圖像中提取特征點(diǎn)，并從SD地圖先驗(yàn)知識(shí)中提取特征點(diǎn)。

隨后，使用基于注意力機(jī)制的對(duì)齊算法對(duì)這些特征點(diǎn)進(jìn)行空間匹配。最后，通過(guò)融合Transformer網(wǎng)絡(luò)進(jìn)一步處理對(duì)齊的特征點(diǎn)，增強(qiáng)了局部地圖感知算法的準(zhǔn)確性和魯棒性。類似地，P-MapNet首先對(duì)柵格化的SD地圖先驗(yàn)進(jìn)行下采樣，然后引入多頭交叉注意力模塊，使網(wǎng)絡(luò)能夠使用交叉注意力來(lái)確定最合適的對(duì)齊位置，從而使用SD地圖先驗(yàn)有效增強(qiáng)BEV特征。如圖5所示，P-MapNet的消融實(shí)驗(yàn)表明，即使在與BEV空間對(duì)齊較弱的情況下，直接連接SD地圖先驗(yàn)信息仍能提高模型性能。在此基礎(chǔ)上，增加CNN模塊和多頭交叉注意力模塊可以進(jìn)一步提高模型性能。這證明了SD地圖先驗(yàn)信息在局部地圖感知任務(wù)中的重要作用，即使沒(méi)有嚴(yán)格對(duì)齊，簡(jiǎn)單地增加?xùn)鸥窕腟D地圖先驗(yàn)也可以提高模型性能。

融合

在獲得多傳感器數(shù)據(jù)特征表示之后，需要進(jìn)行融合處理，以獲得更強(qiáng)的特征表示。

為了對(duì)齊不同傳感器的特征，有必要在BEV級(jí)別的特征上實(shí)現(xiàn)融合。圖像BEV特征通過(guò)視角轉(zhuǎn)換模塊從周圍圖像中獲得。在SMERF中，SD地圖特征通過(guò)交叉注意力機(jī)制與BEV特征進(jìn)行交互。首先，BEV特征被編碼為查詢向量，并通過(guò)自注意力機(jī)制進(jìn)行初始化。給定場(chǎng)景的SD地圖，LGMap如圖6所示沿著每條多段線均勻采樣固定數(shù)量的點(diǎn)。在正弦嵌入的情況下，BEVFormer在每個(gè)編碼器層上將SD地圖特征表示與來(lái)自視覺輸入的特征應(yīng)用交叉注意力。SD地圖特征被編碼為key和value向量，然后通過(guò)交叉注意力計(jì)算，獲得最終融合的相機(jī)和SD地圖的BEV特征。

除了常見的注意力機(jī)制融合方法外，BLOS-BEV如圖7所示，探索了不同的融合方案，將視覺BEV特征與SD地圖語(yǔ)義結(jié)合，以實(shí)現(xiàn)最佳表示和性能，探索了三種SD地圖融合技術(shù)：加法、串聯(lián)和交叉注意力。盡管所有融合方法的性能都優(yōu)于不使用SD地圖的方法，但在nuScenes和Argorse數(shù)據(jù)集上，SD地圖的交叉注意力融合表現(xiàn)最佳，表現(xiàn)出出色的泛化性能和在長(zhǎng)距離（150-200米）上的出色表現(xiàn)。

在P-mapnet中，已添加點(diǎn)云信息，并對(duì)激光雷達(dá)點(diǎn)云進(jìn)行了體素化和MLP處理，以獲得每個(gè)點(diǎn)的特征表示，從而得到Lidar BEV。圖像BEV與Lidar BEV的融合用于獲得進(jìn)一步融合的BEV特征。對(duì)融合后的BEV特征進(jìn)一步卷積下采樣可以緩解圖像BEV特征與LiDAR BEV特征之間的對(duì)齊問(wèn)題。

通過(guò)交叉注意力機(jī)制，SD地圖的良好特征與融合后的BEV特征進(jìn)行交互，最終融合了相機(jī)和激光雷達(dá)點(diǎn)云的BEV特征。類似地，MapVision和MapEX如圖8和圖9所示，將SD地圖特征用作鍵和值，而從多視角圖像形成的特征圖則用作查詢，以執(zhí)行交叉注意力。

為了解決遮擋和有限感知范圍等問(wèn)題可能導(dǎo)致的不準(zhǔn)確性，RoadPainter提出了一種新穎的SD地圖交互模塊，圖10顯示了該模塊通過(guò)結(jié)合視覺范圍之外的信息有效增強(qiáng)BEV特征。EORN如圖11所示，將SD地圖柵格化并生成BEV中的SD地圖?；赗esNet-18的SD編碼器提取SD地圖特征。然后，將SD地圖特征插值并與來(lái)自圖像BEV的BEV特征沿通道維度連接。融合方法使用了一個(gè)簡(jiǎn)單的兩層卷積神經(jīng)網(wǎng)絡(luò)ConvFuser，它融合了連接的特征并輸出融合后的BEV特征。另一種方法涉及圖形編碼器，將SD地圖圖形與BEV特征融合，并結(jié)合使用多頭注意力機(jī)制的中心線可變形解碼器的輸出。隨后的解碼器可以通過(guò)從包含豐富信息的BEV特征中查詢，計(jì)算并輸出不同任務(wù)的相應(yīng)結(jié)果。

結(jié)論與討論

挑戰(zhàn)與未來(lái)展望

1. SD地圖編碼和處理方法的改進(jìn)適當(dāng)?shù)木幋a和處理方法對(duì)于在局部地圖感知任務(wù)中利用SD地圖先驗(yàn)信息至關(guān)重要。目前的研究采用了相對(duì)簡(jiǎn)單的編碼和處理方法，無(wú)論是使用柵格還是矢量表示。未來(lái)的研究可以探索更高效的編碼和特征提取方法。
2. SD地圖先驗(yàn)信息與BEV空間對(duì)齊的改進(jìn)由于GPS傳感器的精度限制，將SD地圖先驗(yàn)信息與當(dāng)前BEV操作空間完美對(duì)齊具有挑戰(zhàn)性。這種空間錯(cuò)位可能會(huì)在一定程度上影響模型的檢測(cè)精度。改進(jìn)空間對(duì)齊方法可以進(jìn)一步提高模型性能。未來(lái)的研究可以考慮整合時(shí)間信息，以提高SD地圖先驗(yàn)信息與BEV空間之間的對(duì)齊精度。
3. 道路拓?fù)潢P(guān)系的推斷局部地圖中的拓?fù)潢P(guān)系可以分為兩個(gè)分支：道路之間的拓?fù)潢P(guān)系（主要表示道路連通性）和道路與交通標(biāo)志之間的拓?fù)潢P(guān)系（包括交通控制信號(hào)和其他方向標(biāo)志）。增強(qiáng)對(duì)道路環(huán)境的場(chǎng)景理解對(duì)于高級(jí)自動(dòng)駕駛?cè)蝿?wù)至關(guān)重要。OpenLane-v2數(shù)據(jù)集是首個(gè)提供道路之間以及道路與交通標(biāo)志之間拓?fù)潢P(guān)系的公共數(shù)據(jù)集。目前在這一領(lǐng)域的研究仍然有限。未來(lái)的工作可以使用圖神經(jīng)網(wǎng)絡(luò)模型對(duì)道路網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)和交通標(biāo)志的場(chǎng)景理解任務(wù)進(jìn)行建模。
4. 整合更多SD地圖先驗(yàn)信息現(xiàn)有研究已證明，整合更多的道路類型信息可以增強(qiáng)模型性能。然而，除了基本的道路網(wǎng)絡(luò)位置和道路類型，SD地圖還可以提供更豐富的先驗(yàn)信息。例如，OpenStreetMap提供了諸如車道數(shù)量、車道方向和道路拓?fù)潢P(guān)系等額外信息。未來(lái)的研究可以嘗試將這些多樣的信息整合為SD地圖先驗(yàn)，以進(jìn)一步增強(qiáng)局部地圖感知模型的魯棒性和準(zhǔn)確性。

結(jié)論

本文回顧了使用SD地圖進(jìn)行局部地圖構(gòu)建的文獻(xiàn)，突出顯示了SD地圖在這一任務(wù)中的關(guān)鍵作用。介紹了使用SD地圖進(jìn)行局部地圖構(gòu)建的定義和核心方面，展示了其在開發(fā)準(zhǔn)確和可靠地圖中的重要性。列舉了常用的公共數(shù)據(jù)集及其相應(yīng)的評(píng)估指標(biāo)。

總結(jié)了領(lǐng)先技術(shù)方法的主要流程，重點(diǎn)關(guān)注了來(lái)自不同傳感器（如激光雷達(dá)、相機(jī)和雷達(dá)）數(shù)據(jù)的表示和編碼方法。探索了多源傳感器數(shù)據(jù)集成的先進(jìn)融合技術(shù)及其各自的優(yōu)缺點(diǎn)。

討論了局部地圖構(gòu)建模型的評(píng)估前景和設(shè)計(jì)趨勢(shì)，包括解決新興挑戰(zhàn)，例如改進(jìn)SD地圖與BEV視角的對(duì)齊和增強(qiáng)編碼及處理方法。考慮了整合詳細(xì)SD地圖先驗(yàn)信息以建模道路拓?fù)潢P(guān)系的潛力，旨在提高場(chǎng)景理解能力并支持高級(jí)自動(dòng)駕駛?cè)蝿?wù)。