本文經(jīng)自動駕駛之心公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

原標(biāo)題：Producing and Leveraging Online Map Uncertainty in Trajectory Prediction

論文鏈接：https://arxiv.org/pdf/2403.16439.pdf

代碼鏈接：https://github.com/alfredgu001324/MapUncertaintyPrediction

作者單位：多倫多大學(xué) Vector Institute NVIDIA Research 斯坦福大學(xué)

論文思路：

高精（HD）地圖在現(xiàn)代自動駕駛汽車（AV）技術(shù)棧的發(fā)展中扮演了不可或缺的角色，盡管與此相關(guān)的標(biāo)注和維護(hù)成本很高。因此，許多近期的工作提出了從傳感器數(shù)據(jù)在線估計HD地圖的方法，使自動駕駛汽車能夠在先前繪制的區(qū)域(previously-mapped)之外運(yùn)行。然而，當(dāng)前的在線地圖估計方法是獨(dú)立于其下游任務(wù)開發(fā)的，這使得它們在自動駕駛技術(shù)棧中的整合變得復(fù)雜。特別是，它們不生成不確定性或置信度估計。本文擴(kuò)展了多個最先進(jìn)的在線地圖估計方法，使其能夠額外估計不確定性，并展示了這如何使在線建圖與軌跡預(yù)測更緊密地整合1。在此過程中，本文發(fā)現(xiàn)納入不確定性可以使訓(xùn)練收斂速度提高多達(dá)50%，并且在真實(shí)世界的nuScenes駕駛數(shù)據(jù)集上的預(yù)測性能提高多達(dá)15%。

主要貢獻(xiàn)：

本文提出了一個通用的矢量化地圖不確定性表述，并擴(kuò)展了多個最先進(jìn)的在線地圖估計方法，使其額外輸出不確定性估計，而不會降低純建圖性能。

本文通過實(shí)證分析潛在的地圖不確定性來源，確認(rèn)了當(dāng)前地圖估計方法缺乏置信度的地方，并為未來的研究方向提供了信息。

本文將許多近期的在線地圖估計模型與多個最先進(jìn)的軌跡預(yù)測方法相結(jié)合，并展示了如何通過納入在線建圖不確定性顯著提高下游預(yù)測模型的性能和訓(xùn)練特性，加速訓(xùn)練收斂速度高達(dá)50%，并提高在線預(yù)測準(zhǔn)確性多達(dá)15%。

網(wǎng)絡(luò)設(shè)計：

自動駕駛的一個關(guān)鍵組成部分是理解靜態(tài)環(huán)境，例如，圍繞自動駕駛汽車（AV）的道路布局和連通性。因此，已經(jīng)開發(fā)出高精（HD）地圖來捕捉和提供此類信息，包含了道路邊界、車道分隔線以及厘米級別的道路標(biāo)記等語義信息。近年來，HD地圖已被證明對于自動駕駛汽車的開發(fā)和部署是不可或缺的，今天已被廣泛使用[35]。然而，HD地圖的標(biāo)注和長期維護(hù)成本高昂，并且它們只能在地理圍欄區(qū)域(geofenced areas)使用，這限制了自動駕駛汽車的可擴(kuò)展性(scalability)。

為了解決這些問題，許多近期的研究轉(zhuǎn)向從傳感器數(shù)據(jù)在線估計高精（HD）地圖。廣義上，它們的目標(biāo)是預(yù)測地圖元素的位置和類別，通常以多邊形或折線的形式，全部來源于相機(jī)圖像和激光雷達(dá)（LiDAR）掃描。然而，當(dāng)前的在線地圖估計方法并未產(chǎn)生任何相關(guān)的不確定性或置信度信息。這是有問題的，因為它導(dǎo)致下游使用者(consumers)隱含地假設(shè)推斷出的地圖組件是確定的，任何建圖錯誤（例如，地圖元素的移動或放置不正確）可能導(dǎo)致錯誤的下游行為。為此，本文提出揭示在線地圖估計方法中的地圖不確定性，并將其納入下游模塊中。具體來說，本文將地圖不確定性納入軌跡預(yù)測，并發(fā)現(xiàn)在結(jié)合了地圖不確定性的 mapper-predictor 系統(tǒng)中（圖1）與那些沒有結(jié)合地圖不確定性的系統(tǒng)相比，性能有顯著提升。

圖1. 從在線高精（HD）地圖估計方法中產(chǎn)生不確定性，并將其納入下游模塊中，帶來了多種好處。左圖：真實(shí)的HD地圖和代理位置。中圖：使用MapTR[22]輸出地圖的HiVT[41]預(yù)測。右圖：使用MapTR[22]輸出的地圖以及增加了點(diǎn)不確定性（由于左側(cè)道路邊界被停放的車輛遮擋，不確定性較大）的HiVT[41]預(yù)測。

圖2. 許多在線高精矢量地圖估計方法通過編碼多攝像機(jī)圖像，將它們轉(zhuǎn)換到一個共同的鳥瞰圖（BEV）特征空間，并回歸地圖元素的頂點(diǎn)來運(yùn)作。本文的工作通過增加一個概率回歸頭來增強(qiáng)這種常見的輸出結(jié)構(gòu)，將每個地圖頂點(diǎn)建模為拉普拉斯分布。為了評估由此產(chǎn)生的下游效應(yīng)，本文進(jìn)一步擴(kuò)展了下游預(yù)測模型以編碼地圖不確定性，增強(qiáng)了基于圖神經(jīng)網(wǎng)絡(luò)（GNN）和基于 Transformer 的地圖編碼器。

實(shí)驗結(jié)果：

圖3. 本文提出的不確定性表述能夠捕捉由于自動駕駛車輛（AV）的攝像頭與周圍地圖元素之間的遮擋而產(chǎn)生的不確定性。左圖：前方和前右方攝像頭的圖像。右圖：本文增強(qiáng)的在線高精地圖模型生成的HD地圖。橢圓表示分布的標(biāo)準(zhǔn)差。顏色代表道路邊界、車道分隔線、人行橫道和車道中心線。

圖4. 在一個密集的停車場中，許多模型未能生成準(zhǔn)確的地圖。左圖：后方和后左方攝像頭的圖像。右圖：本文增強(qiáng)的在線高精地圖模型生成的HD地圖。橢圓展示了分布的標(biāo)準(zhǔn)差。顏色代表道路邊界、車道分隔線、人行橫道和車道中心線。

總結(jié)：

本文提出了一個通用的矢量化地圖不確定性公式，并擴(kuò)展了多種最新的在線地圖估計方法，包括MapTR [22]、MapTRv2 [23]和StreamMapNet [38]，使它們能夠額外輸出不確定性。本文系統(tǒng)地分析了產(chǎn)生的不確定性，并發(fā)現(xiàn)本文的方法捕捉到了許多不確定性來源（遮擋、與攝像頭的距離、一天中的時間和天氣）。最后，本文將這些在線地圖估計模型與最新的軌跡預(yù)測方法（DenseTNT [13]和HiVT [41]）結(jié)合起來，并展示了結(jié)合在線地圖不確定性顯著提高了預(yù)測模型的性能和訓(xùn)練特性，分別高達(dá)15%和50%。一個激動人心的未來研究方向是利用這些不確定性輸出來衡量地圖模型的校準(zhǔn)度（類似于[16]）。然而，這一任務(wù)因需要進(jìn)行模糊點(diǎn)集匹配而變得復(fù)雜，這本身就是一個具有挑戰(zhàn)性的問題。

引用：

Gu X, Song G, Gilitschenski I, et al. Producing and Leveraging Online Map Uncertainty in Trajectory Prediction[J]. arXiv preprint arXiv:2403.16439, 2024.