性能爆炸!最新MapEX:大幅超過現(xiàn)有所有SOTA,無圖感知要來了???
本文經(jīng)自動駕駛之心公眾號授權(quán)轉(zhuǎn)載,轉(zhuǎn)載請聯(lián)系出處。
寫在前面&筆者的個人理解
看完這篇文章,會有一種無圖感知到頭了的錯覺???剛剛出爐的MapEX,迫不及待的吸取了一波文章精華,順便分享給大家。MapEX的核心是利用歷史存儲的地圖信息,優(yōu)化當(dāng)前局部高精地圖的構(gòu)建,歷史地圖可以是只有一些簡單的地圖元素(例如道路邊界)、也可是是帶噪聲的地圖(比如每個地圖元素偏移5m)、也可以是舊的地圖(例如只有一小部分地圖元素能與當(dāng)前場景對齊)。顯而易見,這些歷史的地圖信息對當(dāng)下的局部高精地圖構(gòu)建都是有用的,因此也引出了本文的核心,即如何使用???具體來說,MapEX基于MapTRv2構(gòu)建,這些歷史地圖信息可以編碼為一系列的query和原始的query拼接起來,進(jìn)一步由解碼器輸出預(yù)測結(jié)果。文章還是非常有意思的~
論文整體概覽
傳感器的在線高精地圖(HDMap)估計為傳統(tǒng)手動獲取HDMap提供了一種低成本的替代方案。因此,它有望降低已經(jīng)依賴HDMap的自動駕駛系統(tǒng)的成本,甚至有可能將其應(yīng)用于新系統(tǒng)。
本文建議通過考慮現(xiàn)有地圖來改進(jìn)在線HDMap估計。主要確定了三種合理類型的現(xiàn)有地圖(簡單地圖、帶噪和老的地圖)。此外本文還介紹了MapEX,這是一個新的在線HDMap構(gòu)建框架,用于感知現(xiàn)有的地圖。MapEX通過將地圖元素編碼為query,并通過改進(jìn)用于訓(xùn)練經(jīng)典的基于查詢的地圖估計模型的匹配算法來實現(xiàn)這一點。
文章最后展示了MapEX對nuScenes數(shù)據(jù)集的顯著改進(jìn)。例如,MapEX(給定有噪聲的地圖)比MapTRv2檢測提高了38%,比當(dāng)前的SOTA提高了16%。
總結(jié)來說,MapEX的主要貢獻(xiàn)如下:
- 根據(jù)傳感器數(shù)據(jù)估計在線HDMaps時考慮現(xiàn)有地圖信息;
- 討論了現(xiàn)有地圖不完整的合理情況。我們還為nuScenes數(shù)據(jù)集提供了這些場景的實際實現(xiàn)和代碼;
- 介紹了MapEX,這是一種新的基于query的HDMap獲取方案,在從傳感器估計在線HDMap時,可以結(jié)合地圖信息。特別是在MapEX中引入了一種將現(xiàn)有地圖信息與現(xiàn)有(EX)查詢結(jié)合起來的新方法,以及一種通過在訓(xùn)練過程中將預(yù)測預(yù)先歸因于GT來幫助模型學(xué)習(xí)利用這些信息的方法。
在線局部高精地圖構(gòu)建工作回顧
我們在這里提供了一些關(guān)于自動駕駛中HDMaps的簡要概述。首先討論HDMap在軌跡預(yù)測中的應(yīng)用,然后再討論它們的獲取。最后討論在線HDMap構(gòu)建本身。
用于軌跡預(yù)測的HDMaps:自動駕駛通常需要大量關(guān)于車輛導(dǎo)航世界的信息。這些信息通常嵌入到豐富的HDMaps中,作為修改神經(jīng)網(wǎng)絡(luò)的輸入。HDMaps已被證明對軌跡預(yù)測的性能至關(guān)重要。特別是在軌跡預(yù)測中,一些方法明確地基于HDMap的表示,因此絕對需要訪問HDMap。
HDMap獲取和維護(hù):傳統(tǒng)HDMap的獲取和維護(hù)成本高昂。雖然預(yù)測中使用的HDMaps只是一個簡化版本,包含地圖元素(車道分隔符、道路邊界等),并在完整的HDMaps中提供了許多復(fù)雜信息,但它們?nèi)匀恍枰浅>_的測量。因此,許多公司一直在朝著不那么嚴(yán)格的中清晰度地圖(MDMaps)標(biāo)準(zhǔn)發(fā)展,甚至朝著導(dǎo)航地圖(谷歌地圖、SDMaps)發(fā)展。至關(guān)重要的是,具有幾米精度的MDMap將是現(xiàn)有地圖的一個很好的例子,為在線HDMap生成過程提供有價值的信息。我們的地圖場景2a探討了這種情況的近似情況。
傳感器的在線HDMap構(gòu)建:因此在線HDMap構(gòu)建已成為輕圖/無圖感知的核心。雖然一些工作側(cè)重于預(yù)測虛擬地圖元素,即車道中心線,但也有一些工作側(cè)重于更具視覺識別性的地圖元素:車道分隔符、道路邊界和人行橫道??赡苁且驗橐曈X元素更容易被傳感器檢測到,后一種方案在過去一年中取得了快速進(jìn)展。有趣的是,最新的這種方法—Map-TRv2確實為檢測實際車道中心線提供了一個輔助設(shè)置。這表明向更復(fù)雜的方案收斂,包括大量額外的地圖元素(紅綠燈等)。
本文的工作與通常研究的變化檢測問題相似,這些問題旨在檢測地圖中的變化(例如交叉點)。MapEX的目標(biāo)是在現(xiàn)有的(可能非常不同的)地圖的幫助下生成準(zhǔn)確的在線HDMap,這是為當(dāng)下在線HDMap構(gòu)建問題而實現(xiàn)的。因此,我們不僅糾正了地圖中的小錯誤,而且提出了一個更具表現(xiàn)力的框架,以適應(yīng)任何變化(例如扭曲的線條、非常嘈雜的元素)。
我們可以使用什么樣的現(xiàn)有地圖?
我們的核心主張是,利用現(xiàn)有地圖將有利于在線HDMaps構(gòu)建。我們認(rèn)為,在許多合理的情況下,不完美的地圖可能會出現(xiàn)。
在線HDMap表示
我們采用了傳感器在線生成HDMaps的標(biāo)準(zhǔn)格式:我們認(rèn)為HDMaps由3種類型的多段線、道路邊界、車道分隔帶和人行橫道組成,顏色分別與之前的綠色、石灰色和藍(lán)色相同,如圖2a所示。
雖然真正的HDMaps要復(fù)雜得多,并且已經(jīng)提出了更復(fù)雜的表示,但這項工作的目的是研究如何解釋現(xiàn)有的地圖信息。因此,我們使用研究最多的范式。本文的工作將直接適用于更多地圖元素、更細(xì)的polylines或柵格化目標(biāo)的預(yù)測。
MapModEX:模擬不完美的地圖
由于為標(biāo)準(zhǔn)地圖采集既昂貴又耗時,我們從現(xiàn)有的HDMaps中綜合生成了不精確的地圖。
為此我們開發(fā)了MapModEX,一個獨(dú)立的地圖修改庫。它獲取nuScenes地圖文件和樣本記錄,并為每個樣本輸出ego車輛周圍給定補(bǔ)丁中的人行道、邊界和人行橫道的多段線坐標(biāo)。重要的是,MapModEX提供了修改這些多段線以反映各種修改的能力:刪除地圖元素、添加、移動人行橫道、向點坐標(biāo)添加噪波、地圖移動、地圖旋轉(zhuǎn)和地圖扭曲。MapModEX將在發(fā)布后提供,以便于進(jìn)一步重新搜索,將現(xiàn)有地圖納入傳感器的在線HDMap采集中。
我們使用MapModEX包實現(xiàn)了三個具有挑戰(zhàn)性的場景,如下所述,為每個樣本生成場景2和3的10個變體(場景1只允許一個變體)。我們選擇使用一組固定的修改地圖,以降低訓(xùn)練期間的成本,并反映可能只有有限數(shù)量的地圖變體可用的真實情況。
場景1:只有邊界可用
第一種情況是只有一個粗糙的HDMap(沒有分隔帶和人行橫道)可用,如圖2b所示。道路邊界通常與3D物理地標(biāo)(如人行道邊緣)相關(guān),而人行道和人行橫道通常由更容易錯過的平面標(biāo)記表示。此外,人行橫道和車道分隔帶通常因建筑工程或道路偏差而被丟棄,甚至部分被輪胎軌道隱藏。
因此,使用只有邊界的HDMaps是合理的。這樣做的好處是,只需要求標(biāo)注道路約束,就可以降低標(biāo)注的成本。此外,只定位道路邊界可能需要較少的精確設(shè)備和更新。實施從實際的角度來看,場景1的實施很簡單:我們從可用的HDMaps中刪除了分隔帶和人行橫道。
場景2:帶噪地圖
第二種可能的情況是,我們只有非常嘈雜的地圖,如圖2c所示。現(xiàn)有HDMaps的一個弱點是需要高精度(大約幾厘米),這給它們的獲取和維護(hù)帶來了巨大的壓力[11]。事實上,HDMaps和新興的MDMaps標(biāo)準(zhǔn)之間的一個關(guān)鍵區(qū)別在于較低的精度(幾厘米和幾米)。
因此,我們建議使用嘈雜的HDMaps來模擬不太精確的地圖可能是由于更便宜的獲取過程或改用MDMaps標(biāo)準(zhǔn)而導(dǎo)致的情況。更有趣的是,這些不太精確的地圖可以從傳感器數(shù)據(jù)中自動獲得。盡管像MapTRv2這樣的方法已經(jīng)達(dá)到了非常令人印象深刻的性能,但它們還不是完全精確的:即使有非常靈活的檢索閾值,預(yù)測的精度也遠(yuǎn)低于80%。
實現(xiàn):我們提出了這些有噪聲的HDMaps的兩種可能的實現(xiàn)方式,以反映我們可能缺乏精度的各種條件。在第一個場景2a中,我們提出了一個偏移噪聲設(shè)置,其中對于每個地圖元素定位,我們添加來自高斯分布的噪聲,其標(biāo)準(zhǔn)偏差為1米。這具有對每個地圖元素(分隔符、邊界、人行橫道)應(yīng)用統(tǒng)一平移的效果。這樣的設(shè)置應(yīng)該很好地近似于人工標(biāo)注從嘈雜數(shù)據(jù)中快速提供不精確標(biāo)注的情況。我們選擇了1米的標(biāo)準(zhǔn)偏差來反映精確到幾米的MDMaps標(biāo)準(zhǔn)。
然后,我們用一個極具挑戰(zhàn)性的逐點噪聲場景2b來測試我們的方法:對于每個地面實況點——記住,一個地圖元素由20個這樣的點組成——我們從標(biāo)準(zhǔn)偏差為5米的高斯分布中采樣噪聲,并將其添加到點坐標(biāo)中。這提供了地圖自動獲取或提供非常不精確定位的情況的最壞情況近似。
場景3:地圖發(fā)生了實質(zhì)性變化
我們考慮的最后一種情況是,我們可以訪問過去準(zhǔn)確的舊地圖(見圖2d)。人行橫道等油漆標(biāo)記不時發(fā)生位移是相當(dāng)常見的。此外,城市對一些有問題的十字路口進(jìn)行實質(zhì)性改造或翻新區(qū)域,以適應(yīng)新景點帶來的交通量增加。
因此,使用HDMaps是很有趣的,它們本身是有效的,但在很大程度上與實際的HDMaps不同。當(dāng)HDMaps只由維護(hù)人員每隔幾年更新一次以降低成本時,這些地圖應(yīng)該經(jīng)常出現(xiàn)。在這種情況下,現(xiàn)有地圖仍將提供一些關(guān)于世界的信息,但可能不會反映暫時或最近的變化。
實現(xiàn):我們通過在場景3a中對現(xiàn)有HDMaps進(jìn)行強(qiáng)有力的更改來近似這一點。我們刪除了地圖中50%的人行橫道和車道分隔線,添加了一些人行橫道(剩余人行橫道的一半),最后對地圖應(yīng)用了一個小的扭曲變形。
然而,重要的是要注意,隨著時間的推移,全球地圖的很大一部分將保持不變。在我們的場景3b中,我們對此進(jìn)行了計數(shù),其中我們研究了隨機(jī)選擇(概率p=0.5)來考慮真實HDMap而不是擾動版本的影響。
MapEX:利用現(xiàn)有地圖
為此我們提出了MapEX(見圖3),這是一種在線HDMap構(gòu)建的新框架。它遵循標(biāo)準(zhǔn)的基于查詢的在線HDMap構(gòu)建范式,并通過兩個關(guān)鍵模塊處理現(xiàn)有地圖信息:地圖查詢編碼模塊和預(yù)測及GT的預(yù)歸因方案。本文基于MapTRv2搭建baseline。
概覽
基于查詢的核心通過圖3中的灰色元素顯示。它首先獲取傳感器輸入(相機(jī)或激光雷達(dá)),并將其編碼為鳥瞰圖(BEV)表示,作為傳感器特征。使用類似DETR的檢測方案來檢測地圖元素(最多N個)來獲得地圖本身。這是通過將N×L個學(xué)習(xí)的查詢令牌(N是檢測到的元素的最大數(shù)量,L是為元素預(yù)測的點數(shù))傳遞到Transformer解碼器中來實現(xiàn)的,該Transformer解碼器使用與BEV特征的交叉注意力將傳感器信息饋送到查詢令牌。然后,通過線性層將解編碼的查詢與類預(yù)測(包括額外的背景類)一起轉(zhuǎn)換為地圖元素坐標(biāo),使得L個查詢組表示地圖元素的L個點(本文中L=20)。訓(xùn)練是通過使用匈牙利算法的一些變體匹配預(yù)測地圖元素和GT地圖元素來完成的。一旦匹配,使用回歸(對于坐標(biāo))和分類(對于元素類別)損失,對模型進(jìn)行優(yōu)化,以使預(yù)測的地圖元素與其響應(yīng)的GT相匹配。
但是這個框架無法解釋現(xiàn)有的地圖,這需要在兩個關(guān)鍵級別引入新的模塊。在查詢級別,我們將地圖元素編碼為不可學(xué)習(xí)的EX查詢。在匹配級別,我們預(yù)先將查詢屬性為它們所代表的GT地圖元素。
完整的MapEX框架(如圖3所示)將現(xiàn)有的地圖元素轉(zhuǎn)換為不可學(xué)習(xí)的地圖查詢,并添加可學(xué)習(xí)的查詢,以達(dá)到一定數(shù)量的查詢N×L。然后,將這組完整的查詢傳遞給Transformer解碼器,并像往常一樣通過線性層轉(zhuǎn)換為預(yù)測。在訓(xùn)練時,我們的歸因模型將一些預(yù)測與GT進(jìn)行預(yù)匹配,其余預(yù)測使用匈牙利匹配進(jìn)行正常匹配。在測試時,解碼的非背景查詢產(chǎn)生HDMap表示。
將地圖轉(zhuǎn)換為EX查詢
目前的在線HDMap構(gòu)建框架中沒有機(jī)制來解釋現(xiàn)有的地圖信息。因此,我們需要設(shè)計一個新的方案,可以將現(xiàn)有的地圖翻譯成標(biāo)準(zhǔn)的基于查詢的在線HDMap構(gòu)建框架可以理解的形式。我們使用MapEX提出了一種簡單的方法,將現(xiàn)有的地圖元素編碼為解碼器的EX查詢,如圖4所示。
對于給定的地圖元素,我們提取L個等距點,其中L是我們?yōu)槿魏蔚貓D元素尋求預(yù)測的點的數(shù)量。對于每個點,我們制作一個EX查詢,該查詢在前2個維度中編碼其地圖坐標(biāo)(x,y),在接下來的3個維度中對地圖元素類(分隔符、交叉點或邊界)進(jìn)行一次性編碼。EX查詢的其余部分用0填充,以達(dá)到解碼器架構(gòu)使用的標(biāo)準(zhǔn)查詢大小。
雖然這種查詢設(shè)計非常簡單,但它提供了直接編碼感興趣的信息(點坐標(biāo)和元素類)和最大限度地減少與已學(xué)習(xí)查詢的沖突的關(guān)鍵好處(得益于豐富的0填充)。
一旦我們有了L個查詢的集合(對于現(xiàn)有地圖中的地圖元素),可以從標(biāo)準(zhǔn)可學(xué)習(xí)查詢池中檢索()個L個分類可學(xué)習(xí)查詢集合。然后,按照本文的方法,將生成的N×L個查詢提供給解碼器:在MapTR中,N×L查詢被視為獨(dú)立查詢,而MapTRv2使用更有效的解耦注意力方案,將同一地圖元素的查詢分組在一起。在從查詢中預(yù)測地圖元素后,可以直接在測試時使用,也可以將它們與訓(xùn)練的GT相匹配。
地圖元素歸屬
雖然EX查詢引入了一種解釋現(xiàn)有地圖信息的方法,但沒有什么能確保模型正確使用這些查詢來估計相應(yīng)的元素。事實上,如果單獨(dú)使用,網(wǎng)絡(luò)甚至無法識別完全準(zhǔn)確的EX查詢。因此,我們在訓(xùn)練中使用傳統(tǒng)的匈牙利匹配之前引入了預(yù)測和GT元素的預(yù)歸因,如圖3所示。
簡單地說,我們跟蹤修改后的地圖中的每個地圖元素,它們對應(yīng)于哪個GT地圖元素:如果地圖元素未修改、偏移或扭曲,我們可以將其與真實地圖中的原始地圖元素聯(lián)系起來。為了確保模型學(xué)會只使用有用的信息,我們只在修改后的地圖元素和真實地圖元素之間的平均逐點位移得分時保持匹配:
給定GT和預(yù)先預(yù)測的地圖元素之間的對應(yīng)關(guān)系,我們可以從要匹配的元素池中移除預(yù)先歸因的地圖元素。然后,按照慣例,使用匈牙利算法的一些變體來匹配剩余的地圖元素(預(yù)測和GT)。因此,匈牙利匹配步驟只需要識別哪些EX查詢對應(yīng)于不存在的添加地圖元素,并找到適合真實地圖中不存在的一些真實地圖元素的標(biāo)準(zhǔn)學(xué)習(xí)查詢(由于刪除或強(qiáng)烈擾動)。
減少匈牙利算法必須處理的元素數(shù)量很重要,因為即使是最有效的變體也具有立方復(fù)雜度()[8]。這并不是目前大多數(shù)在線HDMap獲取方法的主要弱點,因為預(yù)測的地圖很?。?0m×60m),并且只預(yù)測了三種類型的地圖元素。然而,隨著在線地圖生成的進(jìn)一步發(fā)展,隨著預(yù)測地圖變得更大和更完整,有必要容納越來越多的地圖元素。
實驗結(jié)果
設(shè)置:我們在nuScenes數(shù)據(jù)集上評估了MapEX框架,因為它是在線HDMap估計的標(biāo)準(zhǔn)評估數(shù)據(jù)集。我們基于MapTRv2框架和官方代碼庫。按照通常的做法,我們報告了三種地圖元素類型(divider, boundary, crossing)在不同檢索閾值(0.5米、1.0米和1.5米的倒角距離)下的平均精度,以及三個類別的mAP。
對于每個實驗,使用三個固定的隨機(jī)種子進(jìn)行3次實驗。重要的是,對于給定的種子和地圖場景組合,在驗證期間提供的現(xiàn)有地圖數(shù)據(jù)是固定的,以便于比較。為了保持一致性,我們將結(jié)果報告為平均值±標(biāo)準(zhǔn)差,即使標(biāo)準(zhǔn)偏差超過該精度,也可以精確到小數(shù)點。
MapEX的性能
我們在表2中提供了相關(guān)方法的比較,以及MapEX的性能:沒有l(wèi)ane divider或人行橫道的地圖(S1)、有噪聲的地圖(S2a用于偏移的地圖元素,S2b用于強(qiáng)逐點噪聲)和大幅度變化的地圖(S3a僅包含這些地圖,S3b包含混合的真實地圖)。我們將MapEX的性能與現(xiàn)有在線HDMap在可比設(shè)置(相機(jī)輸入、CNN主干)上的評估進(jìn)行了詳盡的比較,并與當(dāng)前最先進(jìn)的技術(shù)(使用了更多的資源)進(jìn)行了比較。
首先,從表2中可以清楚地看出,任何類型的現(xiàn)有地圖信息都會使MapEX在可比設(shè)置方面顯著優(yōu)于現(xiàn)有文獻(xiàn),而不考慮所考慮的場景。在除一種情況外的所有情況下,現(xiàn)有的地圖信息甚至允許MapEX比當(dāng)前最先進(jìn)的MapTRv2模型執(zhí)行得更好,該模型使用在廣泛的深度估計數(shù)據(jù)集上預(yù)訓(xùn)練的大型ViT主干在四倍多的時期內(nèi)訓(xùn)練。即使是具有不精確地圖元素定位的相當(dāng)保守的S2a場景也會得到11.4mAP分?jǐn)?shù)的提高(即16%)。
在所有場景中,我們都觀察到在所有4個指標(biāo)上對基本MapTRv2模型的一致改進(jìn)??梢岳斫?,場景3b(一半時間使用準(zhǔn)確的現(xiàn)有地圖)在很大程度上產(chǎn)生了最佳的整體性能,從而展示了識別和利用完全準(zhǔn)確的現(xiàn)有圖的強(qiáng)大能力。場景2a(具有偏移的地圖元素)和場景3a(具有“過時”的地圖元素”)都提供了非常強(qiáng)大的整體性能,所有三種類型的地圖元素都具有良好的性能。場景1中只有道路邊界可用,由于其(預(yù)期的)非常強(qiáng)大的邊界檢索,顯示出巨大的mAP收益。即使在極具挑戰(zhàn)性的場景2b中,將標(biāo)準(zhǔn)偏差為5米的高斯噪聲應(yīng)用于每個地圖元素點,也會在基本模型上獲得顯著的增益,并且對分隔符和邊界具有特別好的檢索性能。
MapEX帶來的改進(jìn)
我們現(xiàn)在更具體地關(guān)注現(xiàn)有地圖信息給MapEX帶來的改進(jìn)。作為參考,我們將MapEX增益與其他附加信息來源帶來的增益進(jìn)行了比較:具有全局學(xué)習(xí)特征圖的Neural Map Prior、地圖,以及使用地理本地化SDMaps的P-MapNet。重要的是,MapModEX依賴于比這些方法更強(qiáng)的基礎(chǔ)模型。雖然這使得在基礎(chǔ)模型的基礎(chǔ)上更難改進(jìn),但也更容易獲得高分。為了避免擁有不公平的優(yōu)勢,表3中提供了絕對得分。
我們從表3中看到,使用MapEX的任何類型的現(xiàn)有地圖都會導(dǎo)致比任何其他額外信息來源(包括更復(fù)雜的P-MapNet設(shè)置)更大的整體mAP增益。我們觀察到該模型在車道分隔器和道路邊界上的檢測性能都有很大的改進(jìn)。一個輕微的例子是場景1(只能訪問道路邊界),其中模型成功地保留了邊界上的地圖信息,但只在沒有先前信息的兩個地圖元素上提供了與以前方法相當(dāng)?shù)母倪M(jìn)。人行橫道似乎需要從現(xiàn)有地圖中獲得更精確的信息,因為場景1和場景2b(對每個地圖點施加極具破壞性的噪聲)只能提供與現(xiàn)有技術(shù)相當(dāng)?shù)母倪M(jìn)。場景2a(元素發(fā)生了變化)和場景3a(地圖“過時”)導(dǎo)致人行橫道的檢測得分很高,這可能是因為這兩個場景包含了更精確的人行橫街信息。
消融實驗
MapEX輸入的貢獻(xiàn)
表4顯示了不同類型的輸入(現(xiàn)有地圖、地圖元素對應(yīng)關(guān)系和傳感器輸入)如何影響MapEX?,F(xiàn)有地圖大大提高了性能。
關(guān)于EX查詢編碼
表5顯示,學(xué)習(xí)后的EX查詢比我們簡單的不可學(xué)習(xí)的EX查詢執(zhí)行得差得多。有趣的是,用不可學(xué)習(xí)的值初始化可學(xué)習(xí)的EX查詢可能會帶來非常小的改進(jìn),無法證明增加的復(fù)雜性是合理的。
On ground truth attribution
由于預(yù)先確定地圖元素的屬性對于充分使用現(xiàn)有地圖信息很重要,因此可能很容易對所有相應(yīng)的地圖元素進(jìn)行預(yù)先確定屬性,而不是像在MapEX中那樣對其進(jìn)行過濾。表6顯示,當(dāng)現(xiàn)有地圖元素差異太大時,丟棄對應(yīng)關(guān)系確實會比不加區(qū)分的歸因帶來更強(qiáng)的性能。本質(zhì)上,這表明當(dāng)現(xiàn)有地圖元素與基本事實相差太大時,MapEX最好使用可學(xué)習(xí)的查詢,而不是EX查詢。
討論
本文建議利用現(xiàn)有地圖來改進(jìn)在線HDMap構(gòu)建。為了研究這一點,作者概述了現(xiàn)有(簡單地圖、帶噪或過時)地圖可用的三種現(xiàn)實場景,并引入了一個新的MapEX框架來利用這些地圖。由于當(dāng)前框架中沒有考慮現(xiàn)有地圖的機(jī)制,我們開發(fā)了兩個新模塊:一個將地圖元素編碼到EX查詢中,另一個確保模型利用這些查詢。
實驗結(jié)果表明,現(xiàn)有地圖代表了在線HDMap構(gòu)建的關(guān)鍵信息,無論在何種情況下,MapEX都顯著改進(jìn)了可比較的方法。事實上,就mAP而言——具有隨機(jī)移動地圖元素的場景2a——在基本MapTRv2模型的基礎(chǔ)上改進(jìn)了38%,在當(dāng)前最先進(jìn)的基礎(chǔ)上提高了16%。
我們希望這項工作將引導(dǎo)新的在線HDMap構(gòu)建方法來解釋現(xiàn)有信息。現(xiàn)有的地圖,無論好壞,都可以廣泛使用。忽略它們就是放棄了在搜索可靠的在線HDMap構(gòu)建時的一個關(guān)鍵工具。
原文鏈接:https://mp.weixin.qq.com/s/FMosLZ2VJVRyeCOzKl-GLw