本文經(jīng)自動(dòng)駕駛之心公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

寫(xiě)在前面&筆者的個(gè)人理解

大家好，很開(kāi)心能夠受邀來(lái)到自動(dòng)駕駛之心分享我們的在線重建矢量化高精度地圖的抗擾動(dòng)方法ADMap。我們的代碼已經(jīng)發(fā)布在https://github.com/hht1996ok/ADMap

在自動(dòng)駕駛領(lǐng)域，在線高清地圖重建對(duì)于規(guī)劃和預(yù)測(cè)任務(wù)具有重要意義，近期的工作構(gòu)建了許多高性能的高清地圖重建模型來(lái)滿足這一需求。然而矢量化實(shí)例內(nèi)部的點(diǎn)序由于預(yù)測(cè)偏差可能會(huì)出現(xiàn)抖動(dòng)或鋸齒現(xiàn)象，從而影響后續(xù)任務(wù)。因此，我們提出了Anti-Disturbance Map reconstruction framework（ADMap）。本文希望兼顧模型速度和整體的精度，并且在部署時(shí)不會(huì)讓工程師們感到困擾。因此，提出了三個(gè)高效且有效的模塊：Multi-Scale Perception Neck(MPN)、Instance Interactive Attention(IIA)和Vector Direction Difference Loss(VDDL)。通過(guò)級(jí)聯(lián)的探索實(shí)例間和實(shí)例內(nèi)部的點(diǎn)序關(guān)系，我們的模型更好地監(jiān)督了點(diǎn)序的預(yù)測(cè)過(guò)程。

我們?cè)趎uScenes和Argoverse2中驗(yàn)證了ADMap的有效性。實(shí)現(xiàn)結(jié)果表明，其在各基準(zhǔn)中均取得最佳性能。nuScenes基準(zhǔn)中，ADMap在camera-only框架下和多模態(tài)框架下的mAP相較基準(zhǔn)分別提高4.2%和5.5%。ADMapv2不僅減少了推理延遲，還有效提高了基線性能，其最高mAP達(dá)到了82.8%。在Argoverse中ADMapv2的mAP提高為62.9%，同時(shí)還保持了14.8FPS。

總結(jié)來(lái)說(shuō)，我們提出的ADMap主要有以下幾點(diǎn)貢獻(xiàn)：

• 提出了端到端的ADMap，重建了更穩(wěn)定的矢量化高精地圖。
• MPN在不增加推理資源的情況下更好的捕捉了多尺度信息，IIA完成了實(shí)例間和實(shí)例內(nèi)部的有效交互，使點(diǎn)級(jí)特征更準(zhǔn)確，VDDL更細(xì)致的約束了點(diǎn)序重建過(guò)程，在點(diǎn)序的幾何關(guān)系上進(jìn)行監(jiān)督。
• ADMap實(shí)現(xiàn)了矢量化高精地圖的實(shí)時(shí)重建，并且在nuScenes基準(zhǔn)和Argoverse2中達(dá)到了最高精度。

方法提出

如圖1所示，實(shí)例中的預(yù)測(cè)點(diǎn)往往會(huì)不可避免的出現(xiàn)抖動(dòng)或偏移現(xiàn)象，這種抖動(dòng)會(huì)導(dǎo)致重建后的實(shí)例矢量變得不平滑或鋸齒狀，嚴(yán)重影響了在線高精地圖的質(zhì)量和實(shí)用性。我們認(rèn)為，其原因在于現(xiàn)有模型并未充分考慮實(shí)例間和實(shí)例內(nèi)部的交互方式，實(shí)例點(diǎn)與地圖拓?fù)湫畔⒉煌耆慕换?huì)導(dǎo)致其預(yù)測(cè)位置的不準(zhǔn)。此外僅通過(guò)L1 loss和cosine embedding loss等監(jiān)督無(wú)法有效的利用幾何關(guān)系來(lái)約束實(shí)例點(diǎn)的預(yù)測(cè)過(guò)程，網(wǎng)絡(luò)需要利用各點(diǎn)間的矢量線段來(lái)精細(xì)捕捉點(diǎn)序的方向信息以更準(zhǔn)確的約束每個(gè)點(diǎn)的預(yù)測(cè)過(guò)程。

為了緩解以上問(wèn)題，我們創(chuàng)新的提出了Anti-Disturbance Map reconstruction framework(ADMap)，實(shí)現(xiàn)了矢量化高精地圖的實(shí)時(shí)穩(wěn)定重建。

方法設(shè)計(jì)

如圖2所示，ADMap通過(guò)多尺度感知頸(Multi-Scale Perception Neck，MPN)、實(shí)例交互注意力（Instance Interactive Attention，IIA）和矢量方向差損失（Vector Direction Difference Loss，VDDL）來(lái)更精細(xì)地預(yù)測(cè)點(diǎn)序拓?fù)浣Y(jié)構(gòu)。下面將分別介紹MPN、IIA以及VDDL。

Multi-Scale Perception Neck

為了使網(wǎng)絡(luò)可以獲取更為細(xì)致的BEV特征，我們提出了Multi-Scale Perception Neck(MPN)，其輸入為融合后的BEV特征，。經(jīng)過(guò)下采樣后的各層級(jí)BEV特征會(huì)各自連接一個(gè)上采樣層使特征圖恢復(fù)原來(lái)的尺寸，最終各層級(jí)特征圖合并為多尺度BEV特征。

如圖2中的虛線代表該步驟僅在訓(xùn)練時(shí)實(shí)施，實(shí)線代表訓(xùn)練和推理過(guò)程都會(huì)實(shí)施該步驟。在訓(xùn)練過(guò)程中，多尺度BEV特征圖和每一層級(jí)的BEV特征圖都會(huì)被送入Transformer Decoder，這使網(wǎng)絡(luò)可以在不同尺度預(yù)測(cè)場(chǎng)景的實(shí)例信息以捕捉更精細(xì)的多尺寸特征。而在推理過(guò)程中，MPN僅保留多尺度BEV特征，不會(huì)輸出各層級(jí)特征圖，這保證了該neck在推理時(shí)的資源占用不變。

Transformer Decoder

Transformer Decoder中定義了一組實(shí)例級(jí)別的查詢和一組點(diǎn)級(jí)別的查詢，隨后將點(diǎn)級(jí)別查詢共享到所有實(shí)例中，這些分層查詢被定義為:

解碼器包含幾個(gè)級(jí)聯(lián)的解碼層，這些層迭代地更新分層查詢。在各解碼層中，分層查詢被輸入到自注意力機(jī)制中，這使得分層查詢間可以相互交換信息，Deformable Attention被用來(lái)交互分層查詢和多尺度BEV特征。

Instance Interactive Attention

為了在解碼階段更好的獲取各實(shí)例特征，我們提出了Instance Interactive Attention(IIA)，其由Instances self-attention和Points self-attention組成。不同于MapTRv2并行提取實(shí)例級(jí)和點(diǎn)級(jí)別的嵌入，IIA級(jí)聯(lián)地提取了查詢嵌入。實(shí)例嵌入間的特征交互進(jìn)一步幫助了網(wǎng)絡(luò)學(xué)習(xí)點(diǎn)級(jí)嵌入間的關(guān)系。

如圖3所示，Deformable cross-attention輸出的分層嵌入被輸入到Instances self-attention。將點(diǎn)維度與通道維度合并后維度變換為。隨后，分層嵌入接入由多個(gè)MLP組成的Embed Layer中獲得實(shí)例查詢，該查詢被放入Multi-head self-attention中來(lái)捕捉實(shí)例間的拓?fù)潢P(guān)系，得到實(shí)例嵌入。為了在點(diǎn)級(jí)嵌入中融入實(shí)例級(jí)別信息，我們將實(shí)例嵌入和分層嵌入相加。相加后的特征被輸入至Point self-attention中,對(duì)各實(shí)例內(nèi)的點(diǎn)特征進(jìn)行交互，進(jìn)一步精細(xì)關(guān)聯(lián)了點(diǎn)序間的拓?fù)潢P(guān)系。

Vector Direction Difference Loss

高精地圖中包含了矢量化的靜態(tài)地圖元素，包括車(chē)道線、路沿和人行橫道等。ADMap針對(duì)這些開(kāi)放形狀(車(chē)道線、路沿)和封閉形狀(人行橫道)提出了Vector Direction Difference Loss。我們建模了實(shí)例內(nèi)部的點(diǎn)序矢量方向，通過(guò)預(yù)測(cè)矢量方向和真實(shí)矢量方向的差值可以更細(xì)致的監(jiān)督點(diǎn)的方向。此外，真實(shí)矢量方向差較大的點(diǎn)被認(rèn)為代表了部分場(chǎng)景拓?fù)涞膭×易兓?更不容易預(yù)測(cè))，更加需要被模型關(guān)注。因此，真實(shí)矢量方向差較大的點(diǎn)被賦予了更大的權(quán)重，以保證網(wǎng)絡(luò)可以準(zhǔn)確預(yù)測(cè)到這個(gè)劇烈變化的點(diǎn)。

圖4展示了預(yù)測(cè)點(diǎn)序{ 和真實(shí)點(diǎn)序{ 中對(duì)預(yù)測(cè)矢量線{ 和真實(shí)矢量線{ 的初始建模。為了保證相反的角度不會(huì)得到相同的損失，我們計(jì)算矢量線角度差余弦值θ':

其中函數(shù)累加了矢量線的坐標(biāo)位置，代表歸一化操作。我們利用真實(shí)實(shí)例中各點(diǎn)的矢量角度差來(lái)為它們賦予不同大小的權(quán)重。權(quán)重定義如下:

其中代表實(shí)例中點(diǎn)的數(shù)量,函數(shù)代表底數(shù)為e的指數(shù)函數(shù)。由于首尾兩點(diǎn)無(wú)法計(jì)算矢量角度差，因此我們將首尾點(diǎn)的權(quán)重設(shè)置為1。當(dāng)真實(shí)值中的矢量角度差變大時(shí)，我們賦予該點(diǎn)更大的權(quán)重，這使得網(wǎng)絡(luò)更為關(guān)注顯著變化的地圖拓?fù)浣Y(jié)構(gòu)。點(diǎn)序中各點(diǎn)的角度差損失定義為:

我們使用θ將損失值的區(qū)間調(diào)整為[0.0, 2.0]。通過(guò)將各點(diǎn)的相鄰矢量線角度差余弦相加，該損失更全面的涵蓋了各點(diǎn)的幾何拓?fù)湫畔?。由于首尾兩點(diǎn)僅有一根相鄰矢量線，因此首尾兩點(diǎn)的損失為單個(gè)矢量角度差的余弦值。

實(shí)驗(yàn)

為了公平的評(píng)估，我們將地圖元素分為車(chē)道線、道路邊界和人行橫道三種。采用平均精度(AP)來(lái)評(píng)估地圖構(gòu)建的質(zhì)量，使用預(yù)測(cè)點(diǎn)序和真實(shí)點(diǎn)序的chamfer距離之和來(lái)判斷兩者是否匹配。Chamfer距離閾值設(shè)置為[0.5, 1.0, 1.5]，我們分別在這三種閾值下計(jì)算AP，并將平均值作為最終指標(biāo)。

對(duì)比實(shí)驗(yàn)

表1報(bào)告了ADMap和最先進(jìn)方法在nuScenes數(shù)據(jù)集的指標(biāo)。在camera-only框架下，ADMap的mAP相較于baseline(MapTR)提高了5.5%，ADMapv2相較于baseline(MapTRv2)提高了1.4%。ADMapv2最高mAP達(dá)到82.8%，取得當(dāng)前基準(zhǔn)中最佳性能，部分細(xì)節(jié)會(huì)在后續(xù)arxiv版本中公布。在速度方面，ADMap相較于其baseline在FPS略微降低的情況下顯著提高模型性能。值得一提的是，ADMapv2不僅提高了性能，在模型推理速度方面也有提升。

表2報(bào)告了ADMap和最先進(jìn)方法在Argoverse2中的指標(biāo)。在camera-only框架下，ADMap和ADMapv2相較于baseline分別提高了3.4%和1.3%。在多模態(tài)框架下，ADMap和ADMapv2達(dá)到了最佳性能，mAP分別為75.2%和76.9%。在速度方面。ADMapv2相較于MapTRv2提升了11.4ms。

消融實(shí)驗(yàn)

在表 3 中，我們提供了在 nuScenes 基準(zhǔn)上ADMap各個(gè)模塊的消融實(shí)驗(yàn)。

表4給出了插入不同注意力機(jī)制對(duì)于最終性能的影響。DSA表示decoupled self-attention，IIA表示實(shí)例交互注意力。結(jié)果表示IIA相較于DSA，mAP提高1.3%。

表5報(bào)告了在融合特征后增加backbone和neck層對(duì)mAP的影響。增加基于SECOND的backbone和neck層后，mAP提高了1.2%。而增加MPN后，在不增加推理時(shí)間的前提下，模型的mAP提高了2.0%。

表6報(bào)告了在nuScenes基準(zhǔn)中增加VDDL對(duì)性能的影響?？梢钥吹?，當(dāng)權(quán)重設(shè)置為1.0時(shí)，mAP最高，達(dá)到了53.3%。

表7報(bào)告了在nuScenes基準(zhǔn)中，MPN下采樣層數(shù)對(duì)最終性能的影響。下采樣層數(shù)越多，模型推理速度越慢。因此，為了平衡速度和性能，我們?cè)O(shè)置了下采樣層數(shù)為2。

為了驗(yàn)證ADMap有效緩解了點(diǎn)序擾動(dòng)問(wèn)題，我們提出了average chamfer distance(ACE)。我們挑選了chamfer distance之和小于1.5的預(yù)測(cè)實(shí)例，并計(jì)算它們的average chamfer distance(ACE)。當(dāng)ACE越小代表實(shí)例點(diǎn)序預(yù)測(cè)的越準(zhǔn)確。表8證明了ADMap可以有效緩解點(diǎn)云擾動(dòng)這一問(wèn)題。

可視化結(jié)果

下面兩幅圖為nuScenes數(shù)據(jù)集和Argoverse2數(shù)據(jù)集中的可視化結(jié)果。

總結(jié)

ADMap是一個(gè)高效且有效的矢量化高精地圖重建框架，其有效緩解了實(shí)例矢量的點(diǎn)序由于預(yù)測(cè)偏差可能會(huì)出現(xiàn)的抖動(dòng)或鋸齒現(xiàn)象。大量實(shí)驗(yàn)表明，我們提出的方法在nuScenes和Argoverse2基準(zhǔn)上均取得最佳性能。我們相信ADMap協(xié)助推進(jìn)矢量高精地圖重建任務(wù)的研究，從而更好地推動(dòng)自動(dòng)駕駛等領(lǐng)域的發(fā)展。