本文經(jīng)自動(dòng)駕駛之心公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

論文思路：

理解道路幾何結(jié)構(gòu)是自動(dòng)駕駛車輛（AV）技術(shù)堆棧中的關(guān)鍵組成部分。盡管高精（HD）地圖可以輕松提供此類信息，但它們存在高標(biāo)注和維護(hù)成本。因此，許多最新的研究提出了從傳感器數(shù)據(jù)中在線估計(jì)高精地圖的方法。絕大多數(shù)的最新方法將多相機(jī)觀測(cè)結(jié)果編碼成中間表示，例如 BEV 網(wǎng)格，并通過解碼器生成矢量地圖元素。盡管這種架構(gòu)性能優(yōu)越，但它會(huì)消耗掉中間表示中編碼的大量信息，阻礙下游任務(wù)（例如行為預(yù)測(cè)）利用這些信息。在這項(xiàng)工作中，本文提出了顯露在線地圖估計(jì)方法的豐富內(nèi)部特征，并展示了它們?nèi)绾胃o密地將在線地圖構(gòu)建與軌跡預(yù)測(cè)相結(jié)合。通過這樣做，本文發(fā)現(xiàn)直接訪問內(nèi)部BEV特征可以使推理速度提高多達(dá)73%，并使在真實(shí)世界nuScenes數(shù)據(jù)集上的預(yù)測(cè)準(zhǔn)確性提高多達(dá)29%。

論文設(shè)計(jì)：

感知自動(dòng)駕駛車輛（AV）周圍的靜態(tài)環(huán)境是自動(dòng)駕駛中的關(guān)鍵任務(wù)，它為下游的行為預(yù)測(cè)和運(yùn)動(dòng)規(guī)劃模塊提供幾何信息（例如，道路布局）。傳統(tǒng)上，高精（HD）地圖一直是理解這些信息的基礎(chǔ)，提供厘米級(jí)的道路邊界、車道分隔線、車道中心線、人行橫道、交通標(biāo)志、道路標(biāo)記等幾何數(shù)據(jù)。它們?cè)谠鰪?qiáng)AV情境感知和下游預(yù)測(cè)任務(wù)中的導(dǎo)航判斷方面起到了不可或缺的作用。然而，盡管HD地圖的實(shí)用性不容否認(rèn)，收集和維護(hù)這些地圖卻是勞動(dòng)密集型且成本高昂的，這限制了它們的可擴(kuò)展性。

近年來，在線高精（HD）地圖估計(jì)方法作為一種替代方案出現(xiàn)，旨在直接從傳感器觀測(cè)中預(yù)測(cè)HD地圖信息。以（多）相機(jī)圖像和可選的LiDAR點(diǎn)云為起點(diǎn)，最先進(jìn)的HD地圖估計(jì)方法通常采用編碼器-解碼器神經(jīng)網(wǎng)絡(luò)架構(gòu)（如圖1所示）。編碼器首先將傳感器觀測(cè)轉(zhuǎn)換為 BEV 特征網(wǎng)格。然后，解碼器從BEV特征中預(yù)測(cè)地圖元素的位置和語義類型。生成的道路幾何結(jié)構(gòu)通常按地圖元素類型（例如，道路邊界、車道分隔線、人行橫道）以多段線和多邊形的組合形式構(gòu)建。這些在線估計(jì)的地圖作為離線HD地圖的實(shí)用替代品，為下游任務(wù)（如行為預(yù)測(cè)和運(yùn)動(dòng)規(guī)劃）提供必要的場(chǎng)景上下文。例如，最近的研究[13]展示了將各種地圖估計(jì)方法與現(xiàn)有預(yù)測(cè)框架相結(jié)合的成功，突顯了它們?cè)诩铀俣说蕉俗詣?dòng)駕駛技術(shù)堆棧開發(fā)中的潛力。

雖然這種編碼器-解碼器方法能夠生成準(zhǔn)確的高精（HD）地圖，但正如本文將在第4節(jié)中展示的那樣，解碼過程中使用的注意力機(jī)制計(jì)算成本高（占據(jù)了模型運(yùn)行時(shí)間的大部分），并且不會(huì)生成帶有相關(guān)不確定性的輸出，這限制了下游模塊處理不確定性的能力。此外，這種架構(gòu)阻止了下游任務(wù)利用編碼器在透視視角到鳥瞰視角（PV2BEV）轉(zhuǎn)換過程中生成的豐富中間特征，導(dǎo)致無法描述為點(diǎn)集的信息被消耗掉。

為此，本文引入了三種新穎的場(chǎng)景編碼策略，這些策略利用內(nèi)部 BEV 特征來提升性能并加速在線地圖構(gòu)建和行為預(yù)測(cè)系統(tǒng)的運(yùn)行時(shí)間。通過直接利用BEV特征，本文提出的方法在地圖估計(jì)和行為預(yù)測(cè)框架之間實(shí)現(xiàn)了更緊密的集成，在真實(shí)世界的nuScenes數(shù)據(jù)集上，系統(tǒng)推理速度提高了多達(dá)73%，下游預(yù)測(cè)準(zhǔn)確性提高了多達(dá)29%。

如第2節(jié)所述，絕大多數(shù)最先進(jìn)的在線矢量化地圖估計(jì)模型在內(nèi)部采用 BEV 網(wǎng)格，以幾何保持的方式對(duì)周圍環(huán)境進(jìn)行特征化。本文的方法側(cè)重于通過直接訪問這些內(nèi)部BEV表示來進(jìn)行軌跡預(yù)測(cè)。通過這樣做，本文改善了從地圖構(gòu)建到預(yù)測(cè)的信息流動(dòng)，甚至可以通過完全跳過地圖解碼來加速整個(gè)系統(tǒng)的運(yùn)行時(shí)間（取決于預(yù)測(cè)器對(duì)車道信息的需求）。

圖1：在線地圖估計(jì)方法主要將多相機(jī)觀測(cè)結(jié)果編碼為標(biāo)準(zhǔn)的 BEV 特征網(wǎng)格，然后再解碼為矢量化的地圖元素。在這項(xiàng)工作中，本文提出通過直接訪問在線地圖估計(jì)方法的豐富BEV特征，將在線地圖構(gòu)建與下游任務(wù)深度集成。

圖2：將BEV特征融入行為預(yù)測(cè)的三種不同策略。左：局部區(qū)域注意力編碼代理與地圖的交互；中：用BEV特征增強(qiáng)車道頂點(diǎn)；右：用時(shí)間序列BEV特征替換代理軌跡。

實(shí)驗(yàn)結(jié)果：

圖3：本文的集成BEV預(yù)測(cè)方法在所有場(chǎng)景規(guī)模（代理數(shù)量和地圖元素?cái)?shù)量）和地圖模型上運(yùn)行速度都比解耦基線方法更快。

圖4：使用第3.1節(jié)中的策略結(jié)合StreamMapNet [37]和HiVT [40]。通過用時(shí)間序列BEV特征替換車道信息，HiVT能夠使其預(yù)測(cè)軌跡保持在當(dāng)前車道上，與GT軌跡緊密對(duì)齊。

圖5：使用第3.2節(jié)中的策略結(jié)合MapTR [22]和DenseTNT [12]。本文通過用BEV特征增強(qiáng)地圖頂點(diǎn)，使DenseTNT能夠生成非常準(zhǔn)確的軌跡，避免了在基線和增強(qiáng)不確定性[13]設(shè)置中出現(xiàn)的道路邊界入侵問題。

圖6：使用第3.3節(jié)中的策略結(jié)合StreamMapNet [37]和DenseTNT [12]。通過用BEV特征替換代理軌跡信息，DenseTNT能夠預(yù)測(cè)出在斑馬線前停下的軌跡，相比于基線和增強(qiáng)不確定性[13]方法中的預(yù)測(cè)不足和過度問題。

表1：在nuScenes [1]數(shù)據(jù)集上，幾乎每種地圖構(gòu)建和預(yù)測(cè)的組合都能從直接利用上游BEV特征中受益，某些組合的性能提升甚至達(dá)到25%或更多。百分比值表示本文的方法在預(yù)測(cè)性能上所實(shí)現(xiàn)的相對(duì)提升。

表2：對(duì)BEV patch 大小的探索表明， patch 過?。ㄐ畔⒉东@不足）或過大（細(xì)粒度信息丟失）都會(huì)帶來不利影響，最佳性能是在 patch 大小為20×20（對(duì)應(yīng)于現(xiàn)實(shí)世界中的6米×6米）時(shí)實(shí)現(xiàn)的。

總結(jié)：

在這項(xiàng)工作中，本文提出了三種不同的策略，以在下游任務(wù)（如行為預(yù)測(cè)）中利用在線地圖估計(jì)模型中的中間BEV特征。本文系統(tǒng)地評(píng)估了不同BEV編碼策略的優(yōu)勢(shì)，并展示了在下游行為預(yù)測(cè)中融入BEV特征如何顯著提升性能和運(yùn)行時(shí)間。具體而言，結(jié)合各種在線地圖構(gòu)建和預(yù)測(cè)方法，在直接使用中間BEV特征時(shí)，實(shí)現(xiàn)了推理時(shí)間快達(dá)73%，并且在多種評(píng)估指標(biāo)上預(yù)測(cè)準(zhǔn)確性提高了多達(dá)29%。