本文經自動駕駛之心公眾號授權轉載，轉載請聯(lián)系出處。

寫在前面&筆者的個人理解

實時根據(jù)傳感器數(shù)據(jù)構建向量化高精地圖對于預測和規(guī)劃等下游任務至關重要，可以有效彌補離線高精地圖實時性差的缺點。隨著深度學習的發(fā)展，在線向量化高精地圖構建逐漸興起，代表性的工作如HDMapNet，MapTR等相繼涌現(xiàn)。然而，現(xiàn)有的在線向量化高精地圖構建方法缺乏對地圖元素幾何性質（包括元素的形狀，垂直、平行等幾何關系）的探索。

向量化高精地圖的幾何性質

向量化高精地圖對道路上的元素進行了高度抽象，將每一個地圖元素表示為二維點序列。而城市道路的設計具有特定的規(guī)范，例如，人行橫道在多數(shù)情況下表現(xiàn)為方正的矩形或平行四邊形；在不涉及分流合流的路段,相鄰的兩條車道互相平行。高精地圖中不同元素還具有許多類似的特點，這些常識性的規(guī)律，抽象為高精地圖的幾何性質，包括地圖元素的形狀（矩形、平行四邊形、直線等），或者不同地圖元素之間的關聯(lián)（平行、垂直等）。幾何性質強有力地約束著地圖元素的表現(xiàn)形式，在線構建模型如果充分理解了幾何性質，就能得到更精確的結果。

提出針對高精地圖的幾何表示的重要性

盡管理論上現(xiàn)有模型仍可能學到地圖元素的幾何性質，然而，幾何性質的特點決定了至少在傳統(tǒng)的設計下，模型并不容易學到。

• 幾何性質的不變性

中心車輛在道路上直線行駛，變道，或者轉彎時，（在車輛坐標系下）地圖元素的絕對坐標不斷發(fā)生變化。而人行橫道、車道、道路邊界等的形狀并不會隨之改變；類似的，車道之間平行關系也不會改變。地圖元素的幾何性質是客觀的，它的一個重要特點就是不變性。更具體的，是剛性不變性（對旋轉、平移變換保持不變）。以往的工作，不論是使用樸素的折線表示，還是使用帶控制點的多項式曲線（比如貝塞爾曲線、分段貝塞爾曲線），都基于絕對坐標，并在絕對坐標基礎上端到端優(yōu)化。基于絕對坐標的優(yōu)化目標本身不具備剛性不變性，因此很難期待模型陷入的局部最優(yōu)解包含對幾何性質的理解。因此，一種能充分刻畫幾何性質且具有一定不變性的表示是必要的。

圖1. 幾何不變性的示例。

車輛右轉時，絕對坐標會發(fā)生明顯的變化。右圖展示了一個對應的真實場景。

• 幾何性質的多樣性

此外，盡管具有強烈的先驗知識，道路的幾何性質仍然是多樣的。這些多樣的幾何性質總體上可以分為兩大類，一類是關于單個地圖元素的幾何形狀，一類是關于不同地圖元素的幾何關聯(lián)。由于幾何性質的多樣性，窮舉并人工地將幾何性質轉變?yōu)榧s束是不可能的，因此我們更希望模型能夠端到端地自主學習多樣的幾何性質。

GeMap的設計

幾何表示

針對上述兩個問題，我們首先改進表示方法。我們希望在傳統(tǒng)的基于絕對坐標的表示之外，引入一種良好的幾何表示，它需要滿足：

• 能刻畫地圖元素的形狀
• 能刻畫地圖元素之間的關聯(lián)
• 剛性不變性

為保證平移不變性，我們使用了相對量，即點之間的偏移向量；為進一步保證旋轉不變性，我們選擇了偏移向量的長度，以及不同偏移向量之間的夾角。這二者——長度和夾角——構成了我們提出的幾何表示的基礎。此外，為了更好地區(qū)分并刻畫形狀、關聯(lián)兩類不同的幾何性質，我們還按照從簡的原則進一步細化了設計：

為刻畫形狀，我們計算單個地圖元素中相鄰點之間的偏移向量，并計算偏移向量長度、相鄰偏移向量之間的夾角。這一表示能夠唯一確定任意的折線/多邊形。兩個形象的例子如下圖所示：

圖2. 幾何形狀表示。

對于一個矩形，使用一個直角和兩對相等的邊就可以描述；對于一條直線，所有的夾角均為0度或者180。

為刻畫關聯(lián)，類似地，我們首先考慮了任意兩點之間的距離。然而，如果對所有點對點的偏移向量兩兩計算夾角，表示的復雜度過高，且計算代價不可承受。具體地，假設一共有個地圖元素，每個元素使用個個點來表示，那么所有夾角的數(shù)據(jù)量將達到（取1000時，假設每一個角度數(shù)據(jù)都是32位浮點數(shù)，這樣的表示僅占據(jù)的空間將達到TB級別）。事實上，對于一般的垂直、平行等關系來說這不是必要的。因此，我們先計算元素內部的偏移，然后僅對這些偏移計算兩兩之間的夾角作為幾何表示的一部分。這種簡化的關聯(lián)表示保留了對平行、垂直等關系的描述能力，同時所對應的數(shù)據(jù)量僅為（前述條件下，大致4MB）。為了便于理解，我們同樣提供了一些例子：

圖3. 幾何關聯(lián)表示。

平行關系和垂直關系表現(xiàn)為偏移向量的夾角為0度或者90度；兩點之間的距離可以一定程度反映車道寬度信息

為優(yōu)化幾何形狀和關聯(lián)的表示，我們采用最樸素的做法，直接計算預測和標簽的幾何表示，然后用范數(shù)作為優(yōu)化目標：

這里和分別表示根據(jù)標簽計算得到的長度和夾角，和則表示根據(jù)預測計算得到的長度和夾角。在處理夾角時使用了一個技巧：直接計算角度涉及到不連續(xù)的arctan函數(shù)，在優(yōu)化時會遇到困難（在±90度附近存在梯度消失的問題），因此我們實際上比較的是夾角的余弦和正弦值：

幾何表示的基礎是角度和距離，因此我們形象地將對應的幾何損失稱為”歐幾里得損失“，也代表著這一損失對于旋轉和平移變換的魯棒性。

幾何解耦注意力

一種被MapTR，PivotNet等采用的架構將地圖元素上的每一個點對應到Transformer的一個查詢。這一架構的問題在于：對兩大類的幾何性質不加區(qū)分。

在自注意力中，所有查詢（也就是“點”）之間都平等地相互作用。然而，地圖元素的形狀對應著一組一組的查詢。這些組之間的交互，在感知元素形狀時就成為了累贅。反之在感知元素之間關聯(lián)的時候，形狀亦成為了冗余因素。這意味著將形狀、關聯(lián)的感知解耦，可能帶來更好的結果。

為了解耦對幾何形狀和關聯(lián)處理，我們將自注意力分成兩個步驟進行：

• 每個地圖元素包括個查詢，在這個查詢內部進行注意力，用以處理幾何形狀
• 補充跨元素的注意力關系，用以處理幾何關聯(lián)

幾何解耦的注意力更形象的表示如下圖所示。我們的實現(xiàn)方式比較樸素，直接使用mask控制注意力的范圍。事實上，由于這兩種注意力是互補的，合理地實現(xiàn)有可能讓時間復雜度等同于進行單次自注意力。

圖4. 幾何解耦注意力。

左側為單個元素內部進行的形狀注意力，右側為元素之間進行的關聯(lián)注意力。

實驗結果

我們在nuScenes和Argoverse 2兩個數(shù)據(jù)集上進行了大量實驗。二者都是常用的大規(guī)模自動駕駛數(shù)據(jù)集，且都提供了地圖標注。

主要結果

在nuScenes上，我們進行了三組實驗。我們首先使用了一種比較純粹的目標函數(shù)組合，只包括幾何損失和其它必要的損失（如點到點距離、邊的方向、分類），這一組合是為了體現(xiàn)我們提出的幾何性質的重要價值，而不過多追求SOTA的結果?？梢钥吹?，在這種情況下，相比于MapTR，我們的方法能在mAP提升了。為了探索GeMap的極限，我們也加上了一些輔助目標，包括分割和深度估計，在這種情況下我們也取得了SOTA的結果（mAP提升）。值得注意的是，取得這樣的提升并不需要犧牲太多的推理速度。最后，我們還嘗試了引入額外的LiDAR模態(tài)輸入，在額外模態(tài)輸入的加持下，GeMap的性能也能取得進一步提升。

同樣，在Argoverse 2數(shù)據(jù)集上，我們的方法也取得了非常突出的效果。

消融實驗

在nuScenes上進一步進行的消融實驗證明了幾何損失和幾何解耦注意力的價值。有趣的是，正如我們所預料的，直接使用幾何損失反而會帶來模型表現(xiàn)的下降。我們認為這是因為結構上的對形狀和關聯(lián)處理的耦合，導致模型很難優(yōu)化幾何表示；而在與幾何解耦注意力結合之后，幾何損失就發(fā)揮了應有的作用（從”+Euclidean Loss“到”Full“）。

更多結果

此外，我們還在nuScenes上進行了可視化分析。可視化的結果表明，GeMap除了具有對旋轉和平移的魯棒性，在處理遮擋問題上也表現(xiàn)出了一定優(yōu)勢，如下圖。圖中有挑戰(zhàn)性的地圖元素使用橘色方框標出。

圖5. 可視化對比結果。

關于對遮擋的魯棒性，在雨天的實驗結果中（見下表”“）也得到了定量驗證（因為雨水對相機有天然的遮擋）：

這可以解釋為模型學到了幾何性質，因此即使有遮擋，也能更好地猜出地圖元素。例如，模型理解了車道線的形狀，那么只需要”看到“一部分，就能夠估計剩下的部分；模型理解了車道線之間的平行關系，或者車道的寬度特點，因此哪怕其中一條被遮擋，也能根據(jù)平行、寬度因素猜測被遮擋的部分。

總結

我們指出了地圖元素所具有的幾何性質，以及其對于在線向量化高精地圖構建的價值。基于此，我們提出了一種強有力的方法，初步對這一價值進行了驗證。此外，GeMap表現(xiàn)出的對遮擋的魯棒性，或許預示著在其它自動駕駛任務（例如檢測、占有預測等）中利用幾何性質處理遮擋的思路——因為車輛和道路都具有相對規(guī)范的幾何性質。當然，我們的方法本身也有很多可以進一步探索的地方。比如不同復雜度的幾何元素是否可以適應性地使用不同的點來描述？是否能從概率的角度出發(fā)理解幾何表示，讓其對噪音更具魯棒性？因為我們對于元素關聯(lián)進行了簡化，那么是否存在更好的幾何關聯(lián)的表示方法？這些都是進一步優(yōu)化的方向。

原文鏈接：https://mp.weixin.qq.com/s/BoxlskT68Kjb07mfwQ7Swg