arXiv上2021年12月19日上傳論文“Topology Preserving Local Road Network Estimation from Single Onboard Camera Image“，作者來(lái)自瑞士ETH和比利時(shí)魯汶大學(xué)。

道路網(wǎng)絡(luò)拓?fù)渲R(shí)對(duì)于自主規(guī)劃和導(dǎo)航至關(guān)重要。然而，從一張圖像恢復(fù)這樣的拓?fù)浣Y(jié)構(gòu)只是部分探索。此外，需要參考一下地平面，在上面會(huì)執(zhí)行駕駛動(dòng)作。本文旨在直接在鳥(niǎo)瞰圖（BEV）提取復(fù)雜城市環(huán)境的局部道路網(wǎng)絡(luò)拓?fù)?。唯一的輸入由單個(gè)車(chē)載前視攝像頭圖像組成。用一組有向車(chē)道曲線(xiàn)表示道路拓?fù)?，其交互是交點(diǎn)來(lái)捕獲。為了更好地捕捉拓?fù)湫畔?，引入最小循環(huán)（minimal cycles）及其覆蓋（cover）的概念。最小循環(huán)是由有向曲線(xiàn)段（兩個(gè)交點(diǎn)之間）形成的最小循環(huán)。覆蓋是形成最小循環(huán)的一組曲線(xiàn)。首先證明覆蓋足以唯一地表示道路拓?fù)?，然后與車(chē)道曲線(xiàn)監(jiān)控一起用于監(jiān)督深層神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)從單個(gè)輸入圖像去預(yù)測(cè)道路拓?fù)?。在NuScenes和Argoverse做了基準(zhǔn)測(cè)試，源代碼將公開(kāi)。

如圖所示：道路網(wǎng)絡(luò)和生成的封閉區(qū)域（最小循環(huán)，以不同顏色顯示）。在道路網(wǎng)中，交通流從綠點(diǎn)流向紅點(diǎn)，黃點(diǎn)是兩條中心線(xiàn)的連接點(diǎn)。要學(xué)習(xí)保持包含最小循環(huán)的中心線(xiàn)本身。一些有趣的區(qū)域在彩色圖像上以白圈顯示。

如圖是最小循環(huán)及其覆蓋的定義示意：c）和d）

如圖所示是一個(gè)訓(xùn)練程序：其生成中心線(xiàn)曲線(xiàn)估計(jì)值以及最小循環(huán)和覆蓋；曲線(xiàn)和循環(huán)之間的映射提供了一致和更高級(jí)的監(jiān)督，得到對(duì)場(chǎng)景拓?fù)涞睦斫?；將連接步用于每對(duì)選定曲線(xiàn)，估計(jì)連接性概率，其中修改連接的中心線(xiàn)使其對(duì)應(yīng)端點(diǎn)重合。

用神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)固定數(shù)量的曲線(xiàn)和最小循環(huán)，其大于場(chǎng)景中的實(shí)際曲線(xiàn)數(shù)和循環(huán)數(shù)。因此，假設(shè)有一個(gè)函數(shù)U接受輸入（相機(jī)圖像）并輸出兩個(gè)矩陣，一個(gè)是所有N條曲線(xiàn)候選的D維嵌入，另一個(gè)是所有M個(gè)最小循環(huán)候選的E維嵌入。這兩個(gè)嵌入矩陣分別由函數(shù)F（Vc）和H（Vm）處理。F（Vc）處理嵌入Vc的候選曲線(xiàn)并生成矩陣輸出，其包含N條曲線(xiàn)的參數(shù)和曲線(xiàn)存在的概率。H（Vm）處理最小循環(huán)候選嵌入，并生成三個(gè)輸出，每個(gè)輸出描述最小循環(huán)的屬性。第一是M條候選曲線(xiàn)中每一條的估計(jì)最小覆蓋，描述N條候選曲線(xiàn)和K個(gè)FOV邊界曲線(xiàn)之一屬于該覆蓋的概率；第二是可能存在最小循環(huán)的概率，最后是輔助輸出，估計(jì)候選最小循環(huán)的中心。因此，該網(wǎng)絡(luò)最后生成一組曲線(xiàn)和最小循環(huán)候選。

訓(xùn)練中用基于匹配的方法，對(duì)曲線(xiàn)很簡(jiǎn)單，控制點(diǎn)之間L1差采用匈牙利匹配；然而，對(duì)最小循環(huán)來(lái)說(shuō)，更為復(fù)雜；其中基本的一點(diǎn)是，真實(shí)拓?fù)浜凸烙?jì)拓?fù)渲g的匹配是一致的。

設(shè)有N′個(gè)真曲線(xiàn)和帶K邊界曲線(xiàn)的M′個(gè)真最小循環(huán)。同樣，記錄真曲線(xiàn)參數(shù)、真曲線(xiàn)的最小覆蓋和真的最小循環(huán)中心。由于真值（GT）最小循環(huán)定義在真曲線(xiàn)上，而檢測(cè)到的最小循環(huán)定義在估計(jì)曲線(xiàn)上，因此必須首先在估計(jì)曲線(xiàn)和真曲線(xiàn)之間形成匹配。匈牙利匹配是不理想的，因?yàn)樗豢紤]估計(jì)曲線(xiàn)的碎片化。碎片是指多條相連的估計(jì)曲線(xiàn)代表一條真曲線(xiàn)的情況。因此，通常情況下，估計(jì)的候選最小循環(huán)比真的最小循環(huán)有更多的候選曲線(xiàn)。

由于匈牙利算法的“一對(duì)一”匹配特性，一條長(zhǎng)真曲線(xiàn)只能與一條短片段曲線(xiàn)匹配，即使估計(jì)片段的組合可以得到更接近的近似。因此，將每個(gè)候選曲線(xiàn)與其最近的真曲線(xiàn)進(jìn)行匹配，這意味著每一條候選曲線(xiàn)只匹配一條真曲線(xiàn)，而真曲線(xiàn)可以匹配任意數(shù)量（包括零個(gè)）的候選曲線(xiàn)。

將所有匹配的估計(jì)曲線(xiàn)設(shè)置為一，如果它們對(duì)應(yīng)的真實(shí)曲線(xiàn)存在于最小循環(huán)中。鑒于此修正的真最小循環(huán)標(biāo)簽和估計(jì)的最小循環(huán)，運(yùn)行匈牙利匹配可以找到用于損失計(jì)算的那對(duì)，這使得估計(jì)的拓?fù)涞玫揭恢碌挠?xùn)練。

最后，為了監(jiān)控曲線(xiàn)的連通性，顯式地估計(jì)網(wǎng)絡(luò)中V（G，E）的關(guān)聯(lián)矩陣A。為每個(gè)候選中心線(xiàn)提取一個(gè)特征向量并構(gòu)建一個(gè)分類(lèi)器實(shí)現(xiàn)這個(gè)估計(jì)，該分類(lèi)器采用屬于一對(duì)曲線(xiàn)的兩個(gè)特征向量，并輸出它們的關(guān)聯(lián)概率。

訓(xùn)練中使用匈牙利算法匹配的曲線(xiàn)建立正確的順序。估計(jì)的關(guān)聯(lián)矩陣還允許在測(cè)試期間進(jìn)行合并后處理，其中會(huì)修改曲線(xiàn)的端點(diǎn)，以便使相連接的曲線(xiàn)重合在一起。

中心線(xiàn)的樣條曲線(xiàn)控制點(diǎn)和最小循環(huán)中心使用L1 -loss進(jìn)行訓(xùn)練，同時(shí)用中心線(xiàn)和最小循環(huán)概率的二元交叉熵。二元交叉熵計(jì)算最小循環(huán)的membership-loss以及連通性。

如圖是設(shè)計(jì)的網(wǎng)絡(luò)架構(gòu)：（a）最小循環(huán)Transformer網(wǎng)絡(luò)和（b）最小循環(huán)多邊形RNN網(wǎng)絡(luò)；第一個(gè)聯(lián)合處理兩組查詢(xún)（曲線(xiàn)和最小循環(huán)）以生成相應(yīng)的特征向量。然后將這些向量饋送給MLP進(jìn)行最終估計(jì)；第二個(gè)是三部分組成：1）初始點(diǎn)估計(jì)，2）給定初始點(diǎn)，可以輸出曲線(xiàn)后續(xù)控制點(diǎn)的多邊形RNN，以及 3）最小循環(huán)的解碼器。

提出了道路拓?fù)錅?zhǔn)確性的兩個(gè)測(cè)度：Minimal-Cycle Minimal Cover (B) 和Intersection Order。

實(shí)驗(yàn)結(jié)果如下；

局限性：對(duì)于大多數(shù)現(xiàn)代道路網(wǎng)絡(luò)，這里的理論假設(shè)都是溫和的。然而，有可能存在違反這些假設(shè)的情況，這樣的道路網(wǎng)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練非常困難。此外，提取用于訓(xùn)練的最小循環(huán)是一個(gè)耗時(shí)的過(guò)程，并會(huì)阻止使用數(shù)據(jù)增強(qiáng)技術(shù)。