FMCW雷達(dá)位置識別如何優(yōu)雅的實(shí)現(xiàn)（IROS2023）
本文經(jīng)自動駕駛之心公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。
大家好，我叫袁健豪，很開心來自動駕駛之心平臺分享我們在IROS2023上關(guān)于雷達(dá)位置識別的工作。
由于其對挑戰(zhàn)性環(huán)境的固有抗性，使用調(diào)頻連續(xù)波 (FMCW) 雷達(dá)的定位越來越受到關(guān)注。然而，雷達(dá)測量過程的復(fù)雜偽影需要適當(dāng)?shù)牟淮_定性估計(jì) - 以確保這種有前景的傳感器模式的安全和可靠應(yīng)用。在這項(xiàng)工作中，我們提出了一個多會話地圖管理系統(tǒng)，該系統(tǒng)基于嵌入空間中學(xué)到的方差屬性構(gòu)建“最佳”地圖以進(jìn)行進(jìn)一步的定位。使用相同的方差屬性，我們還提出了一種新的方法，內(nèi)省地拒絕可能是不正確的定位查詢。為此，我們應(yīng)用了魯棒的噪聲感知度量學(xué)習(xí)，既利用沿驅(qū)動路徑的雷達(dá)數(shù)據(jù)的短時間尺度變化（用于數(shù)據(jù)增強(qiáng)），又預(yù)測基于度量空間的位置識別中的下游不確定性。我們通過對 Oxford Radar RobotCar 和 MulRan 數(shù)據(jù)集的廣泛交叉驗(yàn)證測試證明了我們方法的有效性。在此，我們僅使用單個最近鄰查詢就超越了雷達(dá)位置識別的當(dāng)前最新技術(shù)和其他不確定性感知方法。當(dāng)基于不確定性拒絕查詢時，我們還顯示了在一個困難的測試環(huán)境中的性能增加，這是我們沒有觀察到的與競爭的不確定性感知位置識別系統(tǒng)。
Off the Radar的出發(fā)點(diǎn)
位置識別和定位是機(jī)器人技術(shù)和自主系統(tǒng)領(lǐng)域的重要任務(wù)，因?yàn)樗鼈兪瓜到y(tǒng)能夠理解和導(dǎo)航其環(huán)境。傳統(tǒng)的基于視覺的位置識別方法經(jīng)常容易受到環(huán)境條件變化的影響，如光照、天氣和遮擋，導(dǎo)致性能下降。為了解決這個問題，人們越來越關(guān)注使用FMCW雷達(dá)作為這種對抗性環(huán)境的穩(wěn)健傳感器替代品。
現(xiàn)有的工作已經(jīng)證明了手工制作的和基于學(xué)習(xí)的特征提取方法的FMCW雷達(dá)位置識別的有效性。盡管現(xiàn)有的工作取得了成功，但這些方法在自動駕駛等安全關(guān)鍵應(yīng)用中的部署仍受到校準(zhǔn)不確定性估計(jì)的限制。在這個領(lǐng)域，需要考慮以下幾點(diǎn)：
- 安全性要求不確定性估計(jì)與誤報率良好地校準(zhǔn)，以便啟用內(nèi)省拒絕；
- 實(shí)時部署需要快速的基于單次掃描不確定性的推理能力；
- 長期自主性中的重復(fù)路線遍歷需要在線連續(xù)地圖維護(hù)。
雖然VAE通常用于生成任務(wù)，但其概率潛在空間可以作為位置識別的有效度量空間表示，并允許對數(shù)據(jù)噪聲分布進(jìn)行先驗(yàn)假設(shè)，這也提供了一個標(biāo)準(zhǔn)化的偶然不確定性估計(jì)。因此，在本文中，為了實(shí)現(xiàn)FMCW雷達(dá)在自動駕駛中的可靠和安全部署，我們利用了一個變分對比學(xué)習(xí)框架，并提出了一個統(tǒng)一的基于不確定性的雷達(dá)位置識別方法。
系統(tǒng)流程概覽
在離線階段，我們使用變分對比學(xué)習(xí)框架來學(xué)習(xí)一個帶有估計(jì)不確定性的隱藏嵌入空間，使得來自相似拓?fù)湮恢玫睦走_(dá)掃描彼此接近，反之亦然。在在線階段，我們開發(fā)了兩種基于不確定性的機(jī)制來處理連續(xù)收集的雷達(dá)掃描，用于推理和地圖構(gòu)建。對于重復(fù)遍歷相同的路線，我們通過用更確定的掃描替換高度不確定的掃描來積極維護(hù)一個集成的地圖字典。對于不確定性低的查詢掃描，我們基于度量空間距離從字典中檢索匹配的地圖掃描。相反，我們拒絕對高不確定性的掃描進(jìn)行預(yù)測。
Off the Radar的方法介紹
本文介紹了一種用于雷達(dá)位置識別的變分對比學(xué)習(xí)框架，來描述位置識別中的不確定性。主要貢獻(xiàn)包括：
- 不確定性感知的對比學(xué)習(xí)框架。
- 基于校準(zhǔn)不確定性估計(jì)的內(nèi)省查詢機(jī)制。
- 在線遞歸地圖維護(hù)用于變化的環(huán)境。
變分對比學(xué)習(xí)
變分對比學(xué)習(xí)框架概覽，基于[^Lin2018dvml]. 通過編碼器-解碼器結(jié)構(gòu)學(xué)習(xí)一個度量空間，其中有兩個重新參數(shù)化的部分：一個用于識別的確定性嵌入和一組參數(shù)建模多變量高斯分布，其方差作為不確定性度量。整體學(xué)習(xí)由重構(gòu)和對比損失共同驅(qū)動，以確保雷達(dá)掃描的信息性和區(qū)分性的隱藏表示。
這一部分的工作既是我們核心貢獻(xiàn)的關(guān)鍵推動者，也是深度變分度量學(xué)習(xí)與雷達(dá)位置識別的新穎整合，以及在位置識別中表征不確定性的新方法。如圖所示，我們采用了一個結(jié)構(gòu)來將雷達(dá)掃描嵌入分解為一個噪聲誘導(dǎo)的變量部分，它捕獲了與預(yù)測無關(guān)的不確定性來源的方差，以及一個語義不變的部分，用于場景表示的基本特征。變量部分后來從一個先驗(yàn)的多元等方高斯分布中采樣，并添加到不變性部分，形成整體表示。變量輸出直接用作不確定性度量。我們假設(shè)我們只考慮由數(shù)據(jù)中的固有模糊性和隨機(jī)性引起的模型預(yù)測的偶然不確定性作為不確定性的主要來源。特別是對于雷達(dá)掃描，這可能是由于斑點(diǎn)噪聲、飽和和臨時遮擋。標(biāo)準(zhǔn)的度量學(xué)習(xí)方法，不考慮所選擇的損失函數(shù)，都傾向于在正樣本對之間強(qiáng)制相同的嵌入，同時忽略了它們之間的潛在方差。然而，這可能導(dǎo)致模型對微小特征不敏感，并過度擬合訓(xùn)練分布。因此，為了模擬噪聲方差，我們使用結(jié)構(gòu)中的額外概率方差輸出來估計(jì)偶然不確定性。為了建立這樣一個噪聲感知的雷達(dá)感知表示，我們使用四個損失函數(shù)來指導(dǎo)整體訓(xùn)練。
1） 不變對比損失在確定性表示 ( Z_I ) 上，以從雷達(dá)語義中分離任務(wù)無關(guān)的噪聲，使得不變嵌入包含足夠的因果信息；以及
2） 變量對比損失在整體表示 ( Z ) 上，建立有意義的度量空間。兩種對比損失均采取以下形式。
其中一個批次由m個樣本和使用“旋轉(zhuǎn)”策略，合成旋轉(zhuǎn)的時間近似幀增強(qiáng) 組成，這只是旋轉(zhuǎn)增強(qiáng)，用于旋轉(zhuǎn)不變性。我們的目標(biāo)是最大化增強(qiáng)樣本被識別為原始實(shí)例的概率，同時最小化反轉(zhuǎn)情況的概率。
其中嵌入 ( Z ) 是 ( Z_I ) 或 ( Z ) ，如公式1）和2）中所述。
3）Kullback–Leibler (KL) 散度在學(xué)到的高斯分布和標(biāo)準(zhǔn)各向同性多變量高斯分布之間，這是我們對數(shù)據(jù)噪聲的先驗(yàn)假設(shè)。這確保了所有樣本噪聲的相同分布，并為變量輸出的絕對值提供了一個靜態(tài)參考。
4） 重建損失在提取特征圖 ( M ) 和解碼器輸出 ( M_R ) 之間，這迫使整體表示 ( Z ) 包含原始雷達(dá)掃描中的足夠信息以進(jìn)行重建。但是，我們只重建一個較低維度的特征圖，而不是像素級雷達(dá)掃描重建，以減少解碼過程中的計(jì)算成本。
雖然僅由KL散度和重建損失驅(qū)動的普通VAE結(jié)構(gòu)也提供了潛在方差，但由于其眾所周知的后驗(yàn)崩潰和消失方差問題，它被認(rèn)為不可靠地用于不確定性估計(jì)。這種無效性主要是由于訓(xùn)練過程中兩個損失的不平衡：當(dāng)KL散度占主導(dǎo)地位時，潛在空間后驗(yàn)被迫等于先驗(yàn)，而當(dāng)重建損失占主導(dǎo)地位時，潛在方差被推到零。然而，在我們的方法中，我們通過引入變量對比損失作為額外的正則化器，實(shí)現(xiàn)了更穩(wěn)定的訓(xùn)練，其中方差被驅(qū)使在度量空間中保持聚類中心之間的穩(wěn)健邊界。因此，我們獲得了更可靠的潛在空間方差，反映了雷達(dá)感知的基礎(chǔ)偶然不確定性。我們選擇在特征增加的損失設(shè)置中展示我們特定的學(xué)習(xí)不確定性方法的好處。在這個領(lǐng)域，雷達(dá)位置識別的最新技術(shù)已經(jīng)使用了許多（即超過2個）負(fù)樣本的損失，所以，我們在這個基礎(chǔ)上進(jìn)行了擴(kuò)展。
持續(xù)地圖維護(hù)
持續(xù)地圖維護(hù)是在線系統(tǒng)的一個重要功能，因?yàn)槲覀兊哪繕?biāo)是充分利用在自動駕駛車輛操作期間獲得的掃描數(shù)據(jù)，并以遞歸的方式改進(jìn)地圖。合并新的雷達(dá)掃描到由先前遍歷的掃描組成的父地圖的過程如下所示。每個雷達(dá)掃描都由一個隱藏表示和一個不確定性度量表示。在合并過程中，我們?yōu)槊總€新掃描搜索匹配的正樣本，拓?fù)渚嚯x在閾值以下。如果新掃描的不確定性較低，那么它將被集成到父地圖中并替換匹配的掃描，否則它將被丟棄。
地圖維護(hù)示意圖：紅色和綠色節(jié)點(diǎn)分別代表具有較高和較低不確定性的雷達(dá)掃描。我們始終維護(hù)一個作為每個位置的定位參考的父地圖，該地圖僅由具有最低不確定性的掃描組成。請注意，虛線邊表示父地圖的初始狀態(tài)，實(shí)線邊表示父地圖的更新版本。
通過迭代地執(zhí)行維護(hù)過程，我們可以逐漸提高集成父地圖的質(zhì)量。因此，維護(hù)算法可以作為一種有效的在線部署策略，因?yàn)樗粩嗟乩猛宦肪€遍歷的多次經(jīng)驗(yàn)來提高識別性能，同時保持一個恒定的父地圖大小，從而導(dǎo)致有預(yù)算的計(jì)算和存儲成本。
內(nèi)省查詢
由于與標(biāo)準(zhǔn)高斯分布的測量的模型不確定性，所有維度的估計(jì)方差接近于1。因此，我們可以使用兩個超參數(shù) \Delta 和 N 來完全定義不確定性拒絕的規(guī)模和分辨率。得到的閾值T定義如下：
給定一個具有 m 維潛在方差的掃描，我們對所有維度求平均，得到一個標(biāo)量不確定性度量
預(yù)測拒絕
在推理時，我們執(zhí)行內(nèi)省查詢拒絕，其中方差高于定義閾值的查詢掃描將被拒絕識別?，F(xiàn)有的方法，如 STUN 和 MC Dropout，動態(tài)地將批量樣本的不確定性范圍劃分為閾值級別。然而，這需要在推理過程中有多個樣本，并可能導(dǎo)致不穩(wěn)定的拒絕性能，特別是當(dāng)只有少量樣本時。相比之下，我們的靜態(tài)閾值策略提供了與樣本無關(guān)的閾值級別，并提供了一致的單掃描不確定性估計(jì)和拒絕。這一特性對于實(shí)時部署地點(diǎn)識別系統(tǒng)至關(guān)重要，因?yàn)樵隈{駛過程中，雷達(dá)掃描是逐幀獲得的。
實(shí)驗(yàn)細(xì)節(jié)
本文使用兩個數(shù)據(jù)集：1） Oxford Radar RobotCar 和 2） MulRan。這兩個數(shù)據(jù)集都使用CTS350-X Navtech FMCW 掃描雷達(dá)。雷達(dá)系統(tǒng)在76 GHz到77 GHz的范圍內(nèi)運(yùn)行，可以生成多達(dá)3768個范圍讀數(shù)，分辨率為4.38厘米。
基準(zhǔn)測試 的識別性能是通過與幾種現(xiàn)有方法進(jìn)行比較來完成的，包括原始的 VAE，Gadd et al 提出的最先進(jìn)的雷達(dá)地點(diǎn)識別方法（稱為 BCRadar），以及非學(xué)習(xí)基礎(chǔ)的方法 RingKey（ScanContext 的一部分，沒有旋轉(zhuǎn)細(xì)化）。此外，性能還與 MC Dropout 和 STUN進(jìn)行了比較，這兩種方法作為具有不確定性意識的地點(diǎn)識別基線。
消融研究為了評估我們提出的內(nèi)省查詢（Q）和地圖維護(hù)（M）模塊的有效性，我們通過比較我們方法的不同變體進(jìn)行了消融研究，分別表示為 OURS(O/M/Q/QM)，具體如下：
- O: 沒有地圖維護(hù)，沒有內(nèi)省查詢
- M: 僅地圖維護(hù)
- Q: 僅內(nèi)省查詢
- QM: 地圖維護(hù)和內(nèi)省查詢都有 具體來說，我們比較了 O 和 M 之間的識別性能，以及 Q 和 QM 之間的不確定性估計(jì)性能。
通用設(shè)置為了確保公平的比較，我們?yōu)樗谢趯Ρ葘W(xué)習(xí)的方法采用了一個通用的批次對比損失，從而在基準(zhǔn)測試中實(shí)現(xiàn)了一致的損失函數(shù)。
實(shí)施細(xì)節(jié)
掃描設(shè)置
對于所有方法，我們將具有 A = 400方位和 B = 3768 格的極坐標(biāo)雷達(dá)掃描轉(zhuǎn)換為笛卡爾掃描，每個箱子的大小為 4.38 cm，具有 W = 256的邊長和 0.5 m 的箱子大小。
訓(xùn)練超參數(shù)
我們使用 VGG-19 [^simonyan2014very^] 作為背景特征提取器，并使用一個線性層將提取的特征投影到較低的嵌入維度 d=128。我們在 Oxford Radar RobotCar 中為所有基線訓(xùn)練了 10 個時代，在 MulRan 中為 15 個迭代，學(xué)習(xí)率為 1e{-5}，批次大小為 8。
評估指標(biāo)
為了評估地點(diǎn)識別性能，我們使用 Recall@N (R@N) 指標(biāo)，這是通過確定在 N 個候選者中是否至少有一個候選者接近 GPS/INS 所指示的地面真實(shí)值來確定的本地化的準(zhǔn)確性。這對于自動駕駛應(yīng)用中的安全保證尤為重要，因?yàn)樗从沉讼到y(tǒng)對假陰性率的校準(zhǔn)。我們還使用 Average Precision (AP) 來測量所有召回級別的平均精度。最后，我們使用 F-scores 與 \beta=2/1/0.5 來分配召回對精確度的重要性級別，作為評估整體識別性能的綜合指標(biāo)。
此外，為了評估不確定性估計(jì)性能。我們使用 Recall@RR，在這里我們執(zhí)行內(nèi)省查詢拒絕，并在不同的不確定性閾值級別上評估 Recall@N=1 -- 拒絕所有查詢的掃描的不確定性大于閾值的。我們因此拒絕了 0-100% 的查詢。
結(jié)果總結(jié)
地點(diǎn)識別性能
如 Oxford Radar RobotCar實(shí)驗(yàn)中表格1所示，我們的方法僅使用度量學(xué)習(xí)模塊，在所有指標(biāo)上都取得了最高的性能。具體來說，在 Recall@1 方面，我們的方法 OURS(O) 展示了通過變分對比學(xué)習(xí)框架學(xué)習(xí)的方差解耦表示的有效性，實(shí)現(xiàn)了超過 90.46% 的識別性能。這進(jìn)一步得到了 MulRan 實(shí)驗(yàn)結(jié)果的支持，如表2所示，我們的方法在 Recall@1、總體 F-scores 和 AP 上均優(yōu)于其他所有方法。盡管在 MulRan 實(shí)驗(yàn)中，VAE 在 Recall@5/10 上優(yōu)于我們的方法，但我們的方法在兩種設(shè)置中的最佳 F-1/0.5/2 和 AP 表明，我們的方法具有更高的精確度和召回率，從而實(shí)現(xiàn)了更準(zhǔn)確和穩(wěn)健的識別性能。
Oxford Radar RobotCar識別性能。最佳和次佳的結(jié)果分別為粗體和__下劃線__。
Mulran識別性能。格式同上。
此外，通過進(jìn)一步利用Oxford Radar RobotCar中的持續(xù)地圖維護(hù)，我們能夠?qū)?span> Recall@1 進(jìn)一步提高到 93.67%，超過了當(dāng)前最先進(jìn)的方法 STUN，超出了 4.18%。這進(jìn)一步證明了學(xué)習(xí)方差作為一個有效的不確定性度量，以及基于不確定性的地圖集成策略在提高地點(diǎn)識別性能方面的有效性。
不確定性估計(jì)性能
隨著被拒絕的不確定查詢的百分比增加，識別性能的變化，特別是 Recall@1，在 Oxford Radar RobotCar 實(shí)驗(yàn)中如圖1所示，在 MulRan 實(shí)驗(yàn)中如圖2所示。值得注意的是，我們的方法是唯一一個在兩種實(shí)驗(yàn)設(shè)置中都展示出隨著不確定查詢拒絕率增加而持續(xù)改進(jìn)的識別性能的方法。在MulRan實(shí)驗(yàn)中，OURS(Q) 是唯一一個隨著拒絕率增加而持續(xù)平穩(wěn)地提高 Recall@RR 指標(biāo)的方法。與 VAE 和 STUN 相比，這兩種方法也像我們的方法一樣估計(jì)了模型的不確定性，OURS(Q) 在 Recall@RR=0.1/0.2/0.5 上實(shí)現(xiàn)了 +(1.32/3.02/8.46)% 的改進(jìn)，而 VAE 和 STUN 分別下降了 -(3.79/5.24/8.80)% 和 -(2.97/4.16/6.30)%。
Oxford Radar RobotCar的內(nèi)省查詢拒絕性能。隨著被拒絕的不確定查詢的百分比增加，Recall@1增加/減少。由于 VAE 的性能與其他方法相比較低（具體為Recall@RR=0.1/0.2/0.5的 (48.42/48.08/18.48)%），因此沒有進(jìn)行可視化。
Mulran的內(nèi)省查詢拒絕性能。格式同上。
另一方面，與 MC Dropout 相比，后者估計(jì)了由于數(shù)據(jù)偏見和模型誤差導(dǎo)致的認(rèn)知不確定性，盡管它在Oxford Radar RobotCar實(shí)驗(yàn)的早期階段有更高的 Recall@1 增加，但其性能總體上低于我們的，并且隨著拒絕率進(jìn)一步增加，未能實(shí)現(xiàn)更大的改進(jìn)。最后，比較 OURS(Q) 和 OURS(QM) 在Oxford Radar RobotCar實(shí)驗(yàn)中，我們觀察到 Recall@RR 的變化模式相似，而它們之間存在相當(dāng)大的差距。這表明內(nèi)省查詢和地圖維護(hù)機(jī)制獨(dú)立地為地點(diǎn)識別系統(tǒng)做出了貢獻(xiàn)，每種機(jī)制都以不可或缺的方式利用了不確定性度量。
關(guān)于Off the Radar的討論
定性分析和可視化
為了定性地評估雷達(dá)感知中的不確定性來源，我們提供了使用我們的方法估計(jì)的兩個數(shù)據(jù)集中的高/低不確定性樣本的視覺比較。如圖所示，高不確定性的雷達(dá)掃描通常顯示出重度的運(yùn)動模糊和稀疏的未檢測區(qū)域，而低不確定性的掃描通常包含在直方圖中強(qiáng)度更強(qiáng)的明顯特征。
具有不同不確定性水平的雷達(dá)掃描的可視化。左邊的四個示例來自O(shè)xford Radar RobotCar Dataset，而右邊的四個示例來自MulRan。我們展示了具有最高 (頂部) / 最低 (底部) 不確定性的前10個樣本。雷達(dá)掃描以增強(qiáng)對比度的笛卡爾坐標(biāo)顯示。每個圖像下方的直方圖顯示了從所有方位角提取的強(qiáng)度的RingKey描述符特征。
這進(jìn)一步支持了我們關(guān)于雷達(dá)感知中不確定性來源的假設(shè)，并作為我們的不確定性測量捕獲這種數(shù)據(jù)噪聲的定性證據(jù)。
數(shù)據(jù)集差異
在我們的基準(zhǔn)實(shí)驗(yàn)中，我們觀察到兩個數(shù)據(jù)集之間的識別性能存在相當(dāng)大的差異。我們認(rèn)為可用訓(xùn)練數(shù)據(jù)的規(guī)?？赡苁且粋€合理的原因。Oxford Radar RobotCar的訓(xùn)練集包括超過300Km的駕駛經(jīng)驗(yàn)，而 MulRan數(shù)據(jù)集只包括大約120Km。然而，也考慮到RingKey描述符方法的性能下降。這表明雷達(dá)場景感知中可能存在固有的不可區(qū)分的特征。例如，我們發(fā)現(xiàn)具有稀疏開放區(qū)域的環(huán)境通常導(dǎo)致相同的掃描和次優(yōu)的識別性能。我們在這個數(shù)據(jù)集上展示了在這些高不確定性的情況下我們的系統(tǒng)和各種基線發(fā)生了什么。
原文鏈接：https://mp.weixin.qq.com/s/wu7whicFEAuo65kYp4quow
