本文經(jīng)自動駕駛之心公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

原標(biāo)題：Multi-Modal Sensor Fusion and Object Tracking for Autonomous Racing

論文鏈接：https://arxiv.org/pdf/2310.08114.pdf

代碼鏈接：https://github.com/TUMFTM/FusionTracking

作者單位：慕尼黑工業(yè)大學(xué)

期刊：IEEE TRANSACTIONS ON INTELLIGENT VEHICLES

論文思路：

對周圍目標(biāo)的可靠檢測和跟蹤是自動駕駛車輛綜合運(yùn)動預(yù)測和規(guī)劃必不可少的。由于單個傳感器的局限性，需要多傳感器模態(tài)融合來提高整體檢測能力。此外，魯棒運(yùn)動跟蹤對于降低傳感器噪聲的影響，提高狀態(tài)估計精度至關(guān)重要。自動駕駛汽車軟件的可靠性在復(fù)雜、競爭激烈的高速場景下變得更加重要。本文提出了一種適用于高速應(yīng)用的模塊化多模態(tài)傳感器融合與跟蹤方法。該方法基于擴(kuò)展卡爾曼濾波器(Extended Kalman Filter) (EKF)，能夠融合異構(gòu)檢測輸入來一致地跟蹤周圍物體。一種新穎的延遲補(bǔ)償方法能夠減少感知軟件延遲的影響，并輸出一個更新的目標(biāo)列表。這是第一個在Indy Autonomous Challenge 2021和CES (AC@CES) 2022的高速現(xiàn)實場景中驗證的融合和跟蹤方法，證明了它在嵌入式系統(tǒng)上的魯棒性和計算效率。它不需要任何標(biāo)記數(shù)據(jù)，實現(xiàn)0.1 m以下的位置跟蹤殘差(residuals)。

主要貢獻(xiàn)：

一種用于多模態(tài)異構(gòu)檢測的模塊化后期融合方法

一種通過運(yùn)動學(xué)前后積分(kinematic backward-forward integration)進(jìn)行延遲補(bǔ)償?shù)母兄浖?/p>

跟蹤算法在完整的自動駕駛軟件中的實際應(yīng)用中得到驗證，用于速度高達(dá) 270  的自動駕駛賽車 [4]、[5]。

網(wǎng)絡(luò)設(shè)計：

基于這些問題，將本文的問題表述如下：本文希望提供一種魯棒的融合和跟蹤方法，該方法能夠可靠地處理多種異構(gòu)傳感器模態(tài)，并一致且準(zhǔn)確地跟蹤周圍物體的運(yùn)動。該方法應(yīng)在現(xiàn)實世界中適用于高速自動駕駛的軟件堆棧，這需要低延遲并考慮感知軟件延遲。此外，無需標(biāo)注數(shù)據(jù)即可適用。本文解決這個問題的后期融合和目標(biāo)跟蹤方法的構(gòu)建如下。多模態(tài)后期融合可以處理來自多個異構(gòu)檢測 pipeline 的輸入。原始輸入會被過濾以查找偏離軌道的目標(biāo)以及每個目標(biāo)的多次檢測。然后，基于距離的匹配將過濾后的目標(biāo)列表與當(dāng)前跟蹤的目標(biāo)按時間順序關(guān)聯(lián)起來。如果匹配成功，則將擴(kuò)展卡爾曼濾波器 (EKF) 應(yīng)用于運(yùn)動模型以進(jìn)行狀態(tài)估計。該方法的一個重要特征是延遲補(bǔ)償：由于檢測輸入的延遲，在觀測存儲中應(yīng)用向后搜索來獲取傳感器時間戳處的跟蹤目標(biāo)。然后，歷史狀態(tài)的優(yōu)化狀態(tài)估計與運(yùn)動學(xué)模型前向集成，以將所有存儲 entries 更新到當(dāng)前時間戳。通過這種方式，運(yùn)動預(yù)測和自我運(yùn)動規(guī)劃接收周圍目標(biāo)的更新、優(yōu)化的軌跡。圖 1 顯示了 2022 年 CES (AC@CES) 自動駕駛挑戰(zhàn)賽上記錄的所提出方法的典型場景，包括脫軌濾波器（黑色）、延遲感知（橙色虛線）和補(bǔ)償優(yōu)化狀態(tài)估計（橙色立方體）。

圖 1. AC@CES 2022 上提出的多模態(tài)目標(biāo)融合和跟蹤方法的真實場景（行駛方向：左）。

圖2.多模態(tài)傳感器融合和目標(biāo)跟蹤方法的接口（黑色）和結(jié)構(gòu)。

圖 3. AC@CES 2022 上的示例高速現(xiàn)實場景。ego 速度為 255 ，物體速度為 233  。

圖 4. LiDAR（藍(lán)色）和 RADAR（橙色）檢測輸入數(shù)據(jù)的數(shù)據(jù)分析。

實驗結(jié)果：

圖 5. 從傳感器時間戳到 LiDAR（藍(lán)色）和 RADAR（橙色）跟蹤 subscription 的延遲分布（以毫秒為單位）（左）和移動距離（以米為單位）（右）。

圖 6. 融合系統(tǒng)（黑色）、LiDAR（藍(lán)色）和 RADAR（橙色）檢測輸入在不同觀測時間的殘差(Residual error)。

引用：

Karle, P., Fent, F., Huch, S., Sauerbeck, F., & Lienkamp, M. (2023). Multi-Modal Sensor Fusion and Object Tracking for Autonomous Racing. ArXiv. https://doi.org/10.1109/TIV.2023.3271624

原文鏈接：https://mp.weixin.qq.com/s/v4Mmghz-g5iKSQ4S4oSM_A