本文經(jīng)自動駕駛之心公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

• 論文鏈接：https://browse.arxiv.org/pdf/2402.00637.pdf
• 視頻鏈接：https://youtu.be/JmSLBBL9Ruo

本文介紹了魚眼相機與超聲傳感器融合實現(xiàn)鳥瞰圖中近場障礙物感知。準(zhǔn)確的障礙物識別是自動駕駛近場感知范圍內(nèi)的一項基本挑戰(zhàn)。傳統(tǒng)上，魚眼相機經(jīng)常用于全面的環(huán)視感知，包括后視障礙物定位。然而，這類相機的性能在弱光照條件、夜間或者受到強烈陽光照射時會顯著下降。相反，像超聲傳感器這類成本較低的傳感器在這些條件下基本不受影響。因此，本文提出了首個端到端的多模態(tài)融合模型，其利用魚眼相機和超聲傳感器在鳥瞰圖（BEV）中實現(xiàn)高效的障礙物感知。最初，采用ResNeXt-50作為一組單模態(tài)編碼器，以提取每個模態(tài)特有的特征。隨后，與可見光譜相關(guān)聯(lián)的特征空間被轉(zhuǎn)換為BEV。這兩種模態(tài)的融合是通過級聯(lián)來實現(xiàn)的。同時，基于超聲頻譜的單模態(tài)特征圖通過內(nèi)容感知的空洞卷積，用于緩解融合特征空間中兩種傳感器之間的傳感器錯誤對齊。最后，融合的特征被兩階段語義占用編碼器用來生成用于精確障礙物感知的逐網(wǎng)格預(yù)測。本文進行了系統(tǒng)性研究，以確定兩種傳感器多模態(tài)融合的最優(yōu)策略。本文深入展示了數(shù)據(jù)集創(chuàng)建過程、標(biāo)注指南，并且進行全面的數(shù)據(jù)分析，以確保充分覆蓋所有場景。當(dāng)應(yīng)用于本文數(shù)據(jù)集時，結(jié)果證明了本文所提出的多模態(tài)融合方法的魯棒性和有效性。

本文主要貢獻

• 引入了一種新型的多傳感器深度網(wǎng)絡(luò)，其專門為鳥瞰圖中的近場障礙物感知而設(shè)計。本文所提出的網(wǎng)絡(luò)結(jié)合了魚眼相機和超聲傳感器系統(tǒng)，這是首次朝著該方向努力；
• 建立了構(gòu)建包括魚眼相機和超聲傳感器數(shù)據(jù)的多傳感器數(shù)據(jù)集的策略。本文定義了標(biāo)注規(guī)則，并且提供了相關(guān)的數(shù)據(jù)統(tǒng)計，這對于構(gòu)建適用于類似應(yīng)用的多模態(tài)模型是至關(guān)重要的；
• 本文描述了一個實現(xiàn)非常高精度的端到端可訓(xùn)練網(wǎng)絡(luò)的實現(xiàn)過程。此外，本文還提出了對proposal進行重構(gòu)，以支持具有單模態(tài)輸入的相同特征，從而對基于多模態(tài)解決方案的優(yōu)勢進行深入分析；
• 本文進行了全面的消融研究，涉及各種提出的網(wǎng)絡(luò)組件、不同的特征融合技術(shù)、不同的增強方法和各種損失函數(shù)。

原文鏈接：https://mp.weixin.qq.com/s/B0zQZ2_SapKuynG2qis1ug