本文經(jīng)自動(dòng)駕駛之心公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

原標(biāo)題：GraphAlign: Enhancing Accurate Feature Alignment by Graph matching for Multi-Modal 3D Object Detection

論文鏈接: https://arxiv.org/pdf/2310.08261.pdf

作者單位：北京交通大學(xué) 河北科技大學(xué) 清華大學(xué)

論文思路：

LiDAR 和camera是自動(dòng)駕駛中 3D 目標(biāo)檢測的互補(bǔ)傳感器。然而，探索點(diǎn)云和圖像之間的非自然交互(unnatural interaction)具有挑戰(zhàn)性，關(guān)鍵因素是如何進(jìn)行異構(gòu)模態(tài)的特征對齊。目前，許多方法僅通過投影校準(zhǔn)來實(shí)現(xiàn)特征對齊，沒有考慮傳感器之間的坐標(biāo)轉(zhuǎn)換精度誤差問題，導(dǎo)致性能次優(yōu)。本文提出了 GraphAlign，這是一種通過圖匹配(graph matching)進(jìn)行 3D 目標(biāo)檢測的更準(zhǔn)確的特征對齊策略。具體來說，本文融合圖像分支中語義分割編碼器的圖像特征和 LiDAR 分支中 3D 稀疏 CNN 的點(diǎn)云特征。為了節(jié)省計(jì)算量，本文通過計(jì)算劃分為點(diǎn)云特征的子空間內(nèi)的歐氏距離來構(gòu)造最近鄰關(guān)系。通過圖像和點(diǎn)云之間的投影校準(zhǔn)，將點(diǎn)云特征的最近鄰?fù)队暗綀D像特征上。然后，通過將單個(gè)點(diǎn)云的最近鄰與多個(gè)圖像進(jìn)行匹配，本文搜索更合適的特征對齊。此外，本文提供了一個(gè)自注意力模塊來增強(qiáng)重要關(guān)系的權(quán)重，以微調(diào)異構(gòu)模態(tài)之間的特征對齊。 nuScenes 基準(zhǔn)上的大量實(shí)驗(yàn)證明了本文的 GraphAlign 的有效性和效率。

主要貢獻(xiàn)：

本文提出了 GraphAlign，一種基于圖匹配(graph matching)的特征對齊框架，來解決多模態(tài) 3D 目標(biāo)檢測中的未對齊問題。

本文提出圖特征對齊(Graph Feature Alignment)（GFA）和自注意力特征對齊(Self-Attention Feature Alignment)（SAFA）模塊來實(shí)現(xiàn)圖像特征和點(diǎn)云特征的精確對齊，這可以進(jìn)一步增強(qiáng)點(diǎn)云和圖像模態(tài)之間的特征對齊，從而提高檢測精度。

使用 KITTI [12] 和 nuScenes [2] 基準(zhǔn)進(jìn)行實(shí)驗(yàn)，證明 GraphAlign 可以提高點(diǎn)云檢測精度，特別是對于遠(yuǎn)距離目標(biāo)檢測。

網(wǎng)絡(luò)設(shè)計(jì)：

圖 1. 特征對齊策略的比較

(a) 基于投影的方法可以快速建立模態(tài)特征之間的關(guān)系，但可能會因傳感器誤差而出現(xiàn)未對齊的情況。 (b) 基于注意力的方法通過學(xué)習(xí)對齊來保留語義信息，但計(jì)算成本較高。 (c) 本文提出的 GraphAlign 使用基于圖的特征對齊來匹配模態(tài)之間更合理的對齊，從而減少計(jì)算量并提高準(zhǔn)確性。

圖 2. GraphAlign 的框架。

它由圖特征對齊（GFA）模塊和自注意力特征對齊（SAFA）模塊組成。 GFA模塊以圖像和點(diǎn)云特征作為輸入，使用投影校準(zhǔn)矩陣將3D位置轉(zhuǎn)換為2D像素位置，構(gòu)造局部鄰域信息以查找最近鄰，并結(jié)合圖像和點(diǎn)云特征。 SAFA模塊通過自注意力機(jī)制對K近鄰之間的上下文關(guān)系進(jìn)行建模，從而增強(qiáng)融合特征的重要性，最終選擇最具代表性的特征。

圖 3. GFA 處理流程

(a) 傳感器精度誤差導(dǎo)致未對齊。 (b) GFA通過點(diǎn)云特征中的圖建立鄰近關(guān)系。 (c) 本文將點(diǎn)云特征投影到圖像特征上，并獲得圖像特征的 K 個(gè)最近鄰。 (d) 本文執(zhí)行一對多融合，具體來說，通過將每個(gè)單獨(dú)的點(diǎn)云特征與 K 個(gè)相鄰圖像特征融合來實(shí)現(xiàn)更好的對齊。

圖 4.SAFA 模塊流程

這里簡化了head和max模塊，SAFA模塊旨在通過改善K鄰域之間的全局上下文信息來增強(qiáng)融合特征的表示。

實(shí)驗(yàn)結(jié)果：

引用：

Song, Z., Wei, H., Bai, L., Yang, L., & Jia, C. (2023). GraphAlign: Enhancing Accurate Feature Alignment by Graph matching for Multi-Modal 3D Object Detection. ArXiv. /abs/2310.08261

原文鏈接：https://mp.weixin.qq.com/s/eN6THT2azHvoleT1F6MoSw