寫在前面&筆者的個(gè)人理解

以視覺為中心的自動(dòng)駕駛系統(tǒng)由于能夠使用相機(jī)等部署經(jīng)濟(jì)型傳感器實(shí)現(xiàn)感知算法模型性能的提升而受到了來自工業(yè)界和學(xué)術(shù)界的廣泛關(guān)注。以視覺輸入的感知算法通過由2D圖像信息來重建3D空間信息實(shí)現(xiàn)了3D目標(biāo)的檢測任務(wù)。這種由2D空間到3D空間的信息轉(zhuǎn)換對(duì)于使自動(dòng)駕駛車輛能夠了解周圍環(huán)境、檢測目標(biāo)并安全導(dǎo)航至關(guān)重要。先前的來自學(xué)術(shù)界和工業(yè)界的相關(guān)研究通過利用 BEV空間表示來處理 2D到3D空間的信息轉(zhuǎn)換，實(shí)現(xiàn)了卓越的3D目標(biāo)感知能力。最近，許多基于視覺的3D柵格占用預(yù)測算法進(jìn)一步提高了感知模塊對(duì)于動(dòng)態(tài)和混亂駕駛場景的理解，突破了研究領(lǐng)域的界限。因此，基于視覺的感知系統(tǒng)已成為可擴(kuò)展自動(dòng)駕駛的主要解決方案之一。

盡管基于視覺的自動(dòng)駕駛技術(shù)取得了令人興奮的進(jìn)展和非常不錯(cuò)的成績，但目前仍然存在一個(gè)關(guān)鍵的限制：這些基于視覺的感知算法模型對(duì)于相機(jī)的配置變化比較敏感，體現(xiàn)在相機(jī)的內(nèi)參和外參兩個(gè)方面。自動(dòng)駕駛模型通常依賴于經(jīng)過良好校準(zhǔn)的相機(jī)傳感器設(shè)置，即使不同車輛或平臺(tái)的攝像頭參數(shù)出現(xiàn)了輕微偏差，也會(huì)顯著降低模型的感知性能，如下圖所示。

在相同和不同配置上部署感知模型的性能結(jié)果比較

由于算法模型缺乏對(duì)傳感器變化的魯棒性，因此在沒有大量重新訓(xùn)練或手動(dòng)調(diào)整的情況下，已經(jīng)訓(xùn)練好的算法模型很難在不同車輛平臺(tái)之間實(shí)現(xiàn)很好的泛化和魯棒性。因此，當(dāng)遇到相機(jī)配置發(fā)生變化時(shí)，就需要為每輛車重新訓(xùn)練一個(gè)單獨(dú)的新感知算法模型，這就會(huì)消耗大量的計(jì)算資源。因此，實(shí)現(xiàn)跨攝像頭配置的泛化對(duì)于以視覺為中心的自動(dòng)駕駛的實(shí)際部署至關(guān)重要。

考慮到上述提到的相關(guān)問題，我們提出了UniDrive算法模型，用于解決在多攝像頭配置下提高感知算法模型的泛化性。此外，我們提出的算法模型可作為現(xiàn)有 3D 目標(biāo)感知方法的即插即用模塊，用于提高感知算法模型對(duì)其相機(jī)參數(shù)變化的魯棒性。我們?cè)贑ARLA框架中以不同的相機(jī)配置下來訓(xùn)練和驗(yàn)證我們提出的算法模型，相關(guān)的實(shí)驗(yàn)結(jié)果證明我們提出的算法模型在不同的相機(jī)配置下，可以顯著降低算法模型感知性能的下降，同時(shí)保持跨不同傳感器設(shè)置的適應(yīng)性。

文章鏈接：https://arxiv.org/pdf/2410.13864

網(wǎng)絡(luò)模型架構(gòu)&技術(shù)細(xì)節(jié)

在詳細(xì)介紹本文提出的算法模型細(xì)節(jié)之前，下圖展示了我們提出的UniDrive算法模型的整體網(wǎng)絡(luò)結(jié)構(gòu)，如下所示。

提出的UniDrive算法模型的整體網(wǎng)絡(luò)結(jié)構(gòu)

虛擬相機(jī)映射誤差

為了評(píng)估虛擬相機(jī)投影方法在 3D 物體檢測任務(wù)中的準(zhǔn)確性，我們提出了一種基于虛擬和原始相機(jī)視圖之間的角度差異的加權(quán)投影誤差度量。該方法考慮了角度偏差和與相機(jī)光學(xué)中心的距離，以提供更穩(wěn)健的誤差評(píng)估。

Angle Error Calculation：對(duì)于每個(gè)角點(diǎn)，我們計(jì)算原始相機(jī)投影和虛擬相機(jī)中對(duì)應(yīng)點(diǎn)之間的角度誤差。我們使用每個(gè)角點(diǎn)與原始相機(jī)光學(xué)中心的距離作為權(quán)重。3D 邊界框的總體誤差是通過將其八個(gè)角點(diǎn)的加權(quán)誤差相加得出的。我們將所有 3D 邊界框的投影誤差相加，以計(jì)算總投影誤差。

優(yōu)化虛擬相機(jī)配置

給定一組多相機(jī)系統(tǒng)，我們的目標(biāo)是設(shè)計(jì)一個(gè)統(tǒng)一的虛擬相機(jī)配置，以最小化所有原始相機(jī)配置的重新投影誤差。為了實(shí)現(xiàn)這一點(diǎn)，我們采用基于協(xié)方差矩陣自適應(yīng)進(jìn)化策略的啟發(fā)式優(yōu)化來找到一組優(yōu)化的虛擬相機(jī)配置。

Optimization Method：我們的優(yōu)化策略首先定義一個(gè)多元正態(tài)分布，整個(gè)的優(yōu)化過程可以用數(shù)學(xué)形式表示如下。

我們?cè)谙旅娴乃惴ㄖ薪o出了詳細(xì)的優(yōu)化過程

實(shí)驗(yàn)結(jié)果&評(píng)價(jià)指標(biāo)

在本次實(shí)驗(yàn)中，我們采用了自動(dòng)駕駛汽車中幾種常用的攝像頭配置情況，這些配置具有不同的攝像頭數(shù)量、位置和視野。這些攝像頭的配置情況可以用下圖進(jìn)行說明，我們還包括 nuScenes 數(shù)據(jù)集的原始配置，其中包含五個(gè) 70° 攝像頭和一個(gè) 110° 攝像頭。

我們進(jìn)行了相關(guān)的實(shí)驗(yàn)來驗(yàn)證我們提出的UniDrive算法模型的有效性，相關(guān)的實(shí)驗(yàn)結(jié)果如下表所示。

通過上表的實(shí)驗(yàn)結(jié)果可以看出，我們展示了BEVFusion和 UniDrive 的 3D 目標(biāo)檢測結(jié)果。這些模型在一種相機(jī)配置上進(jìn)行訓(xùn)練，并在其他不同的相機(jī)配置上進(jìn)行測試。表 1相關(guān)的實(shí)驗(yàn)結(jié)果表明，BEVFusion算法模型在跨相機(jī)配置任務(wù)上部署時(shí)的性能會(huì)大幅下降，在其他配置上幾乎無法使用。如表 2 的實(shí)驗(yàn)結(jié)果所示，我們使用即插即用的UniDrive 框架訓(xùn)練模型。與 BEVFusion相比，檢測性能得到顯著提高。我們的方法在跨相機(jī)配置任務(wù)上僅經(jīng)歷很小的性能下降。

此外，為了更加直觀的展示我們算法模型的有效性，我們?cè)谙聢D中展示了更多模型檢測結(jié)果，全面展示了我們框架的有效性。

此外，為了證明優(yōu)化在 UniDrive 中的重要性，我們?cè)谏蠄D中比較了優(yōu)化的虛擬攝像頭配置和直觀配置之間的感知性能。直觀的虛擬攝像頭配置將所有攝像頭置于車頂?shù)闹行?。如圖所示，雖然與 BEVFusion相比，直觀設(shè)置（未優(yōu)化）也顯著改善了跨攝像頭配置感知性能，但它對(duì)某些配置表現(xiàn)出明顯的偏好，而對(duì)其他配置的表現(xiàn)不佳。相比之下，優(yōu)化的虛擬攝像頭參數(shù)表現(xiàn)出更大的適應(yīng)性，在各種配置中表現(xiàn)出相對(duì)一致的性能。這對(duì)于自動(dòng)駕駛中多個(gè)多攝像頭感知系統(tǒng)的并發(fā)開發(fā)至關(guān)重要。

我們也驗(yàn)證了攝像頭高度對(duì)于模型性能的影響。攝像頭垂直位置的變化會(huì)顯著影響感知性能，因?yàn)椴煌叨鹊臄z像頭會(huì)捕捉具有不同幾何特征的圖像。我們專門針對(duì) 1.6 米、1.4 米、1.8 米和 2.5 米的不同攝像頭高度進(jìn)行了實(shí)驗(yàn)。我們?cè)?.6 米上訓(xùn)練模型，并在其他配置上進(jìn)行測試。如下圖所示。面對(duì)不同的攝像頭高度，BEVFusion的性能大幅下降超過 10%。相比之下，UniDrive 在不同攝像頭高度上的性能顯著提高，表現(xiàn)出增強(qiáng)的穩(wěn)健性，性能僅下降 3.0%。

結(jié)論

在本文中，我們提出了UniDrive算法框架，用于增強(qiáng)以視覺為中心的自動(dòng)駕駛模型在不同攝像頭配置中的泛化能力。在CARLA 中的大量實(shí)驗(yàn)驗(yàn)證了我們提出的UniDrive的有效性以及強(qiáng)大的泛化能力。此外，我們的框架不僅可以作為現(xiàn)有 3D 感知模型的即插即用模塊，而且為更通用、更可擴(kuò)展的自動(dòng)駕駛解決方案提供了可能。