本文經(jīng)自動駕駛之心公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

寫在前面&個人理解

多視圖深度估計在各種基準(zhǔn)測試中都取得了較高性能。然而，目前幾乎所有的多視圖系統(tǒng)都依賴于給定的理想相機(jī)姿態(tài)，而這在許多現(xiàn)實(shí)世界的場景中是不可用的，例如自動駕駛。本工作提出了一種新的魯棒性基準(zhǔn)來評估各種噪聲姿態(tài)設(shè)置下的深度估計系統(tǒng)。令人驚訝的是，發(fā)現(xiàn)當(dāng)前的多視圖深度估計方法或單視圖和多視圖融合方法在給定有噪聲的姿態(tài)設(shè)置時會失敗。為了應(yīng)對這一挑戰(zhàn)，這里提出了一種單視圖和多視圖融合的深度估計系統(tǒng)AFNet，該系統(tǒng)自適應(yīng)地集成了高置信度的多視圖和單視圖結(jié)果，以實(shí)現(xiàn)穩(wěn)健和準(zhǔn)確的深度估計。自適應(yīng)融合模塊通過基于包裹置信度圖在兩個分支之間動態(tài)選擇高置信度區(qū)域來執(zhí)行融合。因此，當(dāng)面對無紋理場景、不準(zhǔn)確的校準(zhǔn)、動態(tài)對象和其他退化或具有挑戰(zhàn)性的條件時，系統(tǒng)傾向于選擇更可靠的分支。在穩(wěn)健性測試下，方法優(yōu)于最先進(jìn)的多視圖和融合方法。此外，在具有挑戰(zhàn)性的基準(zhǔn)測試中實(shí)現(xiàn)了最先進(jìn)的性能 （KITTI和DDAD）。

論文鏈接：https://arxiv.org/pdf/2403.07535.pdf

論文名稱：Adaptive Fusion of Single-View and Multi-View Depth for Autonomous Driving

領(lǐng)域背景

從圖像中進(jìn)行深度估計是計算機(jī)視覺中一個長期存在的問題，具有廣泛的應(yīng)用。對于基于視覺的自動駕駛系統(tǒng)來說，感知深度是理解道路物體相關(guān)性和建模3D環(huán)境地圖不可或缺的模塊。由于深度神經(jīng)網(wǎng)絡(luò)被應(yīng)用于解決各種視覺問題，因此基于CNN的方法已經(jīng)主導(dǎo)了各種深度基準(zhǔn)！

根據(jù)輸入格式，主要分為多視角深度估計和單視角深度估計。多視圖方法估計深度的假設(shè)是，給定正確的深度、相機(jī)標(biāo)定和相機(jī)姿態(tài)，各個視圖的像素應(yīng)該相似。他們依靠極線幾何來三角測量高質(zhì)量的深度。然而，多視圖方法的準(zhǔn)確性和魯棒性在很大程度上取決于相機(jī)的幾何配置和視圖之間的對應(yīng)匹配。首先，攝像機(jī)需要進(jìn)行足夠的平移以進(jìn)行三角測量。在自動駕駛場景中，自車可能會在紅綠燈處停車或在不向前移動的情況下轉(zhuǎn)彎，這會導(dǎo)致三角測量失敗。此外，多視圖方法存在動態(tài)目標(biāo)和無紋理區(qū)域的問題，這些問題在自動駕駛場景中普遍存在。另一個問題是運(yùn)動車輛上的SLAM姿態(tài)優(yōu)化。在現(xiàn)有的SLAM方法中，噪聲是不可避免的，更不用說具有挑戰(zhàn)性和不可避免的情況了。例如，一個機(jī)器人或自動駕駛汽車可以在不重新校準(zhǔn)的情況下部署數(shù)年，從而導(dǎo)致姿勢嘈雜。相比之下，由于單視圖方法依賴于對場景的語義理解和透視投影線索，因此它們對無紋理區(qū)域、動態(tài)對象更具魯棒性，而不依賴于相機(jī)姿勢。然而，由于尺度的模糊性，其性能與多視圖方法相比仍有很大差距。在這里，我們傾向于考慮是否可以很好地結(jié)合這兩種方法的優(yōu)勢，在自動駕駛場景中進(jìn)行穩(wěn)健和準(zhǔn)確的單目視頻深度估計。

AFNet網(wǎng)絡(luò)結(jié)構(gòu)

AFNet結(jié)構(gòu)如下所示，它由三個部分組成：單視圖分支、多視圖分支和自適應(yīng)融合（AF）模塊。兩個分支共享特征提取網(wǎng)絡(luò)，并具有自己的預(yù)測和置信度圖，即、，和，然后由AF模塊進(jìn)行融合，以獲得最終準(zhǔn)確和穩(wěn)健的預(yù)測，AF模塊中的綠色背景表示單視圖分支和多視圖分支的輸出。

損失函數(shù)：

單視圖和多視圖深度模塊

AFNet構(gòu)造了一個多尺度解碼器來合并主干特征，并獲得深度特征Ds。通過對Ds的前256個通道沿通道維度應(yīng)用softmax，得到深度概率體積Ps。該特征的最后一個通道用作單視圖深度的置信圖Ms。最后，通過軟加權(quán)和來計算單視圖深度，如下所示：

多視圖分支

多視圖分支與單視圖分支共享主干，以提取參考圖像和源圖像的特征。我們采用去卷積將低分辨率特征去卷積為四分之一分辨率，并將它們與用于構(gòu)建cost volume的初始四分之一特征相結(jié)合。通過將源特征wrap到參考相機(jī)跟隨的假設(shè)平面中，形成特征volume。用于不需要太多的魯棒匹配信息，在計算中保留了特征的通道維度并構(gòu)建了4D cost volume，然后通過兩個3D卷積層將通道數(shù)量減少到1。

深度假設(shè)的采樣方法與單視圖分支一致，但采樣數(shù)量僅為128，然后使用堆疊的2D沙漏網(wǎng)絡(luò)進(jìn)行正則化，以獲得最終的多視圖cost volume。為了補(bǔ)充單視圖特征的豐富語義信息和由于成本正則化而丟失的細(xì)節(jié)，使用殘差結(jié)構(gòu)來組合單視圖深度特征Ds和cost volume，以獲得融合深度特征，如下所示：

自適應(yīng)融合模塊

為了獲得最終準(zhǔn)確和穩(wěn)健的預(yù)測，設(shè)計了AF模塊，以自適應(yīng)地選擇兩個分支之間最準(zhǔn)確的深度作為最終輸出，如圖2所示。通過三個confidence進(jìn)行融合映射，其中兩個是由兩個分支分別生成的置信圖Ms和Mm，最關(guān)鍵的一個是通過前向wrapping生成的置信度圖Mw，以判斷多視圖分支的預(yù)測是否可靠。

實(shí)驗結(jié)果

DDAD（自動駕駛的密集深度）是一種新的自動駕駛基準(zhǔn)，用于在具有挑戰(zhàn)性和多樣化的城市條件下進(jìn)行密集深度估計。它由6臺同步相機(jī)拍攝，并包含高密度激光雷達(dá)生成的準(zhǔn)確的地GT深度（整個360度視場）。它在單個相機(jī)視圖中有12650個訓(xùn)練樣本和3950個驗證樣本，其中分辨率為1936×1216。來自6臺攝像機(jī)的全部數(shù)據(jù)用于訓(xùn)練和測試。KITTI數(shù)據(jù)集，提供運(yùn)動車輛上拍攝的戶外場景的立體圖像和相應(yīng)的3D激光scan，分辨率約為1241×376。

DDAD和KITTI上的評測結(jié)果對比。請注意，* 標(biāo)記了使用其開源代碼復(fù)制的結(jié)果，其他報告的數(shù)字來自相應(yīng)的原始論文。

DDAD上方法中每種策略的消融實(shí)驗結(jié)果。Single表示單視圖分支預(yù)測的結(jié)果，Multi-表示多視圖分支預(yù)測結(jié)果，F(xiàn)use表示融合結(jié)果dfuse。

消融結(jié)果的特征提取網(wǎng)絡(luò)參數(shù)共享和提取匹配信息的方法。