本文經(jīng)自動駕駛之心公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

本文是對ECCV2024接受的文章 HTCL: 的介紹，HTCL在SemanticKITTI基準測試中超過了所有基于相機的方法，甚至在和OpenOccupancy基準測試中超過了LiDAR，實現(xiàn)了最先進的性能。代碼已開源，歡迎大家試用和Star~

代碼鏈接：https://github.com/Arlo0o/HTCL
論文鏈接：https://arxiv.org/abs/2407.02077

Demo video 展示：

我們對比了同樣采用時序雙目圖像輸入的VoxFormer-T，并用更少的輸入幀數(shù)（3 vs. 4）取得了更好的預(yù)測效果，在場景整體布局、相機視野外區(qū)域、遠距離動態(tài)物體等的預(yù)測中表現(xiàn)出明顯優(yōu)勢。

Motivation

基于相機的三維語義場景補全（SSC）對于從有限的二維圖像觀測中預(yù)測復(fù)雜的三維場景信息至關(guān)重要。現(xiàn)有的主流解決方案通過對歷史幀信息的粗略堆疊來試圖補充當(dāng)前視角下的不完整觀測，這種簡單的時序建模方式不可避免地減少了有效的視覺線索，增加了模型學(xué)習(xí)難度。

為了解決上述問題，我們提出了HTCL，一種新穎的分層時序上下文學(xué)習(xí)范式，用于改進基于相機的語義場景補全。HTCL將時序上下文學(xué)習(xí)分解為兩個層次步驟：(a)跨幀親和度測量；(b)基于親和度的動態(tài)細化。首先，為了從冗余信息中分離關(guān)鍵相關(guān)上下文，我們提出了尺度感知隔離策略，用于構(gòu)建多個獨立的學(xué)習(xí)模塊，進而建模細粒度上下文對應(yīng)關(guān)系。隨后，為了動態(tài)補償不完整的觀測結(jié)果，我們基于識別出的具有高親和度特征的空間位置及其鄰近的相關(guān)區(qū)域，自適應(yīng)地細化特征采樣位置。

Method

我們提出的分層時序上下文學(xué)習(xí)（HTCL）范式可以有效改進時序特征聚合的可靠性，從而實現(xiàn)精確的三維語義場景補全。HTCL從不同時間幀的RGB圖像中分層地推斷三維語義Occupancy，以實現(xiàn)細粒度的場景理解。如下圖所示，我們提出的分層時時序下文建模包括兩個順序步驟：(1)顯式地測量當(dāng)前幀和歷史幀之間的上下文特征親和力，提取最相關(guān)的高親和度特征；(2)基于高親和力特征的空間位置及其附近的相關(guān)上下文自適應(yīng)地細化采樣位置，以動態(tài)補償不完整的觀測。HTCL在創(chuàng)新性方面主要做出了以下貢獻：

• 提出了一種時序上下文學(xué)習(xí)范式，以用于動態(tài)和可靠的三維語義場景補全。
• 提出了一種具有尺度感知隔離和多個獨立學(xué)習(xí)模塊的親和度測量策略，用于細粒度的上下文對應(yīng)關(guān)系建模。
• 提出了一個基于親和度的動態(tài)細化方案，以重新分配時序上下文信息，并自適應(yīng)地補償不完整的觀測結(jié)果。
• HTCL在SemanticKITTI基準測試中超過了所有基于相機的方法，甚至在和OpenOccupancy基準測試中超過了LiDAR，實現(xiàn)了最先進的性能。

如上圖所示，我們提出的方法整體框架主要由三個部分組成：Aligned Temporal Volume Construction，Voxel Feature Volume Construction，以及Reliable Temporal Aggregation。

效果如下圖所示，跨幀模式親和（CPA）有效地表示了時間內(nèi)容中的上下文對應(yīng)關(guān)系。

鑒于我們的目標是完成并理解與當(dāng)前幀相對應(yīng)的三維場景，因此必須為最相關(guān)的位置分配更大的權(quán)重，同時也需要調(diào)查其鄰近的相關(guān)區(qū)域以彌補不完整的觀察結(jié)果。為此，我們提出基于親和力的動態(tài)細化（ADR），根據(jù)已確定的高親和性位置及其鄰近相關(guān)區(qū)域，用三維可變形卷積自適應(yīng)地改進特征采樣位置。具體來說，我們通過引入基于親和力的對應(yīng)權(quán)重和可變形位置偏移來實現(xiàn)動態(tài)細化:

為了進一步通過分層上下文推理動態(tài)建模，我們通過考慮級聯(lián)的不同特征層上下文信息 ：

Experiment

實驗表明，我們的方法在SemanticKITTI Benchmark上排名第一，并在OpenOccupancy BenchMark中取得了超過基于LiDAR方法的mIoU。

• 定量實驗結(jié)果：

在SemanticKITTI基準測試中，我們提出的方法明顯優(yōu)于所有其他方法。與VoxFomer-T相比，我們的方法即使在較少的歷史輸入（3 vs. 4）中也取得了顯著的相對增益。在OpenOccupancy基準測試中，盡管基于LiDAR的在IoU方面具有固有的優(yōu)勢，但我們的HTCL在mIoU方面超過了所有其他方法（包括基于LiDAR的LMSCNet和JS3C-Net ），證明了我們的方法在語義場景補全方面的有效性。

• 定性試驗結(jié)果：

圖5展示了我們提出的方法與VoxFormer在SemanticKITTI上的定性比較?？梢杂^察到，真實世界的場景非常復(fù)雜，而注釋的地面實況相對稀少，這給從有限的視覺線索中完全重建語義場景帶來了挑戰(zhàn)。與 VoxFormer 相比，我們的方法能捕捉到更完整、更準確的場景布局（如第二行和第三行的十字路口）。此外，我們的方法還能有效地補全攝像機視野外更多合適的景物（如第一行和第二行中的陰影區(qū)域），并在移動物體（如第二行中的卡車）方面表現(xiàn)出明顯的優(yōu)勢。圖6展示了我們的方法在 OpenOccupancy 上的預(yù)測結(jié)果，我們提出的方法與GT相比，可以生成的結(jié)果更密集、更真實的Semantic Occupancy。