紐約大學(xué)和博世最新AdaOcc:自適應(yīng)分辨率占用預(yù)測
- 論文鏈接:https://arxiv.org/pdf/2408.13454
- 代碼鏈接:https://github.com/ai4ce/Bosch-NYU-OccupancyNet/
摘要
本文介紹了AdaOcc:自適應(yīng)分辨率占用預(yù)測。在復(fù)雜的城市場景中實現(xiàn)自動駕駛需要3D感知既全面又精確。傳統(tǒng)的3D感知方法著重于目標(biāo)檢測,導(dǎo)致缺乏環(huán)境細(xì)節(jié)信息的稀疏表示。最近的方法估計車輛周圍的3D占用,以獲得更全面的場景表示。然而,稠密的3D占用預(yù)測提高了計算需求,給效率和分辨率之間的平衡帶來挑戰(zhàn)。高分辨率占用柵格提供了準(zhǔn)確性,但是需要大量的計算資源,而低分辨率柵格效率高,但是缺乏細(xì)節(jié)信息。為了解決這一難題,本文引入了AdaOcc,這是一種新的自適應(yīng)分辨率、多模態(tài)的預(yù)測方法。本文方法將以目標(biāo)為中心的3D重建和整體占用預(yù)測集成到一個框架內(nèi),僅在感興趣區(qū)域(ROIs)內(nèi)進(jìn)行高度精細(xì)且精確的3D重建。這些高度精細(xì)的3D表面以點云表示,因此其精度不受占用地圖的預(yù)定義柵格分辨率所限制。本文在nuScenes數(shù)據(jù)集上進(jìn)行全面實驗,證明了相比于現(xiàn)有方法具有顯著改進(jìn)。在近距離場景中,本文方法在IOU上超過先前的基線13%,在Hausdorff距離上超過了40%。總之,AdaOcc提供了更通用、更有效的框架,能夠在各種駕駛場景中提供準(zhǔn)確的3D語義占用預(yù)測。
主要貢獻(xiàn)
本文的貢獻(xiàn)總結(jié)如下:
1)本文提出了一種多模態(tài)自適應(yīng)分辨率方法,在關(guān)鍵區(qū)域中提供了三種高精度的輸出表示,同時維持實時應(yīng)用的效率;
2)本文開發(fā)了一種有效的聯(lián)合訓(xùn)練范式,可以增強占用預(yù)測和目標(biāo)折疊分支之間的協(xié)同作用;
3)本文方法在nuScenes數(shù)據(jù)集上展現(xiàn)出卓越的精度,特別是在需要精確行為的近距離場景中表現(xiàn)出色。
論文圖片和表格
總結(jié)
總之,本文所提出的方法提供了一種多模態(tài)自適應(yīng)分辨率方法,在關(guān)鍵區(qū)域中提供了三種具有高精度表面的輸出表示,同時確保了實時應(yīng)用的效率。此外,本文還開發(fā)了一種有效的聯(lián)合訓(xùn)練范式,以增強占用和折疊網(wǎng)絡(luò)之間的協(xié)同作用,從而提高近距離占用預(yù)測的性能。本文方法在nuScenes數(shù)據(jù)集上展現(xiàn)出卓越的精度,突出了對精細(xì)表面重建的注重。
局限性:本文發(fā)現(xiàn),聯(lián)合訓(xùn)練方法沒有顯著提高目標(biāo)檢測任務(wù)的質(zhì)量。需要進(jìn)一步研究粗略占用預(yù)測和目標(biāo)表面重建之間的相互作用,以提高不同表示之間的一致性。此外,通過更高級的并行化設(shè)計,能夠進(jìn)一步優(yōu)化統(tǒng)一框架的效率。