DrivingGaussian：逼真環(huán)視數(shù)據(jù)，駕駛場景重建SOTA
本文經(jīng)自動駕駛之心公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。
原標(biāo)題：DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes
論文鏈接：https://arxiv.org/pdf/2312.07920.pdf
代碼鏈接：https://pkuvdig.github.io/DrivingGaussian/
作者單位：北京大學(xué) Google Research 加州大學(xué)默塞德分校
論文思路：
本文提出 DrivingGaussian，這是一個針對動態(tài)自動駕駛場景的高效率和高效益的框架。對于具有移動物體的復(fù)雜場景，本文首先使用增量靜態(tài)3D高斯 (incremental static 3D Gaussians) 順序漸進(jìn)地對整個場景的靜態(tài)背景進(jìn)行建模。然后，本文利用復(fù)合動態(tài)高斯圖(composite dynamic Gaussian graph) 來處理多個移動物體，單獨(dú)重建每個物體并恢復(fù)它們在場景中的準(zhǔn)確位置和遮擋關(guān)系。本文進(jìn)一步使用 LiDAR 先驗(yàn)進(jìn)行 Gaussian Splatting 來重建具有更多細(xì)節(jié)的場景并保持全景一致性。DrivingGaussian 在駕駛場景重建方面優(yōu)于現(xiàn)有方法，并能夠?qū)崿F(xiàn)具有高保真度和多相機(jī)一致性的逼真環(huán)視合成。
主要貢獻(xiàn)：
據(jù)本文所知，DrivingGaussian是第一個基于 Composite Gaussian Splatting 的大規(guī)模動態(tài)駕駛場景的表示和建?？蚣堋?/p>
引入了兩個新穎的模塊，包括增量靜態(tài)3D高斯 (Incremental Static 3D Gaussians) 和復(fù)合動態(tài)高斯圖(Composite Dynamic Gaussian Graphs)。前者增量地重建靜態(tài)背景，而后者則使用高斯圖對多個動態(tài)物體進(jìn)行建模。在激光雷達(dá)先驗(yàn)的輔助下，該方法有助于在大規(guī)模駕駛場景中恢復(fù)完整的幾何形狀。
綜合實(shí)驗(yàn)表明，DrivingGaussian 在具有挑戰(zhàn)性的自動駕駛基準(zhǔn)測試中優(yōu)于以前的方法，并能夠?qū)Ω鞣N下游任務(wù)進(jìn)行極端情況(corner case)模擬。
網(wǎng)絡(luò)設(shè)計(jì)：
本文介紹了 DrivingGaussian，這是一種表示環(huán)視動態(tài)自動駕駛場景的新穎框架。本文的關(guān)鍵思想是使用來自多個傳感器的順序數(shù)據(jù)對復(fù)雜的駕駛場景進(jìn)行分層建模。本文采用 Composite Gaussian Splatting 將整個場景分解為靜態(tài)背景和動態(tài)物體，分別重建每個部分。具體來說，本文首先使用增量靜態(tài)3D高斯從環(huán)視多相機(jī)視圖順序構(gòu)建綜合場景。然后，本文采用復(fù)合動態(tài)高斯圖來單獨(dú)重建每個運(yùn)動物體，并基于高斯圖將它們動態(tài)地集成到靜態(tài)背景中。在此基礎(chǔ)上，通過 Gaussian Splatting 進(jìn)行全局渲染，捕捉現(xiàn)實(shí)世界中的遮擋關(guān)系，包括靜態(tài)背景和動態(tài)物體。此外，本文在 GS 表示中加入了 LiDAR 先驗(yàn)，與利用隨機(jī)初始化或 SfM[34] 生成的點(diǎn)云相比，它能夠恢復(fù)更精確的幾何形狀并保持更好的多視圖一致性。
大量的實(shí)驗(yàn)表明，本文的方法在公共自動駕駛數(shù)據(jù)集上實(shí)現(xiàn)了最先進(jìn)的性能。即使事先沒有激光雷達(dá)，本文的方法仍然表現(xiàn)出良好的性能，證明了其在重建大規(guī)模動態(tài)場景方面的多功能性。此外，本文的框架支持動態(tài)場景構(gòu)建和極端情況(corner case)模擬，有助于驗(yàn)證自動駕駛系統(tǒng)的安全性和魯棒性。
圖 1. DrivingGaussian 實(shí)現(xiàn)了環(huán)視動態(tài)自動駕駛場景的逼真渲染性能。樸素的方法 [13, 49] 要么在大范圍背景中產(chǎn)生 unpleasant 偽影和模糊，要么難以重建動態(tài)物體和詳細(xì)的場景幾何形狀。DrivingGaussian 首先引入了 Composite Gaussian Splatting 來有效地表示復(fù)雜的環(huán)視駕駛場景中的靜態(tài)背景和多個動態(tài)物體。DrivingGaussian 能夠跨多相機(jī)高質(zhì)量合成環(huán)視視圖，并促進(jìn)長期動態(tài)場景重建。
圖 2.本文方法的總體流程。左：DrivingGaussian 從多傳感器獲取連續(xù)數(shù)據(jù)，包括多相機(jī)圖像和 LiDAR。中：為了表示大規(guī)模動態(tài)駕駛場景，本文提出了 Composite Gaussian Splatting ，它由兩個部分組成。第一部分增量地重建廣泛的靜態(tài)背景，而第二部分使用高斯圖構(gòu)造多個動態(tài)物體并將它們動態(tài)地集成到場景中。右圖：DrivingGaussian 在多個任務(wù)和應(yīng)用場景中展示了良好的性能。
圖 3. 具有增量靜態(tài)3D高斯和動態(tài)高斯圖的 Composite Gaussian Splatting 。本文采用 Composite Gaussian Splatting 將整個場景分解為靜態(tài)背景和動態(tài)物體，分別重建每個部分并整合它們進(jìn)行全局渲染。
實(shí)驗(yàn)結(jié)果：
總結(jié)：
本文介紹了 DrivingGaussian，一種基于所提出的 Composite Gaussian Splatting 來表示大規(guī)模動態(tài)自動駕駛場景的新穎框架。DrivingGaussian 使用增量靜態(tài)3D高斯(incremental static 3D Gaussians)逐步對靜態(tài)背景進(jìn)行建模，并使用復(fù)合動態(tài)高斯圖(composite dynamic Gaussian graph)捕獲多個移動物體。本文進(jìn)一步利用 LiDAR 先驗(yàn)來實(shí)現(xiàn)精確的幾何結(jié)構(gòu)和多視圖一致性。DrivingGaussian 在兩個自動駕駛數(shù)據(jù)集上實(shí)現(xiàn)了最先進(jìn)的性能，實(shí)現(xiàn)了高質(zhì)量的環(huán)視視圖合成和動態(tài)場景重建。
引用：
Zhou, X., Lin, Z., Shan, X., Wang, Y., Sun, D., & Yang, M. (2023). DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes. ArXiv. /abs/2312.07920
