閉環(huán)仿真日新月異的今天,如何緊跟節(jié)奏?自動駕駛3DGS最新綜述!
寫在前面
NeRF技術(shù)興起于2020年,自此掀起了三維重建領(lǐng)域新一輪的革新風(fēng)暴。三年時間飛逝,新的算法和改進(jìn)層出不窮,其視覺質(zhì)量逐步提高突破。并且在該技術(shù)的支持下,許多領(lǐng)域都取得了突破性的成果。近幾年的頂會上也涌現(xiàn)出大量關(guān)于NeRF的文章,NeRF已經(jīng)逐漸成為世界計(jì)算機(jī)視覺領(lǐng)域里面的一個非常主流的領(lǐng)域。為何NeRF會在短時間內(nèi)受到如此廣泛的重視?這是因?yàn)橄啾扔趥鹘y(tǒng)幾何的三維重建方法,NeRF更加簡單且逼真。若要對NeRF"更簡單、更逼真"的優(yōu)勢進(jìn)行深刻了解,就需要進(jìn)一步了解傳統(tǒng)幾何三維重建與NeRF三維重建的pipeline。
自動駕駛需要三維重建技術(shù)來幫助車輛更好地了解周圍環(huán)境(如駕駛場景理解、同步定位和建圖以及城市場景重構(gòu))。重建技術(shù)可重建車輛周圍的環(huán)境,為自動駕駛系統(tǒng)提供更準(zhǔn)確的環(huán)境信息。這有助于自動駕駛系統(tǒng)更好地規(guī)劃駕駛路徑,避免碰撞,提高駕駛安全性。圖1展示了自動駕駛與3D重建技術(shù)之間的關(guān)系。
圖1 自動駕駛與3D重建技術(shù)的關(guān)系示意圖
在三維場景重建方法中,主動式重建技術(shù)由于其設(shè)備成本高、檢測速度慢和算法泛化差等原因,因而在室外場景的應(yīng)用中表現(xiàn)不佳。以多視角立體視覺法為研究重點(diǎn)的被動式重建技術(shù)采集速度快、設(shè)備效益高、整體系統(tǒng)的靈活性和魯棒性強(qiáng),而其中神經(jīng)輻射場(Neural Radiance Field,NeRF)作為計(jì)算機(jī)視覺領(lǐng)域隱式輻射場的代表,以其高度逼真的渲染質(zhì)量、自由靈活的場景表示和端到端的學(xué)習(xí)框架受到研究人員的喜愛。
但NeRF per-pixel ray marching的原理天然使得效率低、過度平滑且容易發(fā)生災(zāi)難性遺忘。因此研究人員開始思考,有沒有更好更快的三維場景表達(dá)形式,以實(shí)現(xiàn)高質(zhì)量重建。
至此3DGS問世。
三維高斯噴濺(3D Gaussian Splatting, 3D GS)結(jié)合了顯式輻射場的數(shù)據(jù)存儲優(yōu)勢和隱式輻射場的網(wǎng)絡(luò)優(yōu)化特點(diǎn),實(shí)現(xiàn)了高速度運(yùn)行、高質(zhì)量渲染和高可靠交互的目標(biāo),刷新了三維場景重建的各項(xiàng)指標(biāo)SOTA,有望為高級別自動駕駛的實(shí)現(xiàn)提供強(qiáng)有力的技術(shù)支持。
原始的3DGS算法聚焦在靜態(tài)場景的重建,但自動駕駛場景卻是動靜態(tài)場景的結(jié)合,因此最開始在自動駕駛中的應(yīng)用受到了一定的限制。而自4DGS問世以來,這種限制逐漸被打破。
為了基于3D GS的場景重建技術(shù)在自動駕駛領(lǐng)域得到更全面更廣泛的普及與推廣,本文梳理了3D GS有關(guān)主題材料,并側(cè)重于展現(xiàn)其優(yōu)異的整體性能和蓬勃的發(fā)展態(tài)勢。本文的重點(diǎn)在于探究基于3D GS的場景重建技術(shù)的發(fā)展脈絡(luò),其在自動駕駛領(lǐng)域的應(yīng)用情況以及目前面臨的挑戰(zhàn)與研究前沿。本文的結(jié)構(gòu)框架概略圖如圖1所示,具體介紹如下:第2節(jié)主要介紹3D GS研究背景,包括三維場景重建方法以及3D GS有關(guān)研究進(jìn)展。第3節(jié)介紹了3D GS的主體模塊,并重點(diǎn)揭示了3D GS核心公式的推導(dǎo)過程。第4節(jié)論述了3D GS在自動駕駛領(lǐng)域三個主要方面的應(yīng)用,展現(xiàn)其靈活高效的優(yōu)勢。第5節(jié)強(qiáng)調(diào)了在自動駕駛領(lǐng)域3D GS的進(jìn)一步研究方向,挖掘其潛在能力。本文的宗旨是以通俗易懂的方式帶領(lǐng)讀者了解3D GS這一種新興技術(shù)在自動駕駛領(lǐng)域的研究情況,為研究人員思考如何促進(jìn)高級別自動駕駛的實(shí)現(xiàn)提供有益幫助。
圖2 論文框架示意圖
1 主要貢獻(xiàn)
第一點(diǎn)是全面的最新綜述。我們的調(diào)查報(bào)告對自動駕駛中的3D GS進(jìn)行了廣泛和最新的綜述,涵蓋了3D場景重建方法的經(jīng)典和前沿方法。
第二點(diǎn)是核心公式的數(shù)學(xué)介紹。我們的研究詳細(xì)闡述了3D GS的數(shù)學(xué)基礎(chǔ),推導(dǎo)并說明了核心數(shù)學(xué)公式。
第三點(diǎn)是對未來方向的洞察。我們的調(diào)查分析了目前3D GS在自動駕駛方面的技術(shù)局限性,為未來研究提出了一些研究方向。
我們的調(diào)查可以為研究人員了解、探索、應(yīng)用這種新穎的研究方法提供一個有效、便捷的途徑,促進(jìn) 3D GS 在自動駕駛領(lǐng)域的發(fā)展和應(yīng)用。
引用格式如下:Zhu, H., Zhang, Z., Zhao, J. et al. Scene reconstruction techniques for autonomous driving: a review of 3D Gaussian splatting. Artif Intell Rev 58, 30 (2025). https://doi.org/10.1007/s10462-024-10955-4
2 研究背景回顧
三維場景重建方法依據(jù)設(shè)備采集數(shù)據(jù)方式的不同可以分為主動式重建技術(shù)和被動式重建技術(shù)。主動式重建技術(shù)指的是數(shù)據(jù)采集設(shè)備(如LiDAR或3D掃描儀等)主動發(fā)射信號(如激光、聲波、電磁波等)至目標(biāo)物體,并接收回波以解析目標(biāo)的深度信息,通過數(shù)值逼近的方法來重建三維輪廓。其中,面向自動駕駛的代表方法有結(jié)構(gòu)光法、TOF激光飛行時間法、三角測距法等。相較于主動式重建技術(shù),被動式重建技術(shù)可以基于自然場景光照而得到圖像數(shù)據(jù),通過特定算法解算得到物體的立體空間信息。由于其具備設(shè)備成本低廉、應(yīng)用部署快速和算法魯棒性高等優(yōu)點(diǎn),因此被動式重建技術(shù)在室外場景重建受到廣泛應(yīng)用。其中,面向自動駕駛的代表方法有單目視覺法(Monocular Stereo Vision,MSV)、雙目視覺法(Binocular Stereo Vision,BSV)和多視角立體視覺法(Multi-View Stereo,MVS)等。MSV僅使用一臺攝像設(shè)備拍攝照片即可完成三維場景重建,其代表算法有陰影恢復(fù)形狀法、紋理恢復(fù)形狀法和輪廓恢復(fù)形狀法等。MVS在BSV的基礎(chǔ)上進(jìn)一步增加相機(jī)和視角數(shù)量,依據(jù)多張已知相機(jī)姿態(tài)的圖像聯(lián)立建立密集的對應(yīng)關(guān)系,得到場景物體表面密集的三維點(diǎn)云[31]。MVS不依賴于特定外界環(huán)境條件,精度高、采集快、成本低,是三維場景重建技術(shù)中的熱門研究領(lǐng)域和重點(diǎn)難點(diǎn)領(lǐng)域。MVS依據(jù)處理方式的不同可以分為傳統(tǒng)方法和深度學(xué)習(xí)方法兩大類。傳統(tǒng)MVS重建方法主要依靠視差和幾何約束的思想來對三維場景進(jìn)行重建,其場景幾何的數(shù)學(xué)表示主要有體素、網(wǎng)格、點(diǎn)云和深度圖四大類[32]。基于深度學(xué)習(xí)的MVS重建方法將其他方法的優(yōu)秀思想引入神經(jīng)網(wǎng)絡(luò),在重建質(zhì)量、自動化程度和效率方面取得了顯著進(jìn)步?;贜eRF的三維場景重建算法具有出色的多視角一致性和連續(xù)性,無需顯式三維標(biāo)注,適應(yīng)性強(qiáng)、易擴(kuò)展,成為場景重建的重要研究方法之一。
但NeRF主要使用隱式的基于坐標(biāo)的模型將空間坐標(biāo)映射到像素值,使用體渲染和神經(jīng)網(wǎng)絡(luò)進(jìn)行直接渲染,計(jì)算要求嚴(yán)、渲染時間過長、訓(xùn)練成本高。在這種背景下,三維高斯?jié)姙R(3D Gaussian Splatting,3D GS)技術(shù)的出現(xiàn)作為一種范式轉(zhuǎn)換方法,重新定義了場景重建與渲染的邊界。如圖3所示,相較于主流的NeRF算法,3D GS既保留了高質(zhì)量場景重建的優(yōu)點(diǎn),又確保在短時間內(nèi)實(shí)現(xiàn)SOTA級別的實(shí)時渲染效果,成為2023年末席卷三維場景重建領(lǐng)域的重要且突出的研究方法。
圖3 3D GS與主流NeRF算法的重建質(zhì)量與運(yùn)行速度比較
自從法國蔚藍(lán)海岸大學(xué)(Université C?te d’Azur,UAC)于2023年8月開源3D GS項(xiàng)目后,學(xué)術(shù)界掀起了軒然大波,各類衍生模型層出不窮。在自動駕駛領(lǐng)域,3D GS同樣革新了三維場景重建和局部環(huán)境感知技術(shù)。面對蓬勃發(fā)展的自動駕駛技術(shù),以3D GS為代表的場景重建技術(shù)在確保自動駕駛車輛安全、可靠行駛方面發(fā)揮著至關(guān)重要的作用。3D GS通過對周圍環(huán)境的精確感知和快速建模,為自動駕駛系統(tǒng)提供了豐富的環(huán)境信息,幫助車輛更好地理解周圍環(huán)境,從而做出更安全、更有效的駕駛決策。目前,已有一定的文獻(xiàn)對3D GS的應(yīng)用情況進(jìn)行了綜述總結(jié),但是這些文獻(xiàn)涵蓋范圍較廣,關(guān)于自動駕駛領(lǐng)域的針對性不強(qiáng)。
3 3D GS數(shù)學(xué)機(jī)理
NeRF與3D GS之間一個重大的區(qū)別在于輻射場的顯隱式表達(dá)。輻射場是一種量化三維空間中光的強(qiáng)度、分布、效果等參數(shù)的模型,可以被函數(shù)式(1)表示。
三維場景重建技術(shù)采用體素、點(diǎn)云等顯式輻射場表示方式的一大考慮是其非常適合基于GPU/CUDA的快速光柵化。3D GS采取靈活高效的表達(dá)策略,使用3D高斯來對三維場景進(jìn)行重建,并結(jié)合NeRF的網(wǎng)絡(luò)特性來合理優(yōu)化系列參數(shù)。這種融合顯隱式的場景重建模式既利用了顯式存儲數(shù)據(jù)的可查詢、可編輯性質(zhì),又吸收了隱式匹配優(yōu)化數(shù)據(jù)的自動性、準(zhǔn)確性,在保證高效的形狀表示、高質(zhì)量的渲染能力同時又具有快速的訓(xùn)練速度和實(shí)時性能。
原始3D GS模型主要基于三個模塊:3D Gaussians表示模塊,屬性優(yōu)化模塊和實(shí)時渲染模塊,其主要流程圖如圖3所示。綜合來看,3D GS通過三個關(guān)鍵模塊的緊密集成,成功地解決了三維重建領(lǐng)域現(xiàn)有算法在速度和質(zhì)量之間的權(quán)衡問題。3D Gaussians表示模塊提供了對復(fù)雜三維形狀的緊湊和連續(xù)描述,屬性優(yōu)化模塊確保了高斯函數(shù)能夠精確地匹配輸入數(shù)據(jù),而實(shí)時渲染模塊利用GPU加速的高效算法實(shí)現(xiàn)了高質(zhì)量渲染、快速渲染和動態(tài)更新。這三個模塊相互補(bǔ)充,共同實(shí)現(xiàn)了在保持高質(zhì)量視覺效果的同時,3D GS可以提供快速響應(yīng)和實(shí)時性能,從而在速度和質(zhì)量之間取得了理想的平衡。
圖4 3D GS三大模塊的流程示意圖
可微分3D GS方法具備可微分體積表示法的特性,可以對渲染結(jié)果進(jìn)行反向傳播梯度,從而實(shí)現(xiàn)基于梯度的優(yōu)化;并且又不需要像傳統(tǒng)的結(jié)構(gòu)化體素表示法將三維空間劃分為規(guī)則的網(wǎng)格,而可以直接在任意位置進(jìn)行采樣和渲染;同時通過對三維空間中的點(diǎn)進(jìn)行高斯分布采樣,根據(jù)采樣結(jié)果計(jì)算顏色和密度可以明確渲染過程,從而實(shí)現(xiàn)快速混合渲染?;谝陨咸匦?,可微分3D GS基于無法向的稀疏(SfM)點(diǎn)集完成高質(zhì)量新視圖合成的目標(biāo),可以作為一種高效場景表示法來進(jìn)行三維場景重建。3D GS的數(shù)學(xué)推導(dǎo)部分主要由多元高斯函數(shù)的表示、高斯體的初始化和高斯體的噴濺三部分組成[99-101]:
3.1 多元高斯函數(shù)的表示
3.2 高斯體的初始化
3.3 高斯體的噴濺
傳統(tǒng)光柵化是3D圖形渲染中的一個關(guān)鍵步驟,它的主要任務(wù)是將三維空間中的幾何形狀(通常是三角形)轉(zhuǎn)換成二維屏幕上的像素,并對其進(jìn)行著色從而生成最終的圖像。在現(xiàn)代的圖形處理單元(GPU)管線中,光柵化過程通常是由硬件自動完成的,因此3D GS需要自主設(shè)計(jì)和優(yōu)化CUDA內(nèi)核以實(shí)現(xiàn)光柵化程序。3D GS將高斯體投影到投影平面后得到的2D圖形稱為噴濺(Splatting)。
4 3D GS在自動駕駛中的應(yīng)用
4.1 新視角合成
新視角合成就是這樣一種將三維場景轉(zhuǎn)換到新的視角的技術(shù),它通過三維重建算法(如表面重建、體繪制等)來創(chuàng)建周圍環(huán)境的三維模型,并將其轉(zhuǎn)換到新的視角。在實(shí)際應(yīng)用過程中,3D GS憑借其高效的點(diǎn)云處理速度、魯棒的表面重建流程、實(shí)時的數(shù)據(jù)處理性能和靈活的視角轉(zhuǎn)換過程等優(yōu)勢為新視角合成研究注入了新的活力。針對對于具有反射表面的場景(尤其是離散3D高斯模型)的渲染問題,Yingwenqi Jiang等人提出了一種名為GaussianShader的新型模型。GaussianShader基于3D高斯模型的最短軸方向提出了一種新的法線估計(jì)框架,并設(shè)計(jì)了一個細(xì)致的損失函數(shù),以使法線和高斯球的幾何形狀保持一致,在效率和視覺質(zhì)量之間取得了良好的進(jìn)步和平衡。面對單目和小鏡頭重建技術(shù)面對的場景物體存在相互遮擋或缺乏紋理,光照條件和動態(tài)場景存在變化以及場景絕對尺度的不確定性。David Charatan等人提出了一種前向模型pixelSplat,使用3D高斯基元從圖像對中重建3D輻射場,解決了廣角新視角綜合的問題。同時,部分研究人員結(jié)合3D GS的顯式結(jié)構(gòu)特點(diǎn)和其他方法的優(yōu)異特性,在新視角合成領(lǐng)域不斷刷新各項(xiàng)指標(biāo)記錄。
4.2 場景理解
新視角合成任務(wù)的目標(biāo)是融合現(xiàn)有數(shù)據(jù)創(chuàng)建一個統(tǒng)一的三維場景表示,以便車輛能夠準(zhǔn)確理解當(dāng)前環(huán)境。而場景理解的任務(wù)便是對環(huán)境信息進(jìn)行分析、解釋和推理,以識別和理解場景中對象的基本屬性、聯(lián)結(jié)關(guān)系以及整體布局。如圖4所示,目前3D場景理解主要可以分為“3D+2D”場景理解和“3D+語言”場景理解兩大類,其主要區(qū)別在于信息融合的方式和側(cè)重點(diǎn)的不同。
圖5 3D場景理解分類情況示意圖
“3D+2D”場景理解側(cè)重于將3D空間信息與2D圖像信息相結(jié)合,以實(shí)現(xiàn)對場景的全面解讀和解釋。由于3D GS的優(yōu)異性能表現(xiàn),部分研究人員指出可以將2D分割基礎(chǔ)模型的細(xì)顆粒度分割能力提煉到3D GS中,以避免傳統(tǒng)方法的推理過程中多次前向傳播導(dǎo)致的巨大算力和時間成本。Jiazhong Cen等人有機(jī)結(jié)合了2D分割基礎(chǔ)模型與3D GS模型,提出了一種可以在毫秒級3D高斯中進(jìn)行細(xì)粒度的3D交互式分割方法SAGA?!?D+語言”場景理解則將3D空間信息與自然語言信息相結(jié)合,以實(shí)現(xiàn)對場景的描述和解釋。Sebastian Koch等人提出了一種無需標(biāo)記場景圖數(shù)據(jù)即可預(yù)測3D場景圖的模型Open3DSG。Open3DSG首次依據(jù)3D點(diǎn)云進(jìn)行交互式圖表示的場景創(chuàng)建,利用2D視覺-語言模型的知識,通過3D圖神經(jīng)網(wǎng)絡(luò)預(yù)測開放詞匯的3D場景圖。
4.3 同時定位與建圖(SLAM)
VSLAM(Visual SLAM)依靠視覺信息進(jìn)行姿態(tài)估計(jì)和地圖生成,具有成本低廉、信息豐富和集成便捷等突出優(yōu)點(diǎn),是SLAM研究中的重點(diǎn)研究方向之一。Chi Yan等人提出了第一個在SLAM領(lǐng)域中使用3D GS表示的模型GS-SLAM。幾乎在同一時間,Nikhil Keetha等人提出了基于3D GS的稠密RGB-D SLAM解決方案SplaTAM。Hidenobu Matsuki等人提出了首個完全基于3D GS的單目SLAM模型Gaussian Splatting SLAM,利用高斯體為唯一的3D 表示,以3 FPS速度首次實(shí)現(xiàn)了基于3D GS的實(shí)時增量式重建。同樣地,Gaussian-SLAM、Photo-SLAM、NEDS-SLAM等其他工作進(jìn)一步推動了3D GS-based SLAM的發(fā)展。
5. 3D GS研究前沿
5.1 結(jié)構(gòu)優(yōu)化
結(jié)構(gòu)優(yōu)化是任何算法提高性能和效率的關(guān)鍵途徑。雖然3D GS技術(shù)能夠有效地分離地面點(diǎn)與非地面點(diǎn),但在面對遮擋、不同光照條件、快速移動物體等挑戰(zhàn)時,其準(zhǔn)確性和魯棒性都會受到影響。此外,為了滿足實(shí)時性的要求,3D GS技術(shù)需要進(jìn)一步減少對計(jì)算資源的依賴,提高處理速度。3D GS的結(jié)構(gòu)優(yōu)化可以通過高斯體管理的優(yōu)化、主體架構(gòu)的精簡、偽影現(xiàn)象的消除等方法來提升3D GS技術(shù)的性能,使其更加精準(zhǔn)、高效和可靠,從而更好地適應(yīng)各種復(fù)雜的現(xiàn)實(shí)駕駛場景。Hanlin Chen等人提出的NeuSG模型中,通過增加尺度正則化來引導(dǎo)高斯體的中心接近曲面,同時使用神經(jīng)隱式模型來完善高斯體的點(diǎn)云,最終生成了具有復(fù)雜細(xì)節(jié)的完整重建曲面。主體架構(gòu)的精簡是指對3D GS的3D Gaussians表示模塊,屬性優(yōu)化模塊和實(shí)時渲染模塊三大模塊的系統(tǒng)架構(gòu)進(jìn)行優(yōu)化和簡化。Liu, Yan等人針對移動設(shè)備上三維重建的實(shí)時渲染問題,采用雙濺射架構(gòu)降低計(jì)算成本,通過減少對低貢獻(xiàn)點(diǎn)的處理減少冗余數(shù)據(jù)的生成,引入線程飽和溢出操作加快整體收斂速度,并使用體素化點(diǎn)云進(jìn)一步降低了渲染和訓(xùn)練開銷。最終對于大規(guī)模場景數(shù)據(jù)集,改進(jìn)方法在保證渲染質(zhì)量的同時可以平均減少37.08%的模型空間占用。3D GS在新視角合成過程中,可能存在相機(jī)視圖與訓(xùn)練視圖之間存在多視圖不一致的現(xiàn)象,即為偽影現(xiàn)象。Zehao Yu等人認(rèn)為這種現(xiàn)象主要是使用了2D膨脹濾波器以及缺乏3D頻率約束造成的。他們提出的Mip-Splatting模型引入了一個3D平滑濾波器,并用模擬2D盒式濾波器的2D Mip濾波器代替2D2D膨脹濾波器。
5.2 4D場景重建
基于3D GS在靜態(tài)場景重構(gòu)和新視角合成的成功與潛力,研究人員希望將3D GS進(jìn)一步擴(kuò)展應(yīng)用到動態(tài)場景中,以實(shí)現(xiàn)高級別自動駕駛的實(shí)時性要求。4D場景重建技術(shù)不僅需要車載系統(tǒng)高質(zhì)量重建3D空間結(jié)構(gòu),還需要考慮時間維度上的變化,特別是捕捉復(fù)雜動態(tài)的剛性運(yùn)動對象。Lingzhe Zhao等人[157]將3D GS引入運(yùn)動模糊圖像的處理,提出了一種名為BAD-Gaussians的模型。BAD-Gaussians引入了專為運(yùn)動模糊圖像設(shè)計(jì)的光度束調(diào)整公式,首次在3D GS拼接框架內(nèi)實(shí)現(xiàn)了運(yùn)動模糊圖像的實(shí)時渲染性能。4D場景重建技術(shù)要求模型對運(yùn)動過程中光線變換具有較強(qiáng)的追蹤能力,Jian Gao等人[159]開發(fā)一個基于3D高斯表示的綜合渲染流水線Relightable 3D Gaussian,可以支持重照、編輯和射線追蹤的重建三維點(diǎn)云,可以達(dá)到實(shí)時渲染水平。同時,已經(jīng)有部分研究人員著手直接建立4D GS模型。雖然具體的研究方法不同,但其核心思路就是引入同一尺度來協(xié)調(diào)好3D GS與時間戳之間的動態(tài)關(guān)系。Guanjun Wu等人使用緊湊表示和高效變形場來建模高斯體的運(yùn)動和形狀變化,隨后將高斯體噴濺到時間戳圖像上,最終建立了同一的4D GS模型。
5.3 車輛導(dǎo)航
導(dǎo)航技術(shù)可以為車輛提供必要的位置信息和行駛路線,是實(shí)現(xiàn)高級別自動駕駛的關(guān)鍵性基礎(chǔ)性服務(wù)之一?;?D GS在自動駕駛的場景重建領(lǐng)域表現(xiàn)出的優(yōu)異性能,將3D GS進(jìn)一步擴(kuò)展到自動駕駛導(dǎo)航領(lǐng)域的研究中,可以有效打破現(xiàn)有導(dǎo)航方法的質(zhì)量和效率瓶頸,實(shí)現(xiàn)自動駕駛導(dǎo)航精度和可靠性的跨越發(fā)展。當(dāng)車載系統(tǒng)可以對世界環(huán)境進(jìn)行逼真的物理模擬時,意味著車輛導(dǎo)航行駛中將具備模擬和預(yù)測周圍環(huán)境變化的能力,從而能夠更加智能地感知、規(guī)劃和決策。Tianyi Xie等人將基于物理的牛頓動力學(xué)與3D GS無縫集成,提出了一種可以有效進(jìn)行物理模擬的新型模型PhysGaussian。在車輛導(dǎo)航過程中,如何將多模態(tài)融合數(shù)據(jù)進(jìn)行精確得到時空對準(zhǔn)是重要的研究方向之一。Quentin Herau等人提出了一種基于3D GS的校準(zhǔn)方法3DGS-Calib,與現(xiàn)有的隱式神經(jīng)方法相比校準(zhǔn)速度更快、校準(zhǔn)精度更高,可以高效完成車載多模態(tài)的時空校準(zhǔn)任務(wù)。探索一種適普通用、簡潔高效的目標(biāo)導(dǎo)航算法框架是目前自動駕駛車輛導(dǎo)航領(lǐng)域研究人員的共同目標(biāo)之一。Xiaohan Lei等人提出了一種基于3D GS的實(shí)例圖像目標(biāo)導(dǎo)航模型GaussNav,將原先的實(shí)例圖像目標(biāo)導(dǎo)航任務(wù)轉(zhuǎn)化為相對容易處理的點(diǎn)目標(biāo)導(dǎo)航任務(wù),利用子高斯劃分、語義高斯構(gòu)建和高斯導(dǎo)航三個主要階段有效定位目標(biāo)物體,最終性能實(shí)現(xiàn)了顯著提升。
6. 結(jié)論
本文對面向自動駕駛的基于3D GS的三維場景重建技術(shù)研究進(jìn)行了全面綜述,敘述了3D GS的基本情況和在自動駕駛領(lǐng)域的應(yīng)用情況,內(nèi)容涵蓋了目前的最新研究成果。本文首先對3D GS的研究背景做出全面介紹。隨后,本文以3D GS核心公式的數(shù)學(xué)機(jī)理探究為主體,討論了3D GS高性能的原因。然后,本文針對3D GS在自動駕駛領(lǐng)域的新視角合成、場景理解和SLAM三個主要應(yīng)用方向展開論述,強(qiáng)調(diào)其對自動駕駛領(lǐng)域帶來的革命性研究風(fēng)潮。最后,本文深入探討了3D GS在該領(lǐng)域面臨的問題和研究前沿方向。本文針對性地概述了3D GS作為新興三維場景重建技術(shù)的基本原理、發(fā)展情況和在自動駕駛領(lǐng)域的應(yīng)用情況,旨在為研究人員快速理解與熟悉3D GS提供可靠渠道,為相關(guān)科研工作提供更加廣闊的視野和思路。