本文經(jīng)自動(dòng)駕駛之心公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

近幾年，自動(dòng)駕駛技術(shù)的發(fā)展日新月異。從ECCV 2020的NeRF問世再到SIGGRAPH 2023的3DGS，三維重建走上了快速發(fā)展的道路！再到自動(dòng)駕駛端到端技術(shù)的問世，與之相關(guān)的仿真閉環(huán)開始頻繁出現(xiàn)在大眾視野中，新興的三維重建技術(shù)由此在自動(dòng)駕駛領(lǐng)域也逐漸煥發(fā)新機(jī)。2023年8月特斯拉發(fā)布FSD V12；2024年4月商湯絕影發(fā)布面向量產(chǎn)的端到端自動(dòng)駕駛解決方法UniAD；2024年7月理想夏季發(fā)布會(huì)宣稱端到端正式上車，快系統(tǒng)4D One Model、慢系統(tǒng)VLM，并首次提出『重建+生成』的世界模型測(cè)試方案。

可以說，端到端+仿真閉環(huán)是當(dāng)下自動(dòng)駕駛發(fā)展的主流路線。但是仿真閉環(huán)提了很多年，到底什么是仿真閉環(huán)？仿真閉環(huán)的核心又是什么？三維重建又在閉環(huán)中起到什么樣的作用？業(yè)內(nèi)也一直在討論，百花齊放。無(wú)論如何，閉環(huán)的目的是明確的，降低實(shí)車測(cè)試的成本和風(fēng)險(xiǎn)、有效提高模型的開發(fā)效率進(jìn)而優(yōu)化系統(tǒng)性能、測(cè)試各種corner case并優(yōu)化整個(gè)端到端算法。

今天就和大家盤一盤自動(dòng)駕駛中新興的三維重建技術(shù)相關(guān)算法。

MARS: An Instance-aware, Modular and Realistic Simulator for Autonomous Driving（CICAI 2023）

• 論文鏈接：https://arxiv.org/abs/2307.15058v1
• 代碼鏈接：https://github.com/OPEN-AIR-SUN/mars

清華AIR提出的首個(gè)開源自動(dòng)駕駛NeRF仿真工具！如今自動(dòng)駕駛汽車在普通情況下可以平穩(wěn)行駛，人們普遍認(rèn)為，逼真的傳感器仿真將在通過仿真解決剩余的corner case方面發(fā)揮關(guān)鍵作用。為此，我們提出了一種基于神經(jīng)輻射場(chǎng)（NeRFs）的自動(dòng)駕駛仿真器。與現(xiàn)有的工作相比，我們有三個(gè)顯著的特點(diǎn)：

• Instance-aware：前景目標(biāo)和背景，單獨(dú)建模，因此可以保證可控性
• Modular：模塊化設(shè)計(jì)，便于集成各種SOTA的算法進(jìn)來
• Realistic：由于模塊化的設(shè)計(jì)，不同模塊可以靈活選擇比較好的算法實(shí)現(xiàn)，因此效果SOTA。

UniSim: A Neural Closed-Loop Sensor Simulator（CVPR 2023）

• 論文鏈接：https://arxiv.org/abs/2308.01898v1
• 項(xiàng)目主頁(yè)：https://waabi.ai/unisim/

Waabi和多倫多大學(xué)在CVPR 2023上的工作：嚴(yán)格測(cè)試自動(dòng)駕駛系統(tǒng)對(duì)于實(shí)現(xiàn)安全的自動(dòng)駕駛汽車（SDV）至關(guān)重要。它要求人們生成超出世界上安全收集范圍的安全關(guān)鍵場(chǎng)景，因?yàn)樵S多場(chǎng)景很少發(fā)生在公共道路上。為了準(zhǔn)確評(píng)估性能，我們需要在閉環(huán)中測(cè)試這些場(chǎng)景中的SDV，其中SDV和其他參與者在每個(gè)時(shí)間步相互作用。以前記錄的駕駛?cè)罩緸闃?gòu)建這些新場(chǎng)景提供了豐富的資源，但對(duì)于閉環(huán)評(píng)估，我們需要根據(jù)新的場(chǎng)景配置和SDV的決定修改傳感器數(shù)據(jù)，因?yàn)榭赡軙?huì)添加或刪除參與者，現(xiàn)有參與者和SDV之間的軌跡將與原始軌跡不同。本文介紹了UniSim，這是一種神經(jīng)傳感器模擬器，它將配備傳感器的車輛捕獲的單個(gè)記錄日志轉(zhuǎn)換為現(xiàn)實(shí)的閉環(huán)多傳感器模擬。UniSim構(gòu)建神經(jīng)特征網(wǎng)格來重建場(chǎng)景中的靜態(tài)背景和動(dòng)態(tài)參與者，并將它們組合在一起，以在新視角仿真LiDAR和相機(jī)數(shù)據(jù)，添加或刪除參與者以及新的位置。為了更好地處理外推視圖，我們?yōu)閯?dòng)態(tài)目標(biāo)引入了可學(xué)習(xí)的先驗(yàn)，并利用卷積網(wǎng)絡(luò)來完成看不見的區(qū)域。我們的實(shí)驗(yàn)表明，UniSim可以在下游任務(wù)中模擬具有較小域間隙的真實(shí)傳感器數(shù)據(jù)。通過UniSim，我們演示了在安全關(guān)鍵場(chǎng)景下對(duì)自主系統(tǒng)的閉環(huán)評(píng)估，就像在現(xiàn)實(shí)世界中一樣。UniSim的主要貢獻(xiàn)如下：

• 高度逼真(high realism): 可以準(zhǔn)確地模擬真實(shí)世界(圖片和LiDAR), 減小鴻溝(domain gap )
• 閉環(huán)測(cè)試(closed-loop simulation): 可以生成罕見的危險(xiǎn)場(chǎng)景測(cè)試無(wú)人車, 并允許無(wú)人車和環(huán)境自由交互
• 可擴(kuò)展 (scalable): 可以很容易的擴(kuò)展到更多的場(chǎng)景, 只需要采集一次數(shù)據(jù), 就能重建并仿真測(cè)
• 知乎解讀：https://zhuanlan.zhihu.com/p/636695025
• 一作直播：https://www.bilibili.com/video/BV1nj41197TZ

EmerNeRF: Emergent Spatial-Temporal Scene Decomposition via Self-Supervision

• 論文鏈接：https://arxiv.org/abs/2311.02077v1
• 代碼鏈接：https://github.com/NVlabs/EmerNeRF

加利福尼亞大學(xué)的工作：本文提出了EmerNeRF，這是一種簡(jiǎn)單而強(qiáng)大的學(xué)習(xí)動(dòng)態(tài)駕駛場(chǎng)景時(shí)空表示的方法。EmerNeRF以神經(jīng)場(chǎng)為基礎(chǔ)，通過自舉同時(shí)捕獲場(chǎng)景幾何、外觀、運(yùn)動(dòng)和語(yǔ)義。EmerNeRF依賴于兩個(gè)核心組件：首先，它將場(chǎng)景劃分為靜態(tài)和動(dòng)態(tài)場(chǎng)。這種分解純粹源于自監(jiān)督，使我們的模型能夠從一般的、野外的數(shù)據(jù)源中學(xué)習(xí)。其次，EmerNeRF將動(dòng)態(tài)場(chǎng)中的感應(yīng)流場(chǎng)參數(shù)化，并使用該流場(chǎng)進(jìn)一步聚合多幀特征，從而提高了動(dòng)態(tài)目標(biāo)的渲染精度。耦合這三個(gè)場(chǎng)（靜態(tài)、動(dòng)態(tài)和流）使EmerNeRF能夠自給自足地表示高度動(dòng)態(tài)的場(chǎng)景，而無(wú)需依賴GT標(biāo)注或預(yù)先訓(xùn)練的模型進(jìn)行動(dòng)態(tài)目標(biāo)分割或光流估計(jì)。我們的方法在傳感器仿真中實(shí)現(xiàn)了最先進(jìn)的性能，在重建靜態(tài)（+2.93 PSNR）和動(dòng)態(tài)（+3.70 PSNR）場(chǎng)景時(shí)明顯優(yōu)于以前的方法。此外，為了支持EmerNeRF的語(yǔ)義泛化，我們將2D視覺基礎(chǔ)模型特征提升到4D時(shí)空中，并解決了現(xiàn)代變形金剛中的普遍位置偏差問題，顯著提高了3D感知性能（例如，職業(yè)預(yù)測(cè)精度平均相對(duì)提高了37.50%）。最后，我們構(gòu)建了一個(gè)多樣化且具有挑戰(zhàn)性的120序列數(shù)據(jù)集，用于在極端和高度動(dòng)態(tài)的環(huán)境下對(duì)神經(jīng)場(chǎng)進(jìn)行基準(zhǔn)測(cè)試?？偨Y(jié)來說，本文的主要貢獻(xiàn)如下：

• EmerNeRF是一種新穎的4D神經(jīng)場(chǎng)景表示框架，在具有挑戰(zhàn)性的自動(dòng)駕駛場(chǎng)景中表現(xiàn)出色。EmerNeRF通過自監(jiān)督執(zhí)行靜態(tài)動(dòng)態(tài)分解和場(chǎng)景流估計(jì)；
• 一種簡(jiǎn)化的方法，可以解決ViT中位置嵌入圖案的不良影響，該方法可立即應(yīng)用于其他任務(wù);
• 我們引入NOTR數(shù)據(jù)集來評(píng)估各種條件下的神經(jīng)場(chǎng)，并促進(jìn)該領(lǐng)域的未來發(fā)展;
• EmerNeRF在場(chǎng)景重建、新視角合成和場(chǎng)景流估計(jì)方面實(shí)現(xiàn)了最先進(jìn)的性能。

NeuRAD: Neural Rendering for Autonomous Driving

• 論文鏈接：https://arxiv.org/abs/2311.15260v3
• 代碼鏈接：https://github.com/georghess/neurad-studio

Zenseact的工作：神經(jīng)輻射場(chǎng)（NeRF）在自動(dòng)駕駛（AD）領(lǐng)域越來越受歡迎。最近的方法表明，NeRF具有閉環(huán)仿真的潛力，能夠測(cè)試AD系統(tǒng)，并作為一種先進(jìn)的訓(xùn)練數(shù)據(jù)增強(qiáng)技術(shù)。然而，現(xiàn)有的方法通常需要較長(zhǎng)的訓(xùn)練時(shí)間、密集的語(yǔ)義監(jiān)督或缺乏可推廣性。這反過來又阻止了NeRFs大規(guī)模應(yīng)用于AD。本文提出了NeuRAD，這是一種針對(duì)動(dòng)態(tài)AD數(shù)據(jù)量身定制的魯棒新型視圖合成方法。我們的方法具有簡(jiǎn)單的網(wǎng)絡(luò)設(shè)計(jì)，對(duì)相機(jī)和激光雷達(dá)進(jìn)行了廣泛的傳感器建模，包括滾動(dòng)快門、光束發(fā)散和光線下降，適用于開箱即用的多個(gè)數(shù)據(jù)集。我們?cè)谖鍌€(gè)流行的AD數(shù)據(jù)集上驗(yàn)證了它的性能，全面實(shí)現(xiàn)了最先進(jìn)的性能。

DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes

• 論文鏈接：https://arxiv.org/abs/2312.07920v3
• 項(xiàng)目主頁(yè)：https://pkuvdig.github.io/DrivingGaussian/

北大&谷歌的工作：本文提出了DrivingGaussian模型，這是一個(gè)用于環(huán)視動(dòng)態(tài)自動(dòng)駕駛場(chǎng)景的高效和有效的框架。對(duì)于具有運(yùn)動(dòng)目標(biāo)的復(fù)雜場(chǎng)景，DrivingGaussian首先使用增量靜態(tài)3D高斯對(duì)整個(gè)場(chǎng)景的靜態(tài)背景進(jìn)行順序和漸進(jìn)的建模。然后利用復(fù)合動(dòng)態(tài)高斯圖來處理多個(gè)運(yùn)動(dòng)目標(biāo)，分別重建每個(gè)目標(biāo)并恢復(fù)它們?cè)趫?chǎng)景中的準(zhǔn)確位置和遮擋關(guān)系。我們進(jìn)一步使用激光雷達(dá)先驗(yàn)進(jìn)行 Gaussian Splatting，以重建具有更多細(xì)節(jié)的場(chǎng)景并保持全景一致性。DrivingGaussian在動(dòng)態(tài)驅(qū)動(dòng)場(chǎng)景重建方面優(yōu)于現(xiàn)有方法，能夠?qū)崿F(xiàn)高保真度和多相機(jī)一致性的逼真環(huán)繞視圖合成?？偨Y(jié)來說，本文的主要貢獻(xiàn)如下：

• 據(jù)我們所知，DrivingGaussian是基于復(fù)合Gaussian Splatting的大規(guī)模動(dòng)態(tài)駕駛場(chǎng)景的第一個(gè)表示和建?？蚣埽?/li>
• 引入了兩個(gè)新模塊，包括增量靜態(tài)3D高斯圖和復(fù)合動(dòng)態(tài)高斯圖。前者逐步重建靜態(tài)背景，而后者用高斯圖對(duì)多個(gè)動(dòng)態(tài)目標(biāo)進(jìn)行建模。在激光雷達(dá)先驗(yàn)的輔助下，所提出的方法有助于在大規(guī)模駕駛場(chǎng)景中恢復(fù)完整的幾何形狀；
• 綜合實(shí)驗(yàn)表明，Driving Gaussian在挑戰(zhàn)自動(dòng)駕駛基準(zhǔn)測(cè)試方面優(yōu)于以前的方法，并能夠?yàn)楦鞣N下游任務(wù)進(jìn)行角情況仿真；

Street Gaussians: Modeling Dynamic Urban Scenes with Gaussian Splatting（ECCV 2024）

• 論文鏈接：https://arxiv.org/abs/2401.01339v2
• 代碼鏈接：https://github.com/zju3dv/street_gaussians

浙大&理想在ECCV 2024上的工作：本文旨在解決自動(dòng)駕駛場(chǎng)景中動(dòng)態(tài)城市街道的建模問題。最近的方法通過將跟蹤的車輛姿態(tài)結(jié)合到車輛動(dòng)畫中來擴(kuò)展NeRF，實(shí)現(xiàn)了動(dòng)態(tài)城市街道場(chǎng)景的照片級(jí)逼真視圖合成。然而，它們的訓(xùn)練速度和渲染速度都很慢。為此本文引入了Street Gaussians，這是一種新的顯式場(chǎng)景表示，可以解決這些限制。具體來說，動(dòng)態(tài)城市場(chǎng)景被表示為一組配備語(yǔ)義邏輯和3D高斯的點(diǎn)云，每個(gè)點(diǎn)云都與前景車輛或背景相關(guān)聯(lián)。為了仿真前景目標(biāo)車輛的動(dòng)力學(xué)，每個(gè)目標(biāo)點(diǎn)云都使用可優(yōu)化的跟蹤姿態(tài)進(jìn)行優(yōu)化，并使用4D球諧模型進(jìn)行動(dòng)態(tài)外觀優(yōu)化。顯式表示允許輕松組合目標(biāo)車輛和背景，這反過來又允許在半小時(shí)的訓(xùn)練內(nèi)以135 FPS（1066×1600分辨率）進(jìn)行場(chǎng)景編輯操作和渲染。該方法在多個(gè)具有挑戰(zhàn)性的基準(zhǔn)上進(jìn)行了評(píng)估，包括KITTI和Waymo Open數(shù)據(jù)集。實(shí)驗(yàn)表明在所有數(shù)據(jù)集上，所提出的方法始終優(yōu)于最先進(jìn)的方法。

GaussianPro: 3D Gaussian Splatting with Progressive Propagation

• 論文鏈接：https://arxiv.org/abs/2402.14650v1
• 代碼鏈接：https://github.com/kcheng1021/GaussianPro

中科大&港大的工作：3DGS的出現(xiàn)最近在神經(jīng)渲染領(lǐng)域帶來了一場(chǎng)革命，促進(jìn)了實(shí)時(shí)速度的高質(zhì)量渲染。然而，3DGS在很大程度上依賴于運(yùn)動(dòng)結(jié)構(gòu)（SfM）技術(shù)產(chǎn)生的初始化點(diǎn)云。當(dāng)處理不可避免地包含無(wú)紋理曲面的大規(guī)模場(chǎng)景時(shí)，SfM技術(shù)總是無(wú)法在這些曲面上產(chǎn)生足夠的點(diǎn)，也無(wú)法為3DGS提供良好的初始化。因此，3DGS存在優(yōu)化困難和渲染質(zhì)量低的問題。在這篇論文中，受經(jīng)典多視圖立體（MVS）技術(shù)的啟發(fā)，我們提出了GaussianPro，這是一種應(yīng)用漸進(jìn)傳播策略來指導(dǎo)3D Gaussian致密化的新方法。與3DGS中使用的簡(jiǎn)單分割和克隆策略相比，我們的方法利用場(chǎng)景現(xiàn)有重建幾何的先驗(yàn)和補(bǔ)丁匹配技術(shù)來生成具有精確位置和方向的新高斯分布。在大規(guī)模和小規(guī)模場(chǎng)景上的實(shí)驗(yàn)驗(yàn)證了我們方法的有效性，我們的方法在Waymo數(shù)據(jù)集上顯著超過了3DGS，在PSNR方面提高了1.15dB。

LidaRF: Delving into Lidar for Neural Radiance Field on Street Scenes

• 論文鏈接：https://arxiv.org/abs/2405.00900v2

加州大學(xué)歐文分校的工作：真實(shí)仿真在自動(dòng)駕駛等應(yīng)用中起著至關(guān)重要的作用，神經(jīng)輻射場(chǎng)（NeRF）的進(jìn)步可以通過自動(dòng)創(chuàng)建數(shù)字3D資產(chǎn)來實(shí)現(xiàn)更好的可擴(kuò)展性。然而，由于共線相機(jī)的大運(yùn)動(dòng)和高速下的稀疏樣本，街道場(chǎng)景的重建質(zhì)量會(huì)受到影響。另一方面，實(shí)際使用通常要求從偏離輸入的相機(jī)視圖進(jìn)行渲染，以準(zhǔn)確模擬車道變換等行為。在這篇論文中，我們提出了幾個(gè)見解，可以更好地利用激光雷達(dá)數(shù)據(jù)來提高街道場(chǎng)景的NeRF質(zhì)量。首先，我們的框架從激光雷達(dá)中學(xué)習(xí)幾何場(chǎng)景表示，將其與隱式基于網(wǎng)格的表示融合用于輻射解碼，然后提供顯式點(diǎn)云提供的更強(qiáng)幾何信息。其次提出了一種魯棒的遮擋感知深度監(jiān)督方案，該方案允許通過累積來利用密集的激光雷達(dá)點(diǎn)。第三本文從激光雷達(dá)點(diǎn)生成增強(qiáng)訓(xùn)練視圖，以進(jìn)一步改進(jìn)。我們的見解轉(zhuǎn)化為在真實(shí)駕駛場(chǎng)景下大大改進(jìn)的新視圖合成。

Gaussian: Self-Supervised Street Gaussians for Autonomous Driving

• 論文鏈接：https://arxiv.org/abs/2405.20323v1

UC Berkeley&北大&清華的工作：街道場(chǎng)景的真實(shí)感3D重建是開發(fā)自動(dòng)駕駛仿真的關(guān)鍵技術(shù)。盡管神經(jīng)輻射場(chǎng)（NeRF）在駕駛場(chǎng)景中的效率很高，但3DGS因其更快的速度和更明確的表示而成為一個(gè)有前景的方向。然而，大多數(shù)現(xiàn)有的街道3DGS方法需要跟蹤的3D車輛邊界框來分解靜態(tài)和動(dòng)態(tài)元素以進(jìn)行有效的重建，這限制了它們?cè)谧杂蓤?chǎng)景中的應(yīng)用。為了在沒有標(biāo)注的情況下實(shí)現(xiàn)高效的3D場(chǎng)景重建，我們提出了一種自監(jiān)督街道高斯（S3Gaussian）方法，用于從4D一致性中分解動(dòng)態(tài)和靜態(tài)元素。我們用3D高斯分布來表示每個(gè)場(chǎng)景，以保持其明確性，并進(jìn)一步用時(shí)空?qǐng)鼍W(wǎng)絡(luò)來壓縮4D動(dòng)力學(xué)模型。我們?cè)诰哂刑魬?zhàn)性的Waymo Open數(shù)據(jù)集上進(jìn)行了廣泛的實(shí)驗(yàn)，以評(píng)估我們方法的有效性。我們的S3Gaussian展示了分解靜態(tài)和動(dòng)態(tài)場(chǎng)景的能力，并在不使用3D標(biāo)注的情況下實(shí)現(xiàn)了最佳性能。

Dynamic 3D Gaussian Fields for Urban Areas

• 論文鏈接：https://arxiv.org/abs/2406.03175v1
• 代碼鏈接：https://github.com/tobiasfshr/map4d（待開源）

ETH和Meta的工作：本文提出了一種高效的神經(jīng)3D場(chǎng)景表示方法，用于大規(guī)模動(dòng)態(tài)城市地區(qū)的新視圖合成（NVS）。由于其有限的視覺質(zhì)量和非交互式渲染速度，現(xiàn)有工作品不太適合混合現(xiàn)實(shí)或閉環(huán)仿真等應(yīng)用。最近，基于光柵化的方法以令人印象深刻的速度實(shí)現(xiàn)了高質(zhì)量的NVS。然而，這些方法僅限于小規(guī)模、均勻的數(shù)據(jù)，即它們無(wú)法處理由于天氣、季節(jié)和光照引起的嚴(yán)重外觀和幾何變化，也無(wú)法擴(kuò)展到具有數(shù)千張圖像的更大、動(dòng)態(tài)的區(qū)域。我們提出了4DGF，這是一種神經(jīng)場(chǎng)景表示，可擴(kuò)展到大規(guī)模動(dòng)態(tài)城市區(qū)域，處理異構(gòu)輸入數(shù)據(jù)，并大大提高了渲染速度。我們使用3D高斯作為高效的幾何支架，同時(shí)依賴神經(jīng)場(chǎng)作為緊湊靈活的外觀模型。我們通過全局尺度的場(chǎng)景圖集成場(chǎng)景動(dòng)力學(xué)，同時(shí)通過變形在局部層面建模關(guān)節(jié)運(yùn)動(dòng)。這種分解方法實(shí)現(xiàn)了適用于現(xiàn)實(shí)世界應(yīng)用的靈活場(chǎng)景合成。在實(shí)驗(yàn)中，我們繞過了最先進(jìn)的技術(shù)，PSNR超過3dB，渲染速度超過200倍。

StreetSurf: Extending Multi-view Implicit Surface Reconstruction to Street Views

• 論文鏈接：https://arxiv.org/abs/2306.04988v1
• 代碼鏈接：https://github.com/pjlab-ADG/neuralsim

上海AI Lab和商湯的工作：本文提出了一種新的多視圖隱式表面重建技術(shù)，稱為StreetSurf，該技術(shù)很容易應(yīng)用于廣泛使用的自動(dòng)駕駛數(shù)據(jù)集中的街景圖像，如Waymo感知序列，而不一定需要LiDAR數(shù)據(jù)。隨著神經(jīng)渲染研究的迅速發(fā)展，將其整合到街景中開始引起人們的興趣。現(xiàn)有的街景方法要么主要關(guān)注新視圖合成，很少探索場(chǎng)景幾何，要么在研究重建時(shí)嚴(yán)重依賴密集的LiDAR數(shù)據(jù)。他們都沒有研究多視圖隱式表面重建，特別是在沒有激光雷達(dá)數(shù)據(jù)的情況下。我們的方法擴(kuò)展了現(xiàn)有的以目標(biāo)為中心的神經(jīng)表面重建技術(shù)，以解決由非以目標(biāo)為核心、長(zhǎng)而窄的相機(jī)軌跡捕獲的無(wú)約束街景所帶來的獨(dú)特挑戰(zhàn)。我們將無(wú)約束空間劃分為近距離、遠(yuǎn)景和天空三個(gè)部分，具有對(duì)齊的長(zhǎng)方體邊界，并采用長(zhǎng)方體/超長(zhǎng)方體哈希網(wǎng)格以及路面初始化方案，以實(shí)現(xiàn)更精細(xì)和更復(fù)雜的表示。為了進(jìn)一步解決無(wú)紋理區(qū)域和視角不足引起的幾何誤差，我們采用了使用通用單目模型估計(jì)的幾何先驗(yàn)。再加上我們實(shí)施了高效細(xì)粒度的多級(jí)光線行進(jìn)策略，我們使用單個(gè)RTX3090 GPU對(duì)每個(gè)街道視圖序列進(jìn)行訓(xùn)練，僅需一到兩個(gè)小時(shí)的時(shí)間，即可在幾何和外觀方面實(shí)現(xiàn)最先進(jìn)的重建質(zhì)量。此外，我們證明了重建的隱式曲面在各種下游任務(wù)中具有豐富的潛力，包括光線追蹤和激光雷達(dá)模擬。

AutoSplat: Constrained Gaussian Splatting for Autonomous Driving Scene Reconstruction

• 論文鏈接：https://arxiv.org/abs/2407.02598v2

多倫多大學(xué)和華為諾亞的工作：逼真的場(chǎng)景重建和視圖合成對(duì)于通過仿真安全關(guān)鍵場(chǎng)景來推進(jìn)自動(dòng)駕駛系統(tǒng)至關(guān)重要。3DGS在實(shí)時(shí)渲染和靜態(tài)場(chǎng)景重建方面表現(xiàn)出色，但由于復(fù)雜的背景、動(dòng)態(tài)對(duì)象和稀疏視圖，在建模駕駛場(chǎng)景方面遇到了困難。我們提出了AutoPlat，這是一個(gè)采用Gaussian Splatting實(shí)現(xiàn)自動(dòng)駕駛場(chǎng)景高度逼真重建的框架。通過對(duì)表示道路和天空區(qū)域的高斯分布圖施加幾何約束，我們的方法能夠?qū)Πㄜ嚨雷儞Q在內(nèi)的具有挑戰(zhàn)性的場(chǎng)景進(jìn)行多視圖一致的模擬。利用3D模板，我們引入了反射高斯一致性約束來監(jiān)督前景對(duì)象的可見面和不可見面。此外，為了模擬前景對(duì)象的動(dòng)態(tài)外觀，我們估計(jì)了每個(gè)前景高斯的殘差球面諧波。在Pandaset和KITTI上進(jìn)行的大量實(shí)驗(yàn)表明，AutoPlat在各種駕駛場(chǎng)景中的場(chǎng)景重建和新穎視圖合成方面優(yōu)于最先進(jìn)的方法。

DHGS: Decoupled Hybrid Gaussian Splatting for Driving Scene

• 論文鏈接：https://arxiv.org/abs/2407.16600v3

長(zhǎng)安汽車的工作：現(xiàn)有的GS方法在實(shí)現(xiàn)駕駛場(chǎng)景中令人滿意的新視圖合成方面往往不足，主要是由于缺乏巧妙的設(shè)計(jì)和所涉及元素的幾何約束。本文介紹了一種新的神經(jīng)渲染方法，稱為解耦混合GS（DHGS），旨在提高靜態(tài)駕駛場(chǎng)景新型視圖合成的渲染質(zhì)量。這項(xiàng)工作的新穎之處在于，針對(duì)道路和非道路層的解耦和混合像素級(jí)混合器，沒有針對(duì)整個(gè)場(chǎng)景的傳統(tǒng)統(tǒng)一差分渲染邏輯，同時(shí)通過提出的深度有序混合渲染策略仍然保持一致和連續(xù)的疊加。此外，對(duì)由符號(hào)距離場(chǎng)（SDF）組成的隱式道路表示進(jìn)行訓(xùn)練，以監(jiān)控具有微妙幾何屬性的路面。伴隨著輔助傳輸損耗和一致性損耗的使用，最終保留了具有不可察覺邊界和高保真度的新圖像。在Waymo數(shù)據(jù)集上進(jìn)行的大量實(shí)驗(yàn)證明，DHGS的性能優(yōu)于最先進(jìn)的方法。