本文經(jīng)自動駕駛之心公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

Street Gaussians的動機

• 在自動駕駛領(lǐng)域，動態(tài)街景重建有著重要的應(yīng)用場景，比如數(shù)據(jù)生成、自動標注、閉環(huán)仿真等。由于對重建質(zhì)量和效率有較高的要求，這方面的技術(shù)仍舊臨著巨大的挑戰(zhàn)。
• 對于單目視頻建模動態(tài)城市街景的問題，近期方法主要是基于NeRF并結(jié)合跟蹤車輛的姿態(tài)，從而重建出高真實感的視圖。然而訓(xùn)練和渲染速度慢、對跟蹤車輛姿態(tài)精度需求高，使其在很難真正被應(yīng)用起來。
• 我們提出了Street Gaussians，這是一種新的顯式場景表示方法，可以解決所有這些限制。

開源鏈接：

• Street Gaussians for Modeling Dynamic Urban Scenes
• https://zju3dv.github.io/street_gaussians/

方法簡介

• 在Street Gaussians中，動態(tài)城市街道被表示為一組3D高斯的點云，每個點云與前景車輛或背景之一相關(guān)聯(lián)。為了模擬動態(tài)前景物體車輛，每個物體模型都用可優(yōu)化的跟蹤姿態(tài)進行建模，并配有動態(tài)球諧函數(shù)模型來表現(xiàn)動態(tài)外觀。
• 這種顯式表示可以輕松地組合物體車輛和背景，進而允許進行場景編輯操作。同時擁有極高的效率，可以在半小時完成訓(xùn)練，渲染速度達到133FPS（1066x1600分辨率）。
• 實驗表明，Street Gaussians在所有數(shù)據(jù)集上優(yōu)于現(xiàn)階段SOTA方法。此外，提出了前景目標位姿優(yōu)化策略（初始位姿來自跟蹤器），與使用真值姿態(tài)所達到性能相當(dāng)，也驗證了Street Gaussians的高魯棒性。

背景介紹

• 靜態(tài)場景建模
  ?基于場景表達的不同，我們可以將場景重建分為volume-based和point-based。volume-based的方法，用MLP網(wǎng)絡(luò)表示連續(xù)的體積場景，已經(jīng)取得了令人印象深刻的渲染結(jié)果。同時比如Mip-NeRF360、DNMP等也將其應(yīng)用場景擴展到了城市街景 。point-based的方法，在點云上定義學(xué)習(xí)神經(jīng)描述符，并使用神經(jīng)渲染器執(zhí)行可微分的光柵化，大大可以提高了渲染效率。然而，它們需要密集的點云作為輸入，并在點云稀疏區(qū)域的結(jié)果相對模糊。最近的一項工作3D Gaussian Splatting (3D GS)，在3D世界中定義了一組各向異性的高斯核，并執(zhí)行自適應(yīng)密度控制，以僅使用稀疏的點云輸入實現(xiàn)高質(zhì)量的渲染結(jié)果。我們可以把3DGS理解成介于volume-based和point-based的中間態(tài)，所有同時擁有volume-based方法的高質(zhì)量，也擁有point-based方法的高效率。然而，3DGS假定場景是靜態(tài)的，不能模擬動態(tài)移動的對象。
• 動態(tài)場景建模。
  ?可以從不同的角度來實現(xiàn)動態(tài)場景建模，從目標角度，可以在單個對象場景上構(gòu)建4D神經(jīng)場景表示（比如HyperReel ），從場景角度，可以通過在光流（如Suds）或視覺變換器特征（Emernerf ）監(jiān)督下的實現(xiàn)場景解耦。然而，這些方法均無法對場景進行進行編輯，限制了其在自動駕駛仿真中的應(yīng)用。還有一種方式，使用神經(jīng)場將場景建模為移動對象模型和背景模型的組合（比如NSG、Panoptic Neural Fields），然而，它們需要精確的對象軌跡，并且在內(nèi)存成本和渲染速度上存在問題。

算法建模

• 考慮到自動駕駛場景中都是通過車載相機得到圖像序列，我們希望構(gòu)建一個模型，可以生成任意時間和視角的高質(zhì)量圖像。為實現(xiàn)這一目標，我們提出了一種新穎的場景表示，命名為"Street Gaussians"。如圖所示，我們將動態(tài)城市街景表示為一組點云，每個點云對應(yīng)于靜態(tài)背景或移動車輛。這種基于點的表示可以輕松組合多個獨立的模型，實現(xiàn)實時渲染以及解耦前景對象以實現(xiàn)場景編輯。我們提出的場景表示可以僅使用RGB圖像進行訓(xùn)練，同時結(jié)合車輛位姿優(yōu)化策略，進一步增強動態(tài)前景的表示精度。

靜態(tài)背景建模

• 針對靜態(tài)背景，使用基本的3DGS方式建模，即我們世界坐標系中一組點來表示背景模型，每個點分配有一個3D高斯分布，以平滑地表示連續(xù)的場景幾何和顏色。高斯參數(shù)包括協(xié)方差矩陣和位置向量（表示均值）。與3DGS一樣，為了避免在優(yōu)化過程中出現(xiàn)無效的協(xié)方差矩陣，每個協(xié)方差矩陣進一步縮減為縮放矩陣和旋轉(zhuǎn)矩陣，其中縮放矩陣由其對角元素表征，而旋轉(zhuǎn)矩陣被轉(zhuǎn)換為單位四元數(shù)。除了位置和協(xié)方差矩陣之外，每個高斯分布還分配有一個不透明度值和一組球諧系數(shù)來表示場景幾何和外觀。為了獲得視圖相關(guān)的顏色，球諧系數(shù)還會乘以從視圖方向投影的球諧基函數(shù)。為了表示3D語義信息，每個點還附加有一個語義特征。

動態(tài)前景建模

• 針對包含多輛移動前景物體車輛的場景，我們將每個對象用一組可優(yōu)化的姿勢（初始位姿可以來自某個跟蹤器，比如CasTracker）和一組點云表示，其中每個點分配有一個3D高斯分布、語義和動態(tài)外觀模型。前景對象和背景的高斯屬性相似，不透明度和尺度矩陣的定義相同，然而它們的位置、旋轉(zhuǎn)和外觀模型均不同。
• 每一個前景對象的3DGS模型，定義在該對象的local坐標系下。我們通過前景對象的RT矩陣，可以將前景對象和背景的模型統(tǒng)一到世界坐標系下。
• 僅使用球諧系數(shù)簡單表示物體外觀不足以模擬移動車輛的外觀，如圖所示，因為移動車輛的外觀受到其在全局場景中位置的影響。如果使用單獨的球諧來表示每個時間的對象，會顯著增加存儲成本，我們的解決方案是引入了4D球諧模型，通過用一組傅里葉變換系數(shù)來表示球諧系數(shù)，當(dāng)給定任意時間t，可以通過逆傅立葉變換來求出對應(yīng)的球諧系數(shù)?；谶@種方式，我們將時間信息編碼到外觀中，而且不增加額外存儲成本。

渲染過程

• 要渲染Street Gaussians，我們就需要聚合每個模型對最終結(jié)果的貢獻。以前的方法中，由于神經(jīng)場表示方式，需要復(fù)雜的raymarching 方式進行組合渲染。相反，Street Gaussians可以通過將所有點云拼接起來，并將它們投影到2D圖像空間來進行渲染。具體來說，在給定渲染時間點的情況下，我們首先計算球諧系數(shù)，并根據(jù)跟蹤的車輛姿態(tài)將前景對象點云轉(zhuǎn)換到世界坐標系，然后將背景點云和變換后的前景對象點云拼接起來形成一個新的全場景點云。

效果評估

• 我們在Waymo和KITTI數(shù)據(jù)集上都進行了實驗來評估我們的方法合成新視角的能力，不論定性和定量結(jié)果表明，相比之前的工作，我們的方法可以渲染出渲染高質(zhì)量圖片，并在各項指標上均有有顯著提升。
  ?下圖是從定性角度，分別在waymo和kitti數(shù)據(jù)集上對比目前已有方法，無論背景還是前景目標，我們的方法在細節(jié)的渲染上均有大幅提高。

?同時我們在kitti和waymo上定量對比了重建指標，我們的方法也大幅領(lǐng)先已有方法。

KITTI數(shù)據(jù)集

Waymo數(shù)據(jù)集

下游任務(wù)

• Street Gaussians可以被應(yīng)用到很多下游任務(wù)當(dāng)中，包括場景的前背景解耦、場景的可控編輯、語義分割等。豐富且高質(zhì)量的下游任務(wù)適配，大大提高了Street Gaussians的應(yīng)用上限。
  ?我們的模型可以實現(xiàn)場景前背景解耦，細節(jié)上相比之前的方法有明顯提升。

?我們的模型支持便捷的場景編輯，如下圖分別是車輛增加、替換和交換的編輯操作。

?我們的模型還支持拓展到語義分割任務(wù)，依靠我們的建模方式，我們對于前景目標的分割更加細膩。

方法總結(jié)

• 我們提出來了Street Gaussians，這是一種新穎的用于建模復(fù)雜的動態(tài)街道場景的表征方法，它能夠高效地重建和渲染出高保真度的城市街道場景，并且支持實時渲染。
• 我們開發(fā)了一種優(yōu)化跟蹤姿態(tài)的策略，配合一個4D球諧函數(shù)模型外觀模型來處理移動前景的動態(tài)車輛。
• 我們在幾個具有挑戰(zhàn)性的數(shù)據(jù)集上進行了全面的比較和消融實驗，展示了我們方法的最新最先進性能以及所提出組件的有效性。

原文鏈接：https://mp.weixin.qq.com/s/zE32LGs6DHfbz_D5-8JYOA