寫在前面 & 筆者的個(gè)人理解

在過(guò)去的幾十年里，自動(dòng)駕駛算法在感知、規(guī)劃和控制方面取得了重大進(jìn)展。然而，評(píng)估單個(gè)組件并不能完全反映整個(gè)系統(tǒng)的性能，這突顯了對(duì)更全面評(píng)估方法的需求。這推動(dòng)了HUGSIM的發(fā)展，這是一個(gè)閉環(huán)、真實(shí)和實(shí)時(shí)的仿真器，用于評(píng)估自動(dòng)駕駛算法。我們通過(guò)3DGS將捕獲的2D RGB圖像提升到3D空間，提高閉環(huán)場(chǎng)景的渲染質(zhì)量，并構(gòu)建閉環(huán)環(huán)境來(lái)實(shí)現(xiàn)這一目標(biāo)。在渲染方面，我們解決了閉環(huán)場(chǎng)景中新視圖合成的挑戰(zhàn)，包括視點(diǎn)外推和360度車輛渲染。除了新視圖合成外，HUGSIM還實(shí)現(xiàn)了全閉環(huán)仿真循環(huán)，根據(jù)控制命令動(dòng)態(tài)更新自車和行為者狀態(tài)和觀察結(jié)果。此外，HUGSIM為KITTI-360、Waymo、nuScenes和PandaSet的70多個(gè)序列以及400多個(gè)不同的場(chǎng)景提供了全面的基準(zhǔn)，為現(xiàn)有的自動(dòng)駕駛算法提供了一個(gè)公平和現(xiàn)實(shí)的評(píng)估平臺(tái)。HUGSIM不僅是一個(gè)直觀的評(píng)估基準(zhǔn)，還釋放了在真實(shí)的閉環(huán)環(huán)境中微調(diào)自動(dòng)駕駛算法的潛力。

總結(jié)來(lái)說(shuō)，本文的主要貢獻(xiàn)如下：

• 全新自動(dòng)駕駛仿真器，其特點(diǎn)是閉環(huán)、真實(shí)和實(shí)時(shí)，彌合了城市場(chǎng)景新視圖合成和自動(dòng)駕駛仿真器之間的差距。
• 為了解決仿真器中的特定渲染挑戰(zhàn)，我們利用物理約束和非本地參與者來(lái)提高保真度，超越了以前的新視圖合成方法。
• 提出了一種高效的駕駛員軌跡生成策略，即使沒(méi)有高清地圖，也能仿真攻擊性駕駛行為。
• 引入了一個(gè)新的基準(zhǔn)來(lái)公平評(píng)估AD算法，與現(xiàn)有的基于閉環(huán)視覺(jué)的AD仿真器相比，它提供了更真實(shí)的仿真環(huán)境。此外，基準(zhǔn)測(cè)試提供了基于多個(gè)數(shù)據(jù)集的各種場(chǎng)景，具有不同難度的不同場(chǎng)景。

相關(guān)工作回顧

Urban Scene Reconstruction

靜態(tài)場(chǎng)景：已經(jīng)進(jìn)行了許多研究，使用各種方法重建城市場(chǎng)景。這些方法可分為四類：基于點(diǎn)的、基于網(wǎng)格的、基于NeRF的和基于3DGS的。雖然基于點(diǎn)和基于網(wǎng)格的方法展示了真實(shí)的重建，但它們很難恢復(fù)場(chǎng)景的各個(gè)方面，特別是在高質(zhì)量的外觀建模方面。相比之下，基于NeRF的模型不僅可以重建場(chǎng)景外觀，還可以從新穎的視角進(jìn)行高質(zhì)量的渲染，而基于3DGS的模型則支持實(shí)時(shí)渲染而不會(huì)犧牲質(zhì)量。然而，這些方法主要是為靜態(tài)場(chǎng)景設(shè)計(jì)的，缺乏處理動(dòng)態(tài)城市環(huán)境的能力。在這項(xiàng)研究中，我們的重點(diǎn)在于應(yīng)對(duì)動(dòng)態(tài)城市場(chǎng)景的挑戰(zhàn)。

動(dòng)態(tài)場(chǎng)景：還開發(fā)了幾種方法來(lái)解決動(dòng)態(tài)城市場(chǎng)景的重建問(wèn)題。其中許多方法依賴于移動(dòng)目標(biāo)的精確3D邊界框的可用性，以便將動(dòng)態(tài)元素與靜態(tài)組件分開。PNF、NeuRAD和StreetGaussians采用了一種不同的方法，利用基于單目或基于激光雷達(dá)的3D邊界框預(yù)測(cè)，并在重建過(guò)程中提出了對(duì)物體姿態(tài)的聯(lián)合優(yōu)化。然而，我們的實(shí)驗(yàn)觀察表明，由于沒(méi)有物理約束，直接優(yōu)化物體姿態(tài)會(huì)產(chǎn)生不令人滿意的結(jié)果。另一種方法SUDS通過(guò)基于學(xué)習(xí)到的特征場(chǎng)對(duì)場(chǎng)景進(jìn)行分組，避免了使用3D邊界框。然而，這種方法的準(zhǔn)確性滯后。同時(shí)，EmerNeRF和PVG遵循與SUDS類似的想法，將場(chǎng)景純粹分解為靜態(tài)和動(dòng)態(tài)組件。在我們的研究中，我們有能力進(jìn)一步分解場(chǎng)景中的單個(gè)動(dòng)態(tài)目標(biāo)并估計(jì)它們的運(yùn)動(dòng)。然后，該重建的運(yùn)動(dòng)可用于在仿真器內(nèi)仿真駕駛行為。

外推視圖渲染：盡管上述城市重建方法可以在插值視圖中渲染高保真圖像，但大多數(shù)方法都難以在外推視圖中渲染，尤其是在車道上，偽影很常見。一些方法，利用擴(kuò)散模型添加額外的視圖進(jìn)行監(jiān)督，解決了城市場(chǎng)景重建中輸入視圖稀疏的問(wèn)題。然而，擴(kuò)散模型帶來(lái)了挑戰(zhàn)，例如視圖之間的不一致性、訓(xùn)練復(fù)雜性的增加以及由于這些模型的繁重計(jì)算負(fù)擔(dān)而導(dǎo)致的訓(xùn)練速度減慢。GGS提出了一種基于MVSplat的可推廣模型，在訓(xùn)練過(guò)程中結(jié)合了虛擬車道生成策略來(lái)解決外推視圖問(wèn)題。雖然這種方法顯著提高了外推視圖的保真度，但MVSplat只允許少數(shù)幀作為輸入，這可能會(huì)限制可擴(kuò)展性并導(dǎo)致多視圖錯(cuò)位。相比之下，并行工作AutoPlat和RoGS應(yīng)用物理先驗(yàn)來(lái)約束地面高斯分布，類似于我們的方法。然而，AutoPlat依賴于LiDAR數(shù)據(jù)進(jìn)行初始化，RoGS在地平面上均勻分布高斯分布，兩種方法都固定高斯在平面上的位置。這些方法使用大量的高斯分布來(lái)對(duì)非紋理區(qū)域進(jìn)行建模，我們發(fā)現(xiàn)這是不必要的，也是低效的。通過(guò)優(yōu)化位置和比例等附加參數(shù)，HUGSIM在不需要太多高斯分布的情況下實(shí)現(xiàn)了更好的性能。

上述相關(guān)工作主要集中在新穎的視圖合成上，但還沒(méi)有完全開發(fā)出閉環(huán)仿真器，如表1所示。

Benchmarks

開環(huán)：AD算法的大多數(shù)現(xiàn)有數(shù)據(jù)集和基準(zhǔn)都遵循開環(huán)方法，分別評(píng)估算法的各個(gè)組件。例如，在感知組件中，評(píng)估語(yǔ)義分割、邊界框檢測(cè)和車道檢測(cè)等任務(wù)，而規(guī)劃組件評(píng)估路線規(guī)劃、行為預(yù)測(cè)和軌跡預(yù)測(cè)等任務(wù)。盡管這些開環(huán)基準(zhǔn)提供了對(duì)每個(gè)部分的詳細(xì)和令人信服的性能評(píng)估，但它們使用專家收集的感官數(shù)據(jù)來(lái)評(píng)估AD算法的性能，缺乏偏離專家收集的感知數(shù)據(jù)的場(chǎng)景。如果沒(méi)有閉環(huán)反饋，這些偏差的長(zhǎng)期后果仍未得到探索，這對(duì)于理解AD系統(tǒng)在現(xiàn)實(shí)世界條件下的魯棒性和安全性至關(guān)重要。NAVSIM提供了一個(gè)位于開環(huán)和閉環(huán)評(píng)估之間的基準(zhǔn)。盡管它是一個(gè)非反應(yīng)式仿真器，缺乏新穎的視圖合成能力，但它通過(guò)預(yù)測(cè)未來(lái)幾秒鐘的規(guī)劃軌跡來(lái)計(jì)算閉環(huán)指標(biāo)。然而，NAVSIM僅限于短時(shí)間范圍，并沒(méi)有解決隨著時(shí)間的推移累積的偏差如何影響駕駛安全的問(wèn)題。

閉環(huán)：許多閉環(huán)仿真器試圖解決自動(dòng)駕駛中開環(huán)基準(zhǔn)的局限性。一些仿真器提供了其他車輛的地面真實(shí)位置和旋轉(zhuǎn)，缺乏AD系統(tǒng)的感知方面，這對(duì)全面評(píng)估至關(guān)重要。視頻擴(kuò)散模型的快速發(fā)展在生成真實(shí)的駕駛視頻方面顯示出了希望。DriveArena使用視頻擴(kuò)散模型構(gòu)建閉環(huán)仿真器，通過(guò)場(chǎng)景布局控制場(chǎng)景生成。然而，這些模型仍然存在時(shí)間不一致和大量計(jì)算需求等問(wèn)題。UniSim和NeuroNcap采用了不同的方法，創(chuàng)建了一個(gè)基于NeRF的仿真器，可以實(shí)現(xiàn)真實(shí)的閉環(huán)仿真。然而，UniSim不是開源作品，而NeuroNCAP有幾個(gè)缺點(diǎn)，包括非實(shí)時(shí)渲染、外推視圖的次優(yōu)質(zhì)量和完全手動(dòng)的演員行為設(shè)計(jì)。相比之下，HUGSIM通過(guò)提供實(shí)時(shí)性能、提高外推視圖的保真度以及高效、自動(dòng)生成參與者行為來(lái)解決這些挑戰(zhàn)。

城市場(chǎng)景重建

解耦場(chǎng)景表示

我們假設(shè)場(chǎng)景由靜態(tài)區(qū)域和表現(xiàn)出剛性運(yùn)動(dòng)的動(dòng)態(tài)車輛組成。靜態(tài)區(qū)域被分解為地面和非地面區(qū)域，允許對(duì)地面應(yīng)用平面約束，以在外推視圖中保留車道結(jié)構(gòu)。我們考慮兩類動(dòng)態(tài)車輛：原始駕駛數(shù)據(jù)集中存在的本地動(dòng)態(tài)車輛和從360度捕獲圖像重建的非本地動(dòng)態(tài)車輛。

非地面靜態(tài)高斯：遵循3DGS，我們使用3D高斯對(duì)城市場(chǎng)景的所有區(qū)域進(jìn)行建模。除了3D高斯的原始定義外，我們還建議對(duì)每個(gè)3D高斯的語(yǔ)義logit 進(jìn)行額外建模，以允許渲染2D語(yǔ)義標(biāo)簽。此外，我們可以通過(guò)在兩個(gè)不同的時(shí)間戳t1和t2將3D位置μ投影到圖像空間并計(jì)算運(yùn)動(dòng)，自然地獲得每個(gè)3D高斯的渲染光流。我們提供了多模態(tài)渲染的詳細(xì)信息。

地面高斯：車道在AD算法的感知中起著至關(guān)重要的作用。然而，如圖3所示，大多數(shù)現(xiàn)有的重建方法都難以在外推視圖中準(zhǔn)確渲染車道幾何形狀。這些失真的原因是地面高斯分布傾向于過(guò)度擬合訓(xùn)練視圖，無(wú)法重建正確的地面幾何。我們的初步實(shí)驗(yàn)表明，直接監(jiān)督渲染深度并不能解決問(wèn)題，因?yàn)榫哂胁徽_幾何形狀的高斯人仍然可以渲染出看起來(lái)準(zhǔn)確的2D深度圖。此外，我們正則化地面高斯分布以形成平面結(jié)構(gòu)，得到如圖4所示的正確幾何。

一個(gè)天真的假設(shè)是將場(chǎng)景的地面視為一個(gè)單一的平面，允許地面高斯分布在相同的高度。然而，這一假設(shè)忽略了更復(fù)雜的情況，如斜坡道路。為了解決這個(gè)問(wèn)題，我們提出了一個(gè)多平面地面模型，其中我們假設(shè)地面僅在有限的距離內(nèi)是平面的，記為?Z。在該模型中，假設(shè)每個(gè)局部平面相對(duì)于最近的相機(jī)具有固定的高度。由于相機(jī)姿態(tài)反映了表面坡度，這種多平面方法有效地仿真了這種復(fù)雜的場(chǎng)景。具體來(lái)說(shuō)，我們優(yōu)化了地面高斯分布，并通過(guò)將采樣高斯補(bǔ)丁的高度方差限制在相應(yīng)相機(jī)坐標(biāo)系中的小?Z內(nèi)來(lái)約束高斯分布在3D空間中。請(qǐng)注意，局部平面彼此重疊，從而避免了邊界偽影。更正式地說(shuō)，我們的地面模型的約束可以表示為優(yōu)化目標(biāo)：

與之前使用密集拼接或LiDAR初始化高斯的方法不同，如RoGS和AutoPlat所示，我們發(fā)現(xiàn)使用稀疏分布的高斯可以有效地表示地面，因?yàn)榈孛婕y理不是均勻分布的。因此我們保留了顏色、位置、不透明度、二維尺度作為可優(yōu)化參數(shù)，同時(shí)也納入了密度控制策略。我們的方法能夠?qū)崿F(xiàn)高質(zhì)量的地面渲染，而不需要過(guò)多的3D高斯分布，正如我們的實(shí)驗(yàn)所證明的那樣。

本地動(dòng)態(tài)車輛高斯模型和單循環(huán)模型：對(duì)于動(dòng)態(tài)車輛，我們假設(shè)根據(jù)輸入的RGB圖像預(yù)測(cè)3D邊界框，從而在目標(biāo)坐標(biāo)空間中實(shí)現(xiàn)3D高斯建模。為了解決預(yù)測(cè)中的噪聲問(wèn)題，我們通過(guò)使用自行車模型進(jìn)行正則化來(lái)共同優(yōu)化它們。

非本地全觀測(cè)車輛高斯模型：AD仿真器需要從所有360度渲染高保真度的參與者，特別是在將交互式參與者集成到閉環(huán)仿真中時(shí)。然而原始重建場(chǎng)景中的車輛僅從有限的一組視點(diǎn)捕獲，從訓(xùn)練視角之外的角度觀察時(shí)會(huì)產(chǎn)生明顯的偽影。為了解決這個(gè)問(wèn)題，我們使用密集捕獲的真實(shí)世界數(shù)據(jù)集3DRealCar重建車輛，該數(shù)據(jù)集提供了對(duì)真實(shí)世界車輛的360度觀測(cè)。我們的實(shí)驗(yàn)表明，當(dāng)以隨機(jī)視角插入仿真場(chǎng)景時(shí)，真實(shí)世界捕獲的車輛表現(xiàn)優(yōu)于原始場(chǎng)景中的車輛。

3DRealCar數(shù)據(jù)集提供了車輛的掩碼。我們利用掩碼信息來(lái)確保3D高斯模型僅對(duì)汽車前景進(jìn)行建模。這是通過(guò)在香草渲染損失之外考慮阿爾法掩模損失來(lái)實(shí)現(xiàn)的。重要的是，直接插入沒(méi)有陰影的前景車輛通?？雌饋?lái)就像它們漂浮在空中。然而，逆渲染需要精確的環(huán)境地圖，這很難從透視相機(jī)中獲得。盡管一些工作解決了高斯散斑中逆渲染的挑戰(zhàn)，但它仍然是一個(gè)計(jì)算成本很高的操作。為了簡(jiǎn)化問(wèn)題，我們假設(shè)光源（太陽(yáng)）直接在頭頂，這意味著陰影應(yīng)該出現(xiàn)在車輛下方。為了渲染車輛陰影，我們將平面高斯分布圖放置在規(guī)范空間中車輛的底部，如圖5所示。這些高斯分布的α屬性根據(jù)它們與底部中心的距離平滑地減小。盡管這是一個(gè)簡(jiǎn)化的假設(shè)，但我們觀察到，在許多情況下，插入的非本地車輛似乎是合理的，在效率和照片真實(shí)感之間取得了良好的平衡。

整體城市高斯分布

Semantic Reconstruction：

Optical Flow：

Loss Functions

圖像損失：

2D分割損失：

基于物理的正則化：

仿真

Graphicial Configuration Interface

我們開發(fā)了一個(gè)圖形用戶界面（GUI），以方便在仿真器中配置測(cè)試場(chǎng)景。GUI配置包括幾個(gè)步驟。第一步是配置相機(jī)設(shè)置，包括相機(jī)數(shù)量、相機(jī)內(nèi)參和車輛外參。第二步是配置自車參數(shù)，包括指定自車的運(yùn)動(dòng)學(xué)模型、控制頻率和啟動(dòng)狀態(tài)。最后一步涉及配置參與者，包括具有不同指定行為的本地和非本地車輛。所有這些演員的外觀都可以從3DRealCar重建的100多輛候選3D車輛中選擇。

閉環(huán)仿真

• Simulator-User communication
• Controller
• Ego-Vehicle Kinematic Model
• Collision Detection

Actor Driving Behaviors

• Replayed Driving Behavior
• Normal Driving Behavior
• Aggressive Driving Behavior

渲染評(píng)測(cè)

結(jié)論

本文介紹了HUGSIM，這是一種用于自動(dòng)駕駛的全新真實(shí)閉環(huán)仿真器，具有在外推視圖中實(shí)時(shí)、高質(zhì)量渲染和高效生成演員行為的特點(diǎn)。具體來(lái)說(shuō)，我們使用3D高斯重建城市場(chǎng)景，并引入地面模型以及單車輛重建，以提高外推視圖的渲染質(zhì)量。對(duì)于參與者行為，我們提出了一種基于攻擊成本的軌跡交互式搜索，以仿真參與者的攻擊性駕駛行為。

此外，我們?cè)诎ǚ讲钚蛄性趦?nèi)的多個(gè)數(shù)據(jù)集上建立了HUGSIM基準(zhǔn)，設(shè)計(jì)了300多個(gè)用于評(píng)估和訓(xùn)練AD算法的場(chǎng)景。我們?cè)诨鶞?zhǔn)上評(píng)估了幾個(gè)基線。我們的結(jié)果表明，HUGSIM基準(zhǔn)對(duì)現(xiàn)有的AD算法提出了重大挑戰(zhàn)。這一閉環(huán)基準(zhǔn)測(cè)試揭示了自動(dòng)駕駛性能的巨大改進(jìn)空間。我們希望我們的數(shù)據(jù)集和基準(zhǔn)將促進(jìn)跨社區(qū)的新研究，推動(dòng)實(shí)現(xiàn)完全自主的最終目標(biāo)。

對(duì)于未來(lái)的工作，HUGSIM可以通過(guò)多種方式進(jìn)行增強(qiáng)。首先，我們假設(shè)所有動(dòng)態(tài)目標(biāo)都遵循剛性運(yùn)動(dòng)，這可能會(huì)導(dǎo)致行人等非剛性運(yùn)動(dòng)目標(biāo)的模糊。這可以通過(guò)將非剛性動(dòng)態(tài)重建方法納入我們的框架來(lái)解決。雖然我們的方法改進(jìn)了外推視點(diǎn)的渲染，但它在遠(yuǎn)離輸入或非常接近目標(biāo)的視圖上難以實(shí)現(xiàn)高保真渲染。這些挑戰(zhàn)可以通過(guò)利用2D生成模型的先驗(yàn)來(lái)緩解。此外，由于我們的方法為在真實(shí)的閉環(huán)環(huán)境中微調(diào)AD算法開辟了可能性，這為未來(lái)的探索提供了一條有前景的途徑。