最近，來自 Waabi AI、多倫多大學(xué)、滑鐵盧大學(xué)和麻省理工的研究者們在 NeurIPS 2023 上提出了一種全新的自動駕駛光照仿真平臺 LightSim。研究者們提出了從真實(shí)數(shù)據(jù)中生成配對的光照訓(xùn)練數(shù)據(jù)的方法，解決了數(shù)據(jù)缺失和模型遷移損失的問題。LightSim 利用神經(jīng)輻射場（NeRF）和基于物理的深度網(wǎng)絡(luò)渲染車輛駕駛視頻，首次在大規(guī)模真實(shí)數(shù)據(jù)上實(shí)現(xiàn)了動態(tài)場景的光照仿真。

• 項(xiàng)目網(wǎng)站：https://waabi.ai/lightsim
• 論文鏈接：https://openreview.net/pdf?id=mcx8IGneYw

為什么需要自動駕駛光照仿真？

相機(jī)仿真在機(jī)器人技術(shù)中，尤其對于自動駕駛車輛感知室外的場景非常重要。然而，現(xiàn)有的相機(jī)的感知系統(tǒng)一旦遇到訓(xùn)練時(shí)未學(xué)習(xí)過的室外照明條件，就表現(xiàn)欠佳。通過相機(jī)模擬生成豐富的室外照明變化數(shù)據(jù)集，可以提高自動駕駛系統(tǒng)的魯棒性。

常見的相機(jī)仿真方法一般基于物理引擎。這種方法通過設(shè)定 3D 模型和照明條件來渲染場景。但往往仿真效果缺乏多樣性且不夠逼真。此外，由于高質(zhì)量的 3D 模型數(shù)量有限，并且物理渲染結(jié)果與真實(shí)世界場景不完全匹配。這導(dǎo)致訓(xùn)練模型在真實(shí)數(shù)據(jù)上的泛化能力較差。

另一種是基于數(shù)據(jù)驅(qū)動的（data-driven）仿真方法。它利用神經(jīng)渲染重構(gòu)真實(shí)世界的數(shù)字孿生（digital twins），以復(fù)制傳感器觀測到的數(shù)據(jù)。這種方法可以更具擴(kuò)展性地創(chuàng)建場景并提高現(xiàn)實(shí)感，但現(xiàn)有技術(shù)往往將場景照明烘焙（bake）到 3D 模型中，這阻礙了對數(shù)字孿生進(jìn)行編輯，如改變照明條件或增刪新的物體等。

在 NeurIPS 2023 的一篇工作中，來自 Waabi AI 的研究者們展示了一個基于物理引擎和神經(jīng)網(wǎng)絡(luò)的光照仿真系統(tǒng) LightSim: Neural Lighting Simulation for Urban Scenes.

不同于以往工作，LightSim 同時(shí)做到了:

1. 真實(shí)（realistic）: 首次做到對大規(guī)模室外動態(tài)場景進(jìn)行光照仿真，并且可以較為準(zhǔn)確地模擬陰影、物體間的光照效果等。

2. 可控（controllable）：支持動態(tài)駕駛場景的編輯（增添、刪除物體、相機(jī)位置和參數(shù)、改變光照、生成安全關(guān)鍵場景等），從而生成更逼真且一致性更強(qiáng)的視頻來提升系統(tǒng)對于光照和邊緣情況的魯棒性。

3. 可擴(kuò)展 (scalable): 方便擴(kuò)展到更多的場景和不同數(shù)據(jù)集中，只需要采集一次數(shù)據(jù)（single pass), 就能重新建構(gòu)并進(jìn)行真實(shí)可控的仿真測試。

仿真系統(tǒng)的搭建

第一步：構(gòu)建真實(shí)世界的可重新照明數(shù)字孿生體

為了在數(shù)字世界中重建自動駕駛場景，LightSim 首先從采集的數(shù)據(jù)中劃分動態(tài)物體和靜態(tài)場景。這一步使用了 UniSim 來重建場景，并在網(wǎng)絡(luò)中移除了相機(jī)視角依賴。再使用 marching cube 得到 geometry, 并進(jìn)一步轉(zhuǎn)換為帶有基本材料的 mesh。

除了材料和幾何，LightSim 還能夠根據(jù)室外白天場景的主要光源太陽和天空，估算室外照明，得到高動態(tài)范圍的環(huán)境圖（HDR Sky dome）。借助傳感器數(shù)據(jù)和提取的幾何體，LightSim 可以估算出一個不完整的全景圖像，然后補(bǔ)全它，獲得一個全方位 360° 的天空視圖。從而利用這個全景圖像和 GPS 信息生成 HDR 環(huán)境圖，準(zhǔn)確估算出太陽強(qiáng)度、太陽方向和天空外觀。

第二步：動態(tài)城市場景的神經(jīng)照明仿真

在得到數(shù)字孿生體后，可以進(jìn)一步對其進(jìn)行修改，例如增加或移除物體，改變車輛軌跡或更改照明等，以生成增強(qiáng)現(xiàn)實(shí)的表征。LightSim 將執(zhí)行基于物理的渲染，生成有關(guān)修改場景的照明相關(guān)數(shù)據(jù)，如基本色彩、深度、法向量和陰影。利用這些與照明相關(guān)的數(shù)據(jù)以及對場景源和目標(biāo)照明條件的估算，LightSim 的工作流程如下所示。

雖然基于物理的渲染圖像很好地重構(gòu)了場景中的照明效果，但由于幾何形狀的不完美以及材料 / 照明分解中的誤差，渲染結(jié)果往往缺乏真實(shí)感，例如模糊、不真實(shí)的表面反射和邊界偽影。因此，研究者們提出了增強(qiáng)真實(shí)感的神經(jīng)延遲渲染。他們引入了一個圖像合成網(wǎng)絡(luò)，該網(wǎng)絡(luò)采用源圖像和渲染引擎生成的照明相關(guān)數(shù)據(jù)的預(yù)計(jì)算緩沖區(qū)，生成最終的圖像。同時(shí)，論文中的方法還為網(wǎng)絡(luò)提供了環(huán)境圖，以增強(qiáng)照明上下文，并通過數(shù)字孿生體生成了成對圖像，提供了一種新穎的成對仿真和真實(shí)數(shù)據(jù)訓(xùn)練方案。

仿真能力展示

改變場景的光照 (Scene Relighting)

LightSim 可以在新的光照條件下以時(shí)間一致的方式渲染同一場景。如視頻所示，新的太陽位置和天空外觀會導(dǎo)致場景的陰影和外觀發(fā)生變化。

LightSim 可以批量地進(jìn)行場景重新照明，從估計(jì)的和真實(shí)的 HDR 環(huán)境圖中生成同一場景的新的時(shí)間一致的和可 3D 感知的照明變化。

陰影編輯 (Shadow Editing)

LightSim 的照明表示是可編輯的，可以改變太陽的方向，從而更新與太陽光方向相關(guān)的照明變化和陰影。LightSim 通過旋轉(zhuǎn) HDR 環(huán)境圖并將其傳遞給神經(jīng)延遲渲染模塊以生成以下視頻。

LightSim 也可以批量地進(jìn)行陰影編輯。

可感知光照的物體添加 (Lighting-Aware Actor Insertion)

除了修改照明之外，LightSim 還可以對不常見的對象（例如建筑障礙物）執(zhí)行照明感知的添加。這些添加的對象可以更新物體的照明陰影、做到準(zhǔn)確遮擋物體以及與整個相機(jī)配置的空間適配。

仿真遷移 (Generalization to nuScenes)

由于 LightSim 的神經(jīng)延遲渲染網(wǎng)絡(luò)是在多個駕駛視頻上進(jìn)行訓(xùn)練的，因此 LightSim 可以推廣到新場景中。以下視頻展示了 LightSim 泛化到 nuScenes 中的駕駛場景的能力。LightSim 可以為每個場景構(gòu)建照明感知數(shù)字孿生，然后應(yīng)用于在 PandaSet 上預(yù)訓(xùn)練的神經(jīng)延遲渲染模型。LightSim 遷移性能良好，并且可以較為魯棒地為場景重新照明。

真實(shí)可控的相機(jī)仿真

綜合以上展示的所有功能，LightSim 實(shí)現(xiàn)了可控、多樣化且逼真的相機(jī)模擬。以下視頻展示了 LightSim 的場景仿真性能。在視頻中，一輛白色的車緊急變道至 SDV 車道，引入了新的路障，這使得白色車輛進(jìn)入了產(chǎn)生一個全新的場景，在新場景的多種照明條件下 LightSim 生成的效果如下所示。

以下視頻中展示了另一個實(shí)例，插入了新的道路障礙后，又添加了一組新的車輛。使用 LightSim 搭建的仿真光照，讓新加入的車輛能夠無縫地融入到場景中。

總結(jié)和展望

LightSim 是一個可感知光照的相機(jī)仿真平臺，為處理大規(guī)模動態(tài)駕駛場景服務(wù)。它可以根據(jù)現(xiàn)實(shí)世界的數(shù)據(jù)構(gòu)建可感知照明的數(shù)字孿生體，并對其進(jìn)行修改，以創(chuàng)建具有不同物體布局、SDV 視角的新場景。LightSim 能夠?qū)鼍澳M新的照明條件以實(shí)現(xiàn)多樣化、真實(shí)且可控的相機(jī)仿真，從而生成時(shí)間 / 空間一致的視頻。值得注意的是，LightSim 還可以結(jié)合逆向渲染、天氣模擬等技術(shù)來進(jìn)一步提升仿真性能。