本文經(jīng)自動(dòng)駕駛之心公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

寫在前面&筆者的個(gè)人理解

神經(jīng)輻射場(chǎng)（NeRF）已成為推進(jìn)自動(dòng)駕駛（AD）重新搜索的有前途的工具，提供可擴(kuò)展的閉環(huán)模擬和數(shù)據(jù)增強(qiáng)功能。然而，為了信任模擬中獲得的結(jié)果，需要確保AD系統(tǒng)以相同的方式感知真實(shí)數(shù)據(jù)和渲染數(shù)據(jù)。盡管渲染方法的性能正在提高，但許多場(chǎng)景在忠實(shí)重建方面仍然具有固有的挑戰(zhàn)性。為此，我們提出了一種新的視角來(lái)解決真實(shí)數(shù)據(jù)與模擬數(shù)據(jù)之間的差距。我們不只是專注于提高渲染保真度，而是探索簡(jiǎn)單而有效的方法，在不影響真實(shí)數(shù)據(jù)性能的情況下，增強(qiáng)感知模型對(duì)NeRF偽影的魯棒性。此外，我們使用最先進(jìn)的神經(jīng)渲染技術(shù)，首次對(duì)AD設(shè)置中的真實(shí)到模擬數(shù)據(jù)間隙進(jìn)行了大規(guī)模調(diào)查。具體來(lái)說(shuō)，我們?cè)谡鎸?shí)和模擬數(shù)據(jù)上評(píng)估了對(duì)象檢測(cè)器和在線映射模型，并研究了不同預(yù)訓(xùn)練策略的效果。我們的結(jié)果顯示，模型對(duì)模擬數(shù)據(jù)的穩(wěn)健性顯著提高，甚至在某些情況下提高了真實(shí)世界的性能。最后，我們深入研究了真實(shí)到模擬間隙與圖像重建指標(biāo)之間的相關(guān)性，將FID和LPIPS確定為強(qiáng)指標(biāo)。

在本文中，我們提出了一種新的視角來(lái)縮小智駕系統(tǒng)不同感知模塊的真實(shí)數(shù)據(jù)和模擬數(shù)據(jù)之間的差距。我們的目標(biāo)不是提高渲染質(zhì)量，而是在不降低真實(shí)數(shù)據(jù)性能的情況下，使感知模型對(duì)NeRF偽影更具魯棒性。我們認(rèn)為，這一方向是對(duì)提高NeRF性能的補(bǔ)充，也是實(shí)現(xiàn)可擴(kuò)展虛擬AV測(cè)試的潛在關(guān)鍵。作為朝著這個(gè)方向邁出的第一步，我們表明，即使是簡(jiǎn)單的數(shù)據(jù)增強(qiáng)技術(shù)也會(huì)對(duì)模型對(duì)NeRF偽影的魯棒性產(chǎn)生很大影響。

此外，我們對(duì)大規(guī)模AD數(shù)據(jù)集進(jìn)行了首次廣泛的real2sim gap研究，并評(píng)估了多個(gè)目標(biāo)檢測(cè)器以及在線建圖模型對(duì)真實(shí)數(shù)據(jù)和最先進(jìn)（SOTA）神經(jīng)渲染方法數(shù)據(jù)的性能。我們的研究包括訓(xùn)練過程中不同數(shù)據(jù)增強(qiáng)技術(shù)的影響，以及推理過程中NeRF渲染的保真度。我們發(fā)現(xiàn)，在模型微調(diào)過程中集成這些數(shù)據(jù)顯著增強(qiáng)了它們對(duì)模擬數(shù)據(jù)的魯棒性，在某些情況下，甚至提高了對(duì)真實(shí)數(shù)據(jù)的性能。最后，我們研究了real2sim間隙和常見圖像重建指標(biāo)之間的相關(guān)性，以深入了解將NeRFs用作AD數(shù)據(jù)模擬器的重要意義。我們發(fā)現(xiàn)LPIPS和FID是real2sim差距的有力指標(biāo)，并進(jìn)一步證實(shí)了我們提出的增強(qiáng)降低了對(duì)較差視圖合成的敏感性。

方法詳解

NeRF驅(qū)動(dòng)的模擬引擎可以大大加速AD功能的測(cè)試和驗(yàn)證，因?yàn)樗鼈兛梢允褂靡呀?jīng)收集的數(shù)據(jù)探索新的虛擬場(chǎng)景。然而，為了使此類模擬結(jié)果可信，AD系統(tǒng)在暴露于渲染數(shù)據(jù)和真實(shí)數(shù)據(jù)時(shí)必須以相同的方式運(yùn)行。以前，這已經(jīng)通過渲染更真實(shí)的傳感器數(shù)據(jù)來(lái)改進(jìn)模擬來(lái)解決。在這項(xiàng)工作中，我們提出了一種替代和補(bǔ)充的方法，即我們調(diào)整AD系統(tǒng)，使其對(duì)真實(shí)數(shù)據(jù)和模擬數(shù)據(jù)之間的差異不那么敏感。

作為朝著這個(gè)方向邁出的第一步，我們探索了不同的微調(diào)策略如何使感知模型對(duì)渲染數(shù)據(jù)中的偽影更具魯棒性。具體來(lái)說(shuō)，在給定已經(jīng)訓(xùn)練好的模型的情況下，我們使用圖像來(lái)微調(diào)感知模型，這些圖像旨在提高渲染圖像的性能，同時(shí)保持真實(shí)數(shù)據(jù)的性能，見圖2。除了減少real2sim差距外，這還可能降低對(duì)傳感器真實(shí)性的要求，為神經(jīng)渲染方法的更廣泛應(yīng)用開辟道路，并減少對(duì)所述方法的訓(xùn)練和評(píng)估的計(jì)算需求。請(qǐng)注意，當(dāng)我們專注于感知模型時(shí)，我們的方法也可以很容易地?cái)U(kuò)展到端到端模型。

最后，我們可以想象多種方法來(lái)實(shí)現(xiàn)使模型更健壯的目標(biāo)，例如從領(lǐng)域自適應(yīng)和多任務(wù)學(xué)習(xí)文獻(xiàn)中汲取靈感。然而，微調(diào)需要最小的模型特定調(diào)整，使我們能夠輕松地研究一系列模型。

Image augmentations

獲得對(duì)偽影增強(qiáng)魯棒性的經(jīng)典策略是使用圖像增強(qiáng)。在這里，我們選擇增強(qiáng)來(lái)表示渲染圖像中存在的各種失真。更具體地說(shuō)，我們添加隨機(jī)高斯噪聲，將圖像與高斯模糊核卷積，應(yīng)用類似于SimCLR中發(fā)現(xiàn)的光度失真，最后對(duì)圖像進(jìn)行下采樣和上采樣。增廣是按順序應(yīng)用的，每個(gè)增廣都有一定的概率。

Fine-tuning with mixed-in rendered images

使感知模型適應(yīng)NeRF渲染數(shù)據(jù)的另一種自然方式是在微調(diào)期間包括這樣的數(shù)據(jù)。這涉及到在用于監(jiān)督感知模型的相同數(shù)據(jù)集上訓(xùn)練NeRF方法。然而，對(duì)于大型數(shù)據(jù)集來(lái)說(shuō)，在所有上訓(xùn)練NeRF的成本可能高得令人望而卻步。相反，我們?cè)谧蛹嫌?xùn)練NeRF。注意，除了給定感知任務(wù)的注釋外，AD的NeRF通常還增加了中數(shù)據(jù)的順序要求，其中一些還需要3D對(duì)象檢測(cè)、語(yǔ)義分割或多種類型標(biāo)簽等任務(wù)的標(biāo)簽。

接下來(lái)，我們將中所選序列的圖像劃分為NeRF訓(xùn)練集和保持集。感知模型的微調(diào)是在它們的整個(gè)訓(xùn)練數(shù)據(jù)集D上完成的，對(duì)于在D中具有渲染對(duì)應(yīng)關(guān)系的圖像，我們使用具有概率p的渲染圖像。這意味著用于微調(diào)的圖像沒有被NeRF模型看到。

Image-to-image translation

如前所述，渲染NeRF數(shù)據(jù)是一種昂貴的數(shù)據(jù)增強(qiáng)技術(shù)。此外，除了感知任務(wù)所需的數(shù)據(jù)外，它還需要順序數(shù)據(jù)和潛在的額外標(biāo)記。也就是說(shuō)，為了獲得可擴(kuò)展的方法，我們理想地想要一種有效的策略來(lái)獲得單個(gè)圖像的NeRF數(shù)據(jù)。為此，我們建議使用圖像對(duì)圖像的方法來(lái)學(xué)習(xí)生成類NeRF圖像。給定真實(shí)圖像，該模型將圖像轉(zhuǎn)換到NeRF域，有效地引入了NeRF的典型偽影。這使我們能夠在有限的計(jì)算成本下，在微調(diào)過程中大幅增加類NeRF圖像的數(shù)量。我們使用渲染圖像Dnerf及其相應(yīng)的真實(shí)圖像來(lái)訓(xùn)練圖像到圖像模型。不同增強(qiáng)策略的可視化示例見圖3。

結(jié)果

結(jié)論

神經(jīng)輻射場(chǎng)（NeRF）已成為模擬自動(dòng)駕駛（AD）數(shù)據(jù)的一種很有前途的途徑。然而，為了實(shí)用，必須了解AD系統(tǒng)在模擬數(shù)據(jù)上執(zhí)行的行為是如何轉(zhuǎn)換為真實(shí)數(shù)據(jù)的。我們的大規(guī)模調(diào)查揭示了暴露于模擬圖像和真實(shí)圖像的感知模型之間的性能差距。

與早期專注于提高渲染質(zhì)量的方法不同，本文研究了如何改變感知模型，使其對(duì)NeRF模擬數(shù)據(jù)更具魯棒性。我們表明，使用NeRF或類似NeRF的數(shù)據(jù)進(jìn)行微調(diào)，在不犧牲真實(shí)數(shù)據(jù)性能的情況下，大大減少了對(duì)象檢測(cè)和在線映射方法的real2sim間隙。此外，我們還表明，在現(xiàn)有的列車分布之外生成新的場(chǎng)景，例如模擬車道偏離，可以提高實(shí)際數(shù)據(jù)的性能。對(duì)NeRF社區(qū)內(nèi)常用圖像指標(biāo)的研究表明，LPIPS和FID分?jǐn)?shù)與感知性能表現(xiàn)出最強(qiáng)的相關(guān)性。這表明，與單純的重建質(zhì)量相比，感知相似性對(duì)感知模型具有更大的意義。

總之，我們認(rèn)為NeRF模擬數(shù)據(jù)對(duì)AD有價(jià)值，尤其是當(dāng)使用我們提出的方法來(lái)增強(qiáng)感知模型的穩(wěn)健性時(shí)。此外，NeRF數(shù)據(jù)不僅有助于在模擬數(shù)據(jù)上測(cè)試AD系統(tǒng)，而且有助于提高感知模型在真實(shí)數(shù)據(jù)上的性能。