本文經(jīng)自動駕駛之心公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

寫在前面&筆者的個人理解

本文提出了一種用于測試自動駕駛（AD）軟件系統(tǒng)的多功能基于NeRF的仿真器，其設(shè)計重點是傳感器真實閉環(huán)評估和安全關(guān)鍵場景的創(chuàng)建。仿真器從真實世界的駕駛傳感器數(shù)據(jù)序列中學(xué)習(xí)，并能夠重新配置和渲染新穎的場景。在這項工作中，使用本文提出的仿真器來測試AD模型對安全關(guān)鍵場景的響應(yīng)。評估表明，盡管最先進的端到端規(guī)劃器在開環(huán)環(huán)境中的標(biāo)稱駕駛場景中表現(xiàn)出色，但在閉環(huán)環(huán)境中導(dǎo)航關(guān)鍵場景時，他們表現(xiàn)出了不可忽略的缺陷。這突出了端到端規(guī)劃器在安全性和現(xiàn)實可用性方面的進步需求。通過將我們的仿真器和場景作為一個易于運行的評估套件公開發(fā)布，并邀請社區(qū)在受控但高度可配置且具有挑戰(zhàn)性的傳感器現(xiàn)實環(huán)境中探索、完善和驗證他們的端到端模型。

開源鏈接：https://github.com/atonderski/neuro-ncap

總結(jié)來說，本文的主要貢獻如下：

1. 發(fā)布了一個開源框架，用于自動駕駛的真實感閉環(huán)仿真。
2. 受行業(yè)標(biāo)準(zhǔn)EuroNCAP的啟發(fā)，構(gòu)建了無法在現(xiàn)實世界中安全收集的安全關(guān)鍵場景。
3. 使用仿真器和我們構(gòu)建的場景，設(shè)計了一個新的評估協(xié)議，該協(xié)議側(cè)重于碰撞而不是位移度量。
4. 本文發(fā)現(xiàn)盡管準(zhǔn)確地感知了環(huán)境，但兩個SoTA端到端規(guī)劃器在安全關(guān)鍵場景中嚴重失敗，這值得社區(qū)進一步探索。

相關(guān)工作回顧

端到端駕駛模型：傳統(tǒng)上，自動駕駛?cè)蝿?wù)被劃分為不同的模塊，例如感知、預(yù)測和規(guī)劃，這些模塊是單獨構(gòu)建的。胡等人認為，這種劃分有很多缺點：跨模塊的信息丟失、錯誤積累和特征錯位。姜等人強調(diào)，規(guī)劃模塊可能需要訪問手工制作的界面中不存在的傳感器數(shù)據(jù)的語義信息。這兩項工作繼續(xù)支持端到端規(guī)劃。Pomerlau等人的開創(chuàng)性工作提出了這樣一種規(guī)劃器，其中訓(xùn)練單個神經(jīng)網(wǎng)絡(luò)將傳感器輸入映射到輸出軌跡。幾十年的神經(jīng)網(wǎng)絡(luò)進步激發(fā)了人們對端到端規(guī)劃的新興趣。然而，這些規(guī)劃者的黑匣子性質(zhì)使他們難以優(yōu)化，其結(jié)果也難以解釋。胡等人和姜等人提出了兩種具有中間輸出的端到端神經(jīng)網(wǎng)絡(luò)規(guī)劃器，對應(yīng)于模塊化方法。他們的規(guī)劃者被劃分為多個模塊，但模塊接口是學(xué)習(xí)的，由深度特征向量組成。

端到端規(guī)劃器的開環(huán)評估：Pomerleau等人通過讓其駕駛真實世界的測試車輛來評估他們的駕駛模型。這樣的設(shè)置使得大規(guī)模測試成本高昂，并且結(jié)果可能難以再現(xiàn)。最近在端到端規(guī)劃方面的工作改為在開環(huán)中進行評估，在該開環(huán)中，模型根據(jù)記錄的傳感器數(shù)據(jù)預(yù)測計劃。預(yù)測的計劃從未被執(zhí)行，相反，行動被固定在記錄的內(nèi)容上。這種設(shè)置也被用于目標(biāo)級規(guī)劃工作，該工作假設(shè)了完美的感知，并將靜態(tài)環(huán)境的地圖和動態(tài)對象的軌跡輸入到模型中。這種開環(huán)評估構(gòu)成了評估與現(xiàn)實部署之間的差距。此外，性能通常被測量為記錄中預(yù)測的計劃和車輛駕駛的軌跡之間的距離。雖然零的誤差對應(yīng)于人類水平的駕駛，但誤差越低越好并不一定是真的。這可以通過考慮兩個不同軌跡相同好的場景來實現(xiàn)。Codevilla等人對這些問題進行了研究，發(fā)現(xiàn)開環(huán)評估與實際駕駛質(zhì)量不一定相關(guān)。Dauner等人得出了類似的結(jié)論。

閉環(huán)評估和仿真：考慮到上述開環(huán)評估問題，閉環(huán)仿真變得很有吸引力。已經(jīng)提出了幾種對象級仿真器。然而，這些仿真器不生成傳感器數(shù)據(jù)，這使得無法在閉環(huán)中測試端到端規(guī)劃器。已經(jīng)提出了許多手工制作的圖形仿真器。這種仿真器面臨的挑戰(zhàn)有兩個：很難創(chuàng)建逼真的圖像，也很難創(chuàng)建捕捉真實世界多樣性的圖形資產(chǎn)。對世界模型的研究表明，場景的未來——例如雅達利游戲——可以在潛在空間中預(yù)測，并且潛在空間中的向量可以解碼為傳感器輸入。胡等利用大規(guī)模的真實世界汽車數(shù)據(jù)集建立了一個世界模型。Amini等人提出了VISTA，其中可以通過預(yù)測深度取消投影最近的圖像并重新投影，在局部軌跡周圍合成新的視圖。楊等人提出使用神經(jīng)輻射場（NeRF）來創(chuàng)建場景的真實感傳感器輸入。該方法隨后由Tonderski等人進行了改進。具有更準(zhǔn)確的傳感器建模和更高的渲染質(zhì)量，特別是對于此處考慮的360度設(shè)置。

新車評估計劃：新車評估計劃（NCAP）由美國交通部國家公路安全管理局于1979年推出，旨在為消費者提供有關(guān)汽車相對安全潛力的信息。NCAP對車輛進行了碰撞測試，并根據(jù)嚴重受傷的概率對車輛進行評分。1996年提出了一項類似的歐洲協(xié)議，即歐洲新車評估計劃（Euro NCAP）。2009年，歐洲NCAP進行了全面改革，以納入新興防撞系統(tǒng)的測試。最初，這包括電子穩(wěn)定控制和速度輔助系統(tǒng)，但后來擴展到包括其他系統(tǒng)，如自動緊急制動和自動緊急轉(zhuǎn)向。在這項工作中，我們從歐洲NCAP自動防撞評估協(xié)議中獲得了靈感。該協(xié)議提供了除非采取措施，否則將發(fā)生崩潰的場景。為了獲得滿分，車輛需要剎車或轉(zhuǎn)向以避免事故發(fā)生。如果沖擊速度充分降低，則會獲得部分分數(shù)。

方法詳解

閉環(huán)仿真

我們的閉環(huán)仿真重復(fù)執(zhí)行四個步驟。首先，在給定ego車輛的狀態(tài)和相機校準(zhǔn)的情況下，渲染高質(zhì)量的相機輸入。渲染器是根據(jù)駕駛車輛的日志構(gòu)建的。其次，在給定渲染的相機輸入和自車狀態(tài)的情況下，端到端規(guī)劃器預(yù)測未來自車軌跡。第三，控制器將計劃軌跡轉(zhuǎn)換為一組控制輸入。第四，在給定控制輸入的情況下，車輛模型在時間上向前傳播自我狀態(tài)。此過程如圖2所示。接下來，我們詳細介紹四個步驟中的每一個。

神經(jīng)渲染器：為了仿真新穎的傳感器數(shù)據(jù)，我們采用了神經(jīng)渲染器。NeRF從收集的真實世界數(shù)據(jù)的日志中學(xué)習(xí)3D環(huán)境的隱含表示。一旦經(jīng)過訓(xùn)練，NeRF就可以從所述場景中渲染傳感器逼真的新穎視圖。最近的進步增加了通過更改場景中動態(tài)對象的相應(yīng)三維邊界框來編輯動態(tài)對象的能力。具體來說，參與者可以被移除、添加或設(shè)置為遵循新的軌跡，在我們的案例中，這使得能夠創(chuàng)建安全關(guān)鍵場景。例如，為了仿真一種罕見但關(guān)鍵的安全場景，可以將原本在相鄰車道上行駛的車輛定位為靜止，并與自身車輛位于同一車道上。這種新穎的情況需要自車剎車或執(zhí)行精確的超車動作。

有兩件事需要注意。首先，最近提出的NeuRAD還支持激光雷達數(shù)據(jù)的渲染。然而，由于最先進的端到端規(guī)劃者只消耗相機數(shù)據(jù)，我們在這項工作中只關(guān)注相機數(shù)據(jù)。其次，正如我們在實驗中所示，與真實數(shù)據(jù)相比，現(xiàn)代NeRF引入的領(lǐng)域差距足夠小，端到端計劃者的感知部分仍能以高性能運行。然而，我們預(yù)計隨著神經(jīng)渲染的未來發(fā)展，這一差距將進一步縮小。

AD模型：最近關(guān)于端到端規(guī)劃的工作描述了一個消耗（i）原始傳感器數(shù)據(jù)的系統(tǒng)；（ii）自車狀態(tài)；以及（iii）預(yù)測計劃軌跡的高級計劃。計劃的軌跡包括在某個頻率和某個時間范圍的路點。需要注意的是，雖然我們的主要目標(biāo)是分析最先進的端到端規(guī)劃器，但該模塊可以用任何類型的規(guī)劃器取代，例如模塊化檢測器-跟蹤器-規(guī)劃器管道。

控制器：為了應(yīng)用車輛模型，需要將路點轉(zhuǎn)換為一系列控制信號，對應(yīng)于一系列轉(zhuǎn)向角（δ）和加速度（a）命令。繼Caesar等人之后，我們用線性二次型調(diào)節(jié)器（LQR）實現(xiàn)了這一點。請注意，雖然我們只分析輸出路點的規(guī)劃器，但規(guī)劃器可以直接輸出一系列控制信號。

車輛模型：給定一組由計劃軌跡產(chǎn)生的控制信號，車輛狀態(tài)通過時間傳播。為此，我們遵循先前的閉環(huán)仿真器，并采用離散版本的運動自行車模型。它可以正式地描述為：

評估

與常見的評估實踐（即大規(guī)模數(shù)據(jù)集的平均性能）相反，我們將評估重點放在一小部分精心設(shè)計的安全關(guān)鍵場景上。這些場景經(jīng)過精心設(shè)計，任何無法成功處理所有場景的模型都應(yīng)被視為不安全。我們從行業(yè)標(biāo)準(zhǔn)的歐洲NCAP測試中獲得了靈感（見第2節(jié)），并定義了三種類型的場景，每種場景的特征都是我們即將碰撞的參與者的行為：靜止、正面和側(cè)面。根據(jù)歐洲NCAP命名法，我們將此參與者稱為目標(biāo)參與者。其目的是控制自車以避免與目標(biāo)行為者發(fā)生碰撞或至少降低碰撞速度。

對于每種場景類型，我們都會創(chuàng)建多個場景。每個場景都基于從真實世界中大約20秒的駕駛中收集的數(shù)據(jù)。自車和目標(biāo)參與者狀態(tài)被初始化，這樣，如果保持當(dāng)前速度和轉(zhuǎn)向角，碰撞將在未來約4秒發(fā)生。所有非平穩(wěn)演員都被從場景中移除，我們隨機選擇其中一個作為目標(biāo)演員，考慮到演員是否已經(jīng)被足夠近的觀察到，并且在必要的角度下，以產(chǎn)生逼真的渲染。由于我們的渲染器僅限于僵硬的參與者，因此我們將行人排除在該選擇之外。最后，我們在特定場景的間隔內(nèi)隨機抖動目標(biāo)演員的位置、旋轉(zhuǎn)和速度。在評估過程中，我們將每個場景運行大量的運行（使用固定的隨機種子），并計算平均結(jié)果。接下來，我們將描述每種類型場景的特征。

靜止：這是一種相對簡單的場景，其中一個靜止的目標(biāo)演員被放置在自車車道上。目標(biāo)車輛可以任意旋轉(zhuǎn)放置，但在整個場景中都將保持靜止。這意味著自車可以進行劇烈的剎車或轉(zhuǎn)向操作以避免碰撞。見圖3a。

正面：正面場景包括一個目標(biāo)演員，他正朝相反的方向行駛，并在與自車的碰撞路徑上漂移到自我車道上。因此，ego車輛不能通過斷裂來避免碰撞，只會降低碰撞速度。為了完全避免碰撞，自車必須執(zhí)行轉(zhuǎn)向操作。見圖3b。

側(cè)面：側(cè)面碰撞場景的特點是目標(biāo)演員從垂直方向穿過我們的車道。如果自車的當(dāng)前速度保持不變，就會發(fā)生側(cè)面碰撞。自車可以通過為迎面而來的目標(biāo)行為者剎車，或者在超速經(jīng)過目標(biāo)行為者時進行輕微的轉(zhuǎn)向操縱來避免碰撞。見圖3c。

NeuroNCAP評分：對于每個場景，都會計算一個評分。只有完全避免碰撞才能獲得滿分。成功降低沖擊速度可獲得部分分數(shù)。本著五星級歐洲NCAP評級系統(tǒng)的精神，我們將NeuroNCAP評分（NNS）計算為：

實驗

數(shù)據(jù)集：雖然有許多針對自動駕駛的數(shù)據(jù)集，但nuScenes在端到端規(guī)劃方面得到了最廣泛的適應(yīng)。它以具有高度互動場景的城市環(huán)境為特色，適用于我們的安全關(guān)鍵場景生成。由于其廣泛的適應(yīng)性，它還允許我們使用我們評估的模型的官方實現(xiàn)和網(wǎng)絡(luò)權(quán)重。NuScenes分為1000個序列，其中150個保留用于驗證。從這150個序列中，我們選擇了14個不同的序列——根據(jù)場景中特工的行為，這些序列被認為是合適的——作為我們安全關(guān)鍵場景的基礎(chǔ)。

場景：每個場景都是手工設(shè)計的，考慮哪些參與者適合給定的序列、最合理的碰撞軌跡，以及定義不同類型隨機化的允許范圍。在評估過程中，我們將每個場景運行100次（使用固定的隨機種子），并對結(jié)果進行平均。并不是所有的序列都可以用于所有類型的場景，例如，我們無法仿真一條直線路上的真實側(cè)面碰撞。因此，我們?yōu)槊糠N場景類型選擇合適的序列。關(guān)于每個場景的更多細節(jié)和定性示例，我們參考補充材料。

神經(jīng)渲染器：作為我們的渲染器，我們選擇使用NeuRAD，這是一款專門為自動駕駛開發(fā)的SotA神經(jīng)渲染器，經(jīng)驗證可與nuScenes很好地配合使用。由于我們希望最大限度地提高重建質(zhì)量，我們使用更大的配置（NeuRAD-L），并使用默認的超參數(shù)訓(xùn)練100k步。由于nuScenes中的姿態(tài)信息僅限于鳥瞰平面，我們采用姿態(tài)優(yōu)化來恢復(fù)丟失的信息。最后，我們采用了沿對稱軸翻轉(zhuǎn)演員的方式，以實現(xiàn)從所有視點對演員的逼真渲染。

AD模型：根據(jù)我們提出的評估協(xié)議，我們評估了目前的兩種SotA端到端驅(qū)動模型，即UniAD和VAD。在這兩種情況下，我們都使用了作者提供的預(yù)先訓(xùn)練的權(quán)重，這些權(quán)重在同一數(shù)據(jù)集上訓(xùn)練，而不會對所述模型的配置進行任何更改。這兩種型號都消耗360°攝像頭輸入，以及can總線信號和高級命令：右、左或直，并在未來3秒內(nèi)輸出一系列未來路線點。雖然在我們的場景中，這比碰撞的初始時間（TTC）更短，但這不是一個問題，因為規(guī)避機動可以而且應(yīng)該在最終航路點與當(dāng)前參與者位置相交之前開始。此外，我們的場景設(shè)計得相當(dāng)寬松，因此TTC<3s的計劃仍然可以成功避免碰撞。

這兩個模型之間的一個主要區(qū)別是，UniAD將防撞優(yōu)化后處理步驟應(yīng)用于它們的預(yù)測軌跡。使用具有基于預(yù)測占用率和未優(yōu)化輸出軌跡的成本函數(shù)的經(jīng)典求解器來執(zhí)行優(yōu)化。當(dāng)在開環(huán)中評估時，這種優(yōu)化被證明可以顯著降低碰撞率，我們現(xiàn)在可以在更有趣的閉環(huán)設(shè)置中研究它。為了實現(xiàn)更直接的可比分析，我們對VAD實現(xiàn)了相同的防撞優(yōu)化。然而，由于VAD不能直接預(yù)測未來的占用，我們將其預(yù)測的未來對象光柵化，并將其用作未來的占用。請注意，這種方法可能高估了占用率，因為所有未來模式都被視為具有同等可能性。

為了進行比較，我們基于UniAD/VAD的感知輸出實現(xiàn)了一種天真的基線方法。規(guī)劃邏輯只是一個等速模型，除非我們在自車前方的走廊中觀察到物體，在這種情況下，我們會執(zhí)行制動操作。走廊被定義為橫向±2米，縱向范圍從0到2維戈米，即如果TTC<2s且前方有物體，我們會剎車。

實驗結(jié)果

我們使用圖4中每種場景類型的渲染前置攝像頭圖像，以及計劃軌跡的重疊投影來增強定量分析。圖4a描繪了一個成功的回避動作，同時也突出了我們呈現(xiàn)復(fù)雜實體（如摩托車手）的能力。然而，如果沒有后期處理，規(guī)劃者似乎容易忽視安全關(guān)鍵事件，如圖4b所示。

限制

我們看到以下限制。首先，神經(jīng)渲染器在場景和場景中受到限制，例如，沒有雨，它能夠準(zhǔn)確渲染。此外，自車軌跡的大偏差和非常近的物體會導(dǎo)致視覺偽影（見圖4）。其次，我們采用了一個簡化的車輛模型，它不建模，例如延遲、摩擦或懸架。此外，我們不考慮路面方面，如顛簸、坑洞、礫石等。第三，我們對所有車型都采用了單一控制器，即使它們是緊密耦合的。我們的評估協(xié)議允許提交直接輸出控制信號的AD模型。第四，神經(jīng)渲染器無法處理可變形對象，例如行人。我們希望神經(jīng)渲染的進一步進步將解除這一限制，并實現(xiàn)一套新的安全關(guān)鍵場景，重點關(guān)注弱勢道路使用者。第五，目標(biāo)行動者遵循預(yù)定的軌跡，而不動態(tài)地對自車做出反應(yīng)。雖然這遵循了EuroNCAP的設(shè)置，但我們認為，未來有多個參與者的場景將需要反應(yīng)行為。

結(jié)論

總之，我們的仿真環(huán)境提供了一種新的方法來評估自動駕駛模型的安全性，利用真實世界的傳感器數(shù)據(jù)和受歐洲NCAP啟發(fā)的安全協(xié)議。通過NeuroNCAP框架，包括靜止、正面和側(cè)面碰撞場景，我們暴露了當(dāng)前SotA規(guī)劃者的重大漏洞。這些發(fā)現(xiàn)不僅強調(diào)了在端到端規(guī)劃者的安全性方面取得進展的迫切需要，而且為未來的研究提供了有希望的途徑。通過向更廣泛的研究界公開我們的評估套件，我們的目標(biāo)是促進更安全的自動駕駛方面的進展。展望未來，我們預(yù)計將開發(fā)該套件以應(yīng)對更廣泛的場景，集成更精細的車輛模型，并采用先進的神經(jīng)渲染技術(shù)，從而為安全評估設(shè)定新的基準(zhǔn)。