本文經(jīng)自動駕駛之心公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

各位聽眾朋友大家好！又到了仿真大觀園節(jié)目時(shí)間了！今天將由我來為大家浮光掠影地介紹一下自動駕駛仿真這個(gè)行當(dāng)。

首先說為什么自動駕駛需要仿真。幾年前看非誠勿擾，嘉賓黃瀾表示要有2/3的人接受自動駕駛她才會接受，體現(xiàn)了普通群眾對于自動駕駛安全性的關(guān)注。而為了要保證安全性，自動駕駛算法在真正大規(guī)模應(yīng)用之前，就需要經(jīng)歷大量的道路測試。但自動駕駛系統(tǒng)的測試非?！百F”：時(shí)間和資金成本巨大，所以人們就希望將盡量多的測試搬到計(jì)算機(jī)系統(tǒng)中去做，用仿真暴露自動駕駛系統(tǒng)中的大部分問題，減少實(shí)地路測的需求，因此，我們的飯碗就出現(xiàn)了。

一、仿真場景

仿真場景即自動駕駛系統(tǒng)的test case。根據(jù)中國汽車技術(shù)研究中心的分類，自動駕駛測試場景可分為【自然駕駛場景】【危險(xiǎn)工況場景】【標(biāo)準(zhǔn)法規(guī)場景】【參數(shù)重組場景】等四大類：自然駕駛場景來源于汽車真實(shí)的自然駕駛狀態(tài)，是構(gòu)建自動駕駛測試場景中最基礎(chǔ)的數(shù)據(jù)來源；危險(xiǎn)工況場景主要包含大量惡劣天氣環(huán)境、復(fù)雜道路交通以及典型交通事故等場景，如CIDAS數(shù)據(jù)庫；標(biāo)準(zhǔn)法規(guī)場景是驗(yàn)證自動駕駛有效性的一種基礎(chǔ)測試場景，是通過現(xiàn)有的標(biāo)準(zhǔn)、評價(jià)規(guī)程構(gòu)建測試場景，目的是對自動駕駛汽車應(yīng)該具備的基本能力進(jìn)行測試；參數(shù)重組場景是將已有仿真場景進(jìn)行參數(shù)化設(shè)置并完成仿真場景的隨機(jī)生成或自動重組，具有無限性、擴(kuò)展性、 批量化、自動化等特點(diǎn)。

場景庫搭建流程大致可以分為【收集數(shù)據(jù)】：即實(shí)際道路數(shù)據(jù)和法規(guī)數(shù)據(jù)等、【處理數(shù)據(jù)】：即從數(shù)據(jù)中提取特征并組合形成場景和【應(yīng)用數(shù)據(jù)】：場景庫測試并反饋。

目前，自然駕駛場景的生成已經(jīng)基本可以實(shí)現(xiàn)自動化：采集車按照一定的格式采集數(shù)據(jù)，算法篩選可能會有用的關(guān)鍵片段的數(shù)據(jù)，算法計(jì)算片段數(shù)據(jù)中本車和周圍其他車輛的軌跡，再把軌跡寫入場景描述文件，例如OpenScenario格式的場景文件，現(xiàn)有的很多仿真軟件都可以直接利用這樣獲得的場景文件進(jìn)行仿真。需要注意的是，在這種情況下，仿真軟件中還原出來的只是實(shí)采場景的“邏輯”，場景中的參與者披著仿真軟件三維模型庫中的車輛模型“馬甲”上演著一幕幕真實(shí)行為片段。換句話說，這樣還原出來的場景當(dāng)然可以滿足規(guī)控算法的測試，但這樣無法還原當(dāng)時(shí)的傳感器感知信息，因?yàn)楫吘惯€是由仿真軟件的三維模型來扮演的前景車輛和背景。現(xiàn)在如果想要還原傳感器感知信息，可以應(yīng)用NERF。

那么，究竟什么樣的仿真場景才是有價(jià)值的呢？路測車輛采集的自然駕駛數(shù)據(jù)還原場景被認(rèn)為是最能接近真實(shí)路況且隨機(jī)性強(qiáng)的，但我們不是說目前路測花費(fèi)的時(shí)間長趕不上趟兒嗎？這就需要我們對路測數(shù)據(jù)進(jìn)行處理，將交通參與者識別提取出來后再重新排列組合，形成基于真實(shí)數(shù)據(jù)的隨機(jī)場景。

比如百度19年大火的論文介紹了他們的AADS仿真系統(tǒng)：在該系統(tǒng)中，使用一臺安裝了激光雷達(dá)和雙目相機(jī)的汽車掃描街道，便可獲得自動駕駛仿真的全部素材，然后自動將輸入素材分解為背景、場景照明和前景對象。通過視圖合成技術(shù)，可以在靜態(tài)背景上改變視點(diǎn)，生成任意視角的真實(shí)圖像，進(jìn)而模仿車在不同環(huán)境里面行走的動作。那么如何證明這些重組場景的有效性呢？論文中提到了一種通過對比虛擬場景和實(shí)際場景中感知算法的識別效果來評價(jià)的方法，用被測對象的表現(xiàn)來評價(jià)測量工具，也很有意思。后來的一些應(yīng)用于自動駕駛的NERF研究中，也使用的是這樣的一套思路，比如UniSim。

我個(gè)人認(rèn)為，再有效的自然駕駛數(shù)據(jù)仿真場景也只適合部分算法的測試：這種方法不管怎樣，周圍物體的軌跡都是錄制好的，是沒辦法根據(jù)本車行為改變的。這就像是電影和游戲的區(qū)別，電影中的場景只能播放，而游戲是可以根據(jù)交互改變場景的。

也許在不久的將來，結(jié)合交通流模擬和真實(shí)數(shù)據(jù)，隨機(jī)場景生成可以批量建立既符合真實(shí)交通狀況，也能夠隨本車行為變化的仿真場景。

二、仿真開發(fā)

我們之前談到的場景庫，可以說是在為自動駕駛仿真測試準(zhǔn)備數(shù)據(jù)，那么仿真開發(fā)工作就是在創(chuàng)建或者完善工具了。

仿真開發(fā)大概包含以下幾個(gè)方面：

1. 【場景庫】：之前說過很多了，會包括數(shù)據(jù)處理、深度學(xué)習(xí)、數(shù)據(jù)庫等技術(shù)內(nèi)容
2. 【感知】：有了仿真環(huán)境，需要將環(huán)境信息傳遞給算法，因此需要建立各種傳感器模型，如相機(jī)、激光雷達(dá)、毫米波雷達(dá)、超聲波雷達(dá)等，根據(jù)需要建立物理原理級模型和理想模型。傳感器建模想要做得好，需要傳感器工作原理的理論研究、物理過程的計(jì)算機(jī)建模和工程落地能力，以及大量實(shí)驗(yàn)數(shù)據(jù)支撐。
3. 【車輛動力學(xué)】：算法輸出的控制命令需要有控制對象，因此需要車輛動力學(xué)模型，這幾乎是另外一個(gè)學(xué)科，會有專門的工程師研究動力學(xué)模型，在自動駕駛仿真中需要能夠接入專業(yè)動力學(xué)模型或進(jìn)行簡化。
4. 【中間件】：算法與仿真平臺間，不同功能的仿真平臺間都需要信息交流，因此需要大量接口開發(fā)。自動駕駛研究階段較常用的中間件如ROS，在應(yīng)用階段常用的如基于AUTOSAR的中間件。
5. 【仿真引擎】：有企業(yè)喜歡自研仿真平臺，那么管運(yùn)動、碰撞的是物理引擎，常用開源的如ODE、Bullet、DART等，管三維顯示的是渲染引擎，開源的如OGRE、OpenGL。Unreal和Unity是常用來制作游戲的既有物理也有渲染的兩套引擎。
6. 【仿真加速】：會涉及到并行計(jì)算云計(jì)算等，自動化測試也可以算在這里吧。
7. 【前端】：我看有很多仿真開發(fā)的職位其實(shí)都是在招前端，因?yàn)榉抡娴膭討B(tài)可能需要顯示交互等。

最后我覺得可能還有更高進(jìn)階要求的第8點(diǎn)：“哪里不會點(diǎn)哪里”的能力，比如如果你的被測對象只是自動駕駛功能框架中的一部分呢？你能不能通過開源算法把剩下的補(bǔ)齊，讓“閉環(huán)”跑起來？

三、仿真測試

有了自動駕駛仿真測試所需的數(shù)據(jù)和工具，接下來就是仿真測試了。今天主要介紹幾個(gè)常見仿真測試鏈路。

1. 【MIL模型在環(huán)】：說實(shí)話我不是很知道模型在環(huán)和軟件在環(huán)的區(qū)別（也許和MBSE方法論興起有關(guān)）。狹義上來講，模型在環(huán)是在編寫編譯實(shí)際代碼之前使用比如MATLAB等工具驗(yàn)證算法邏輯功能的測試。說白了就是用simulink模型實(shí)現(xiàn)算法，進(jìn)行仿真。
2. 【SIL軟件在環(huán)】：使用實(shí)際編譯后的代碼軟件進(jìn)行測試，按理說模型在環(huán)測試通過了，SIL只是檢測代碼生產(chǎn)上是否有問題。和HIL一樣，SIL需要為被測對象提供一系列的運(yùn)行環(huán)境、其他與待測功能無關(guān)的前置虛擬信號等。
3. 【HIL硬件在環(huán)】：廣義地講，只要是一個(gè)硬件在回路中受到測試的方法都可以叫做HIL，所以針對某個(gè)傳感器做的測試也可以叫HIL測試。狹義地講，我們一般指控制器硬件在環(huán)，是以實(shí)時(shí)計(jì)算機(jī)運(yùn)行仿真模型來模擬受控對象的運(yùn)行狀態(tài)，通過I/O接口與被測的ECU連接，對被測ECU進(jìn)行全方面的、系統(tǒng)的測試。從HIL開始，要求仿真測試具有強(qiáng)實(shí)時(shí)性。
4. 【VIL車輛在環(huán)】：我了解一般有兩種車輛在環(huán)的方式：一種是搭載自動駕駛系統(tǒng)的車輛安裝在試驗(yàn)臺上，車輪卸掉替換為模擬負(fù)載的拖動電機(jī)，地形路面給車輛的激勵都通過試驗(yàn)臺來模擬，在這種方式中如果加上了很好的顯示系統(tǒng)，也能夠作為駕駛員在環(huán)仿真系統(tǒng)使用；另一種是車輛可以在一個(gè)空曠場地內(nèi)行駛，由仿真系統(tǒng)提供傳感器輸入，讓車輛雖在空場地中，但算法也會認(rèn)為周圍有各種不同的場景，一般可用車載GPS提供位姿反饋給仿真系統(tǒng)。

四、日常工作

前面幾節(jié)說了那么多，都是在總體介紹我們這個(gè)行當(dāng)，都是我這個(gè)盲人摸出來的大象，本節(jié)就來說說大體上我們每天都在干什么。這些日常工作當(dāng)然是包含在第二、三節(jié)的內(nèi)容當(dāng)中的：

1. 【感知】：搭建傳感器模型必不可少，需要關(guān)注到每種傳感器的一系列參數(shù)，如探測距離、探測角度范圍、分辨率、畸變參數(shù)、噪聲參數(shù)、安裝位置等，還有硬件的通訊協(xié)議等。接下來視所用的仿真軟件工具不同，看看是“配置”已有類型的傳感器，還是要自己基于仿真軟件開發(fā)新類型的傳感器。為了算法模型的訓(xùn)練或評價(jià)，仿真往往還需要提供真值，如2D/3D包圍框、車道線等地圖信息、2D/3D占用柵格等等，如果仿真軟件既有功能不能滿足，就也需要工程師做二次開發(fā)。
2. 【車輛動力學(xué)】：需要根據(jù)車輛參數(shù)在專業(yè)的動力學(xué)仿真軟件中配置車輛模型，也需要能夠根據(jù)簡化公式直接編寫簡化的運(yùn)動學(xué)、動力學(xué)模型。
3. 【中間件】：接口的開發(fā)是重要的工作內(nèi)容，要負(fù)責(zé)當(dāng)好被測對象和仿真軟件間的“翻譯”；另外就是使用軟件的api接口實(shí)現(xiàn)不同層級仿真平臺間的聯(lián)合仿真，例如場景仿真聯(lián)合車輛動力學(xué)仿真，再加上交通流仿真，再統(tǒng)一放進(jìn)自動化測試管理軟件的調(diào)度中去。
4. 【仿真加速】：我把自動化測試也放到了仿真加速里，因?yàn)橐悄軌驅(qū)崿F(xiàn)7x24小時(shí)不間斷測試也是一種提高效率的途徑吧！這就涉及了自動化調(diào)用仿真平臺、自動化腳本編寫、錄制數(shù)據(jù)、根據(jù)用例要求評價(jià)數(shù)據(jù)等內(nèi)容。
5. 【軟件開發(fā)】：有自研仿真軟件需求的企業(yè)主要就是這方面業(yè)務(wù)。

另外還有一點(diǎn)6.【需求分析】：作為仿真開發(fā)工程師，你理應(yīng)是最了解你所用工具的那個(gè)人，所以一旦客戶（內(nèi)部外部都算）有了新需求，仿真開發(fā)工程師應(yīng)該能夠根據(jù)需求和被測對象的具體情況設(shè)計(jì)技術(shù)方案、提出軟硬件需求和項(xiàng)目計(jì)劃。所以有的時(shí)候，產(chǎn)品和項(xiàng)目管理的活都要干。

五、技術(shù)棧

“技術(shù)?！边@詞兒聽著挺洋氣，但其實(shí)就是這個(gè)崗位應(yīng)該都會點(diǎn)啥。很久以前我看過一個(gè)電視劇，里邊一個(gè)急診科的大夫自嘲：我們是萬金油，人家外科大夫才是金不換。我一直認(rèn)為仿真工程師就像醫(yī)院里的急診科大夫，什么都得知道點(diǎn)：測試什么算法，那么除了這個(gè)算法之外的所有東西都要準(zhǔn)備好，導(dǎo)航定位、控制規(guī)劃、數(shù)據(jù)處理、參數(shù)標(biāo)定、天文地理、醫(yī)卜星象、金批彩掛、評團(tuán)調(diào)柳……可以不求甚解，快速滿足算法測試需求是最重要的。

這種所謂的“全局觀”是仿真工程師的優(yōu)勢，但只有對算法有真正的了解，才能做出能夠真正幫助算法改進(jìn)的仿真工作，也才能走得更遠(yuǎn)。扯遠(yuǎn)了，拉回來：

1. 【代碼】：主要是C++/Python，但如果涉及到前端顯示的部分我就不了解了。一般來講要求肯定沒有算法開發(fā)那么高，不過如果是專做仿真軟件開發(fā)的另當(dāng)別論。
2. 【ROS】：單拎出來是因?yàn)槟壳癛OS仍是自動駕駛和機(jī)器人算法研究領(lǐng)域繞不開的一部分，且ROS社區(qū)中提供了很多現(xiàn)成的很多可用工具。
3. 【車輛動力學(xué)】：可能不需要像真正的車輛工程師了解得那么多，但基本原理是要知道的。另外就是各種坐標(biāo)轉(zhuǎn)換需要熟練（這條可能不算車輛的，算數(shù)學(xué)）。
4. 【傳感器原理】：自動駕駛車輛上的相機(jī)、激光雷達(dá)、毫米波雷達(dá)等各種傳感器是如何工作的，輸出的信號長什么樣子，有哪些關(guān)鍵的參數(shù)。
5. 【地圖】：仿真測試場景使用的文件格式如opendrive、openscenario需要了解，因?yàn)橛袝r(shí)候需要從其中提取信息作為傳感器仿真的輸入。

以上僅僅是我個(gè)人的一點(diǎn)總結(jié)，歡迎廣大同行在此補(bǔ)充！

為了文章的完整性，我也將在這一節(jié)簡要介紹下市面上常用的一些仿真軟件（真的不是廣告！沒上榜的也不要?dú)怵H）。

1. CarSim/CarMaker：這兩款軟件都是強(qiáng)大的動力學(xué)仿真軟件，被世界各國的主機(jī)廠和供應(yīng)商所廣泛使用，也可以做一部分道路場景的模擬。
2. Vissim/SUMO：Vissim是德國PTV公司提供的一款世界領(lǐng)先的微觀交通流仿真軟件。Vissim 可以方便的構(gòu)建各種復(fù)雜的交通環(huán)境，也可以在一個(gè)仿真場景中模擬包括機(jī)動車，卡車，有軌交通和行人的交互行為。SUMO是開源軟件，可以通過交互式編輯的方式添加道路，編輯車道的 連接關(guān)系，處理路口區(qū)域，編輯信號燈時(shí)序等。
3. PreScan：已被西門子收購，用于創(chuàng)建和測試算法的主要界面包括MATLAB和Simulink，可用于MIL、SIL和HIL。
4. VTD：作為商業(yè)軟件，VTD可靠性強(qiáng)，功能全面，覆蓋了道路環(huán)境建模、交通場景建模、天氣和環(huán)境模擬、簡單和物理真實(shí)的傳感器仿真、場景仿真管理以及高精度的實(shí)時(shí)畫面渲染等，說一句VTD是國內(nèi)主機(jī)廠使用率最高的仿真軟件應(yīng)該不為過。可以支持從 SIL 到 HIL 和 VIL 的全周期開發(fā)流程，開放式的模塊式框架可以方便的與第三方的工具和插件聯(lián)合仿真。
5. CARLA/AirSim：兩款開源仿真平臺，都依托UE開發(fā)，也推出了Unity版本。CARLA可以制作場景和配套的高精地圖，支持傳感器和環(huán)境的靈活配置，它支持多攝像頭，激光雷達(dá)，GPS 等傳感器，也可以調(diào)節(jié)環(huán)境的光照和天氣。微軟的AirSim有無人機(jī)和車輛兩種模式，車輛模式下的功能實(shí)在乏善可陳，沒法很方便地建立環(huán)境和車輛模型，社區(qū)也沒有CARLA活躍，建議以后招人寫JD別把AirSim算進(jìn)去了，沒多大用。另外，國內(nèi)的深信科創(chuàng)最近推出了基于CARLA開發(fā)的OASIS，目前可以看成是開源CARLA的加強(qiáng)版。
6. 51SimOne/PanoSim：這兩個(gè)都是國產(chǎn)的仿真軟件，場景仿真軟件該有的主要功能他們都能滿足。

最后再補(bǔ)充一個(gè)lgsvl：本來lgsvl的優(yōu)勢是和Apollo結(jié)合得較好，但是我聽說lgsvl的官方已經(jīng)放棄了這個(gè)項(xiàng)目，所以我勸你棄掉這個(gè)坑。

六、學(xué)習(xí)路徑

相信通過我前五節(jié)的介紹，聰明的在校同學(xué)已經(jīng)可以從中體會出成為一名自動駕駛仿真工程師的學(xué)習(xí)路徑，而通過批判我前五節(jié)的內(nèi)容，年輕的同行也已可以從中得出進(jìn)階之道。但本節(jié)我還是寫一些在這方面的粗淺理解。

我前邊說了那么多，想必大家也能看出來，自動駕駛的仿真是一個(gè)多學(xué)科交叉的領(lǐng)域，能夠接受來自很多專業(yè)的同學(xué)，包括但不限于：計(jì)算機(jī)/控制/機(jī)器人/機(jī)械/車輛/電力電子等等。

經(jīng)歷和技術(shù)上，我嘗試列舉一些任職要求：

1. 代碼能力：做仿真的云計(jì)算、云服務(wù)器等相關(guān)開發(fā)的同學(xué)可能會需要熟練使用C++/Go/Java任何一門語言的開發(fā)，有良好的編程習(xí)慣，掌握常見的設(shè)計(jì)模式、數(shù)據(jù)結(jié)構(gòu)和算法，熟悉Linux系統(tǒng)、Docker技術(shù)及Kubernetes的相關(guān)知識，有云端服務(wù)開發(fā)經(jīng)驗(yàn)，這些是奔著高并行高復(fù)用高自動化的自研仿真測試平臺去的。另外，自研仿真軟件的崗位除扎實(shí)的計(jì)算機(jī)基礎(chǔ)外，可能會需要游戲引擎的開發(fā)經(jīng)驗(yàn)，所以做游戲開發(fā)的同學(xué)也可以轉(zhuǎn)行到自動駕駛仿真上（包括技術(shù)美術(shù)）。目標(biāo)是應(yīng)用已有的仿真軟件進(jìn)行二次開發(fā)和集成的同學(xué)可能會需要熟練使用C/C++和Python，熟悉Linux/ROS的開發(fā)，如果能夠有AUTOSAR等車規(guī)級中間件的開發(fā)經(jīng)驗(yàn)更好。
2. 軟件經(jīng)驗(yàn)：任何的自動駕駛仿真軟件的實(shí)際使用經(jīng)驗(yàn)當(dāng)然都是加分項(xiàng)，但是由于商業(yè)軟件大多非常貴，因此在這點(diǎn)上很依賴學(xué)校實(shí)驗(yàn)室或者公司的實(shí)力。在沒有商業(yè)軟件支持的情況下，我認(rèn)為現(xiàn)在CARLA是開源軟件的最優(yōu)解。
3. 領(lǐng)域知識：我個(gè)人認(rèn)為，作為自動駕駛仿真工程師，對于自動駕駛算法怎么深入了解都不為過，包括算法的原理實(shí)現(xiàn)的方方面面，只有更好地了解算法，才能更好地做好仿真。另外，如果是非計(jì)算機(jī)專業(yè)出身的同學(xué)，學(xué)好本門兒的專業(yè)課也十分重要，比如機(jī)械、車輛、力學(xué)、電子等等等等，守正才能出奇，總會用到。

當(dāng)前自動駕駛行業(yè)正經(jīng)歷很大波動，但總結(jié)起來能用到仿真工程師的主要有以下幾類企業(yè)：主機(jī)廠，以集成應(yīng)用成型仿真軟件為主，但新勢力基本上都要做自研；自動駕駛解決方案供應(yīng)商，也就是算法的Tier1，可能也是自研仿真的居多；仿真軟件企業(yè)，這方面國內(nèi)剛剛起步，基本上都是初創(chuàng)企業(yè)。

在本節(jié)的最后我再談一點(diǎn)從傳統(tǒng)機(jī)械“轉(zhuǎn)行”來的體會。我碩士畢業(yè)的一個(gè)學(xué)校具有濃厚的轉(zhuǎn)碼風(fēng)氣，我那屆入學(xué)機(jī)械研究生院的中國學(xué)生里，大概有十之七八畢業(yè)后都從事了計(jì)算機(jī)行業(yè)。有賴于相對寬松的選課制度，同學(xué)們的操作是盡量多修計(jì)算機(jī)學(xué)院的課程。于是在那兩年，焚膏油以繼晷，恒兀兀以窮年是常態(tài)。但我不記得當(dāng)年找工作需不需要刷題了。總之一句話，機(jī)械如何轉(zhuǎn)型計(jì)算機(jī)：去讀半個(gè)計(jì)算機(jī)學(xué)位。其實(shí)當(dāng)時(shí)也不單是機(jī)械，各個(gè)專業(yè)都在轉(zhuǎn)，也不單是中國學(xué)生，全世界人民都這樣。

不過后知后覺的我并不在當(dāng)年的這十之七八里邊，所以我錯(cuò)失了轉(zhuǎn)型最好的機(jī)會。等到靠自學(xué)的時(shí)候，就難多了：最主要沒有時(shí)間，這就更要求學(xué)習(xí)資料和方法要高效。因此相對來講，還是上網(wǎng)課效率較高，畢竟有老師指導(dǎo)。Coursera的課不錯(cuò)，好像比較貴。最近幾年開源的網(wǎng)絡(luò)資源越來越多了，不過上的課在精不在多，畢竟計(jì)算機(jī)最注重實(shí)踐也最容易實(shí)踐。計(jì)算機(jī)經(jīng)典的著作也很多，比如數(shù)據(jù)結(jié)構(gòu)與算法、c++ primer……我是一本沒看過，有些事真的一旦錯(cuò)過就不再。

其實(shí)我覺得，一個(gè)最容易的轉(zhuǎn)型方式就是，直接從事計(jì)算機(jī)相關(guān)的工作，有了需求提高是最快的，解決了我上面說的學(xué)習(xí)方向問題和時(shí)間問題。不過要是因此產(chǎn)生了績效不達(dá)標(biāo)的問題，您當(dāng)我沒說。

七、關(guān)于NERF

NERF正伴隨著“數(shù)據(jù)閉環(huán)”、“大模型”、“端到端”這些新興熱門詞匯一起在自動駕駛領(lǐng)域“興風(fēng)作浪”。僅僅幾年的時(shí)間，NERF已經(jīng)再也不是出道時(shí)單純的MLP+體渲染，儲存空間信息的載體五花八門：哈希表、體素網(wǎng)格、多維高斯函數(shù)……新的成像方式也層出不窮：U-net、CNN、光柵化……自動駕駛方向只是NERF一個(gè)很小的應(yīng)用分支。

NERF應(yīng)用到自動駕駛仿真方向，主要會面臨以下這些問題：

自動駕駛數(shù)據(jù)采集的方式導(dǎo)致場景的范圍“不閉合”：室外的場景會包含大量遠(yuǎn)景，這對NERF的空間信息儲存是很大挑戰(zhàn)；自動駕駛場景包含大量的動態(tài)物體，NERF需要能夠處理動靜態(tài)物體（或曰前景背景）的分離；NERF模型普遍不具有遷移能力，可能每個(gè)場景都需要訓(xùn)練單獨(dú)的NERF模型，而NERF的訓(xùn)練又仍然比較慢，所以NERF在自動駕駛數(shù)據(jù)上的大規(guī)模應(yīng)用仍然會存在問題。

不過我仍然期待著，同時(shí)也相信，NERF會給自動駕駛仿真帶來顛覆性的發(fā)展，最終消除仿真在感知算法上的domain gap，甚至做的更多。從我了解到的信息來看，NERF至少會帶來以下這些突破：

NERF新視角圖像合成的能力可以增強(qiáng)感知算法訓(xùn)練數(shù)據(jù)集：可以產(chǎn)生新傳感器內(nèi)參（相當(dāng)于改變了傳感器配置）、外參（修改了自車軌跡）下的圖片、激光雷達(dá)點(diǎn)云等數(shù)據(jù)，給感知算法更多訓(xùn)練數(shù)據(jù)，這方面可以參考StreetSurf、UniSim等研究。在動態(tài)物體可編輯的情況下，將來NERF可以產(chǎn)生有針對性的極端情況、隨機(jī)情況場景，補(bǔ)充單純路測和WorldSim的不足。如果NERF可以同時(shí)很好地解決城市級場景的訓(xùn)練重建和實(shí)時(shí)渲染，那么NERF就完全可以做為一個(gè)XIL在環(huán)仿真測試的平臺，而不會有感知數(shù)據(jù)domain gap的問題，也會推動端到端算法的發(fā)展。另外，NERF的模型甚至也可以作為一個(gè)插件放入游戲引擎（如3d Gaussian Splatting的UE插件已經(jīng)問世），這樣就可以把NERF的街景重建納入到原有的WorldSim體系中去。如果考慮與AIGC方向的大模型結(jié)合，NERF在新場景生成上就會有更多的可能性：將可以任意編輯光照、天氣、物體外觀和行為等等。

所以作為仿真工程師，我強(qiáng)烈建議廣大同行密切關(guān)注NERF方向的進(jìn)展，盡管NERF的各研究項(xiàng)目還都只是初具雛形，但現(xiàn)在深度學(xué)習(xí)方向在硬件的加速下進(jìn)展已經(jīng)越來越快了。

八、寫在最后

雜七雜八寫了這么多，最后還有一些感想。

仿真開發(fā)有什么坑。技術(shù)上的坑不在此討論，在這里只說一點(diǎn)整體上的感想。那就是要警惕你是否在過多地陷入到毫無意義的工作中去：給不同人做類似的項(xiàng)目不算，完成好每個(gè)項(xiàng)目就是價(jià)值；不使用現(xiàn)成工具非要自研長期看也不算，脫離對特定工具的依賴是有價(jià)值的；研發(fā)上很多事后被證明不通的嘗試也不能算，研發(fā)的失敗也有價(jià)值的。那么具體什么是“毫無意義”的工作呢？這就見仁見智了，我總結(jié)不好。

還有從這個(gè)崗位出發(fā)能干嘛。如果你在工作中對被測對象有了深入的了解，那么也許可以嘗試轉(zhuǎn)向某個(gè)方向的算法開發(fā)崗；還有就是機(jī)器人、無人機(jī)的仿真開發(fā)也可以考慮。

移動機(jī)器人和自動駕駛的相通性自不必說，這里提一下無人機(jī)。無人機(jī)行業(yè)的體量肯定沒有汽車這么大，但是也已經(jīng)有了落地點(diǎn)，比如巡檢、航拍、測繪等。無人機(jī)也需要自動操控算法來進(jìn)行避障、路徑規(guī)劃等，無人機(jī)使用的傳感器也和無人駕駛車車輛類似，因此可以說仿真測試有相通之處：無人機(jī)也需要豐富的視覺圖像、雷達(dá)點(diǎn)云等感知輸入，需要更加精細(xì)的動力學(xué)模型等等。

有興趣了解機(jī)器人和無人機(jī)仿真的同學(xué)，可以從開源的仿真平臺Gazebo（https://classic.gazebosim.org/）入手，其對計(jì)算資源的需求不會像Nvidia的Isaac那么高。

今年是OSRF從柳樹車庫獨(dú)立出來的第十一年，而機(jī)器人操作系統(tǒng)ROS和Gazebo至今已經(jīng)有了二十多年的發(fā)展歷史。Gazebo從最初一個(gè)研究生課題組的科研工具，逐步發(fā)展成了今天有11個(gè)發(fā)行版，以及二代ignition 7個(gè)發(fā)行版的獨(dú)立仿真軟件工具。

Gazebo支持ODE、Bullet等物理引擎，使用OGRE作為渲染引擎，可以創(chuàng)建三維環(huán)境，模擬相機(jī)、激光雷達(dá)等多種傳感器的信息，具有豐富的機(jī)器人模型：從機(jī)械臂到輪式機(jī)器人，再到人形機(jī)器人。更重要的是，Gazebo天然地對ROS平臺下的算法提供全面的支持：畢竟如果你下載安裝一個(gè)desktop full的ROS版本，Gazebo是自帶的。當(dāng)然了，Gazebo作為一個(gè)開源軟件，只提供了一個(gè)起點(diǎn)，它的功能均衡，但是各方面都比較粗糙，不夠深入。不過就像太祖長拳，喬峰在聚賢莊使出來還是會不一樣的。

我上學(xué)的時(shí)候就接觸過Gazebo，后來工作做機(jī)器人仿真，一直在用Gazebo，直到改行做自動駕駛。這就好像，我和Gazebo是曾經(jīng)的同學(xué)，那時(shí)年輕，大家都不懂事。工作后我和她再次遇見，決定再續(xù)前緣，如膠似漆兩年多，人也過了三十歲，我對她留下一句：我想有更好的發(fā)展，就離她而去……現(xiàn)在再見只會說一句：好久不見……

原文鏈接：https://mp.weixin.qq.com/s/_bOe_g3mqoobJUbFS3SNWg