arXiv論文“Insertion of real agents behaviors in CARLA autonomous driving simulator“，22年6月，西班牙。

由于需要快速prototyping和廣泛測試，仿真在自動駕駛中的作用變得越來越重要。基于物理的模擬具有多種優(yōu)勢和益處，成本合理，同時消除了prototyping、駕駛員和弱勢道路使用者（VRU）的風(fēng)險。

然而，主要有兩個局限性。首先，眾所周知的現(xiàn)實差距是指現(xiàn)實和模擬之間的差異，阻礙模擬自主駕駛體驗去實現(xiàn)有效的現(xiàn)實世界性能。其次，缺乏關(guān)于真實智體（人類）行為的實證知識，包括后補司機或乘客以及其他道路使用者，如車輛、行人或自行車手。

智體模擬通常是預(yù)編程確定、概率隨機或基于真實數(shù)據(jù)生成的，但并不表示與特定模擬場景交互的真實智體行為。本文提出一個初步框架，實現(xiàn)真實智體和模擬環(huán)境（包括自主車輛）之間的實時交互，并從多個視圖的模擬傳感器生成合成序列數(shù)據(jù)，用于訓(xùn)練依賴行為模型的預(yù)測系統(tǒng)。

該方法將沉浸式虛擬現(xiàn)實（VR）和人體運動捕捉（HMC）系統(tǒng)與CARLA集成，用于自動駕駛。其中描述硬件和軟件架構(gòu)，并討論所謂的行為差距。

如圖所示是該方法概覽：（1） CARLA- UE配有頭部（VR耳機）和身體（動作捕捉系統(tǒng)）姿勢。（2） 生成場景，包括自動駕駛車輛和數(shù)字化的行人。（3） 為行人提供環(huán)境（通過VR耳機）。（4） 自動車輛傳感器感知環(huán)境，包括行人。

下面介紹CARLA自動駕駛模擬器中浸入式VR系統(tǒng)的功能。

通過利用UE4提供的功能和外部硬件（如VR眼鏡和一組運動傳感器）進行行為和交互研究，實現(xiàn)完全行人浸入。

CARLA開源模擬器是在UE4上實現(xiàn)的，UE4提供了高質(zhì)量的渲染、逼真的物理環(huán)境和互操作插件的生態(tài)系統(tǒng)。CARLA模擬動態(tài)交通場景，并提供UE4創(chuàng)建的虛擬世界與場景內(nèi)運行的道路智體之間的接口。CARLA被設(shè)計成一個服務(wù)器-客戶端系統(tǒng)來實現(xiàn)這一點，服務(wù)器運行模擬程序并渲染場景?？蛻舳撕头?wù)器之間的通信通過sockets完成。

在模擬中插入真實智體行為的主要特征基于五點（如圖所示）：1）Avatar控制：CARLA blueprint庫，收集所有角色和屬性的架構(gòu)，修改行人blueprint，在人和虛擬世界之間創(chuàng)建浸入可移動的VR界面；2） 身體跟蹤：用一組慣性傳感器和專有的外部軟件通過真實場景捕捉主體運動以及運動感知，通過.bvh文件將Avatar的運動集成到模擬器中；3） 聲音設(shè)計：由于CARLA是一個無音頻模擬器，在環(huán)境中引入位置聲音，增強沉浸感；4） eHMI集成：實現(xiàn)自動駕駛車輛狀態(tài)和意圖信息的通信，做交互研究；5） 場景模擬：在CARLA客戶端內(nèi)設(shè)計交通場景，控制車輛和行人的行為。

道路使用者之間的通信是交通環(huán)境中的一個重要因素。實驗中為自動駕駛車輛提供了外部人機界面（eHMI），將其狀態(tài)和意圖傳達給實際道路使用者。

如圖所示，提出的eHMI設(shè)計由沿汽車前部的光帶組成。左圖無eHMI，右圖帶eHMI。這可以研究當行人軌跡與虛擬場景車輛軌跡匯聚時，界面對決策的影響。

整個系統(tǒng)架構(gòu)如圖：

CARLA提供了不同的選項來模擬交通和特定的交通場景。用交通管理模塊填充具有真實城市交通狀況的模擬。每輛車的控制在特定線程執(zhí)行。通過同步消息傳遞管理與其他層的通信。

通過設(shè)置強制特定行為參數(shù)來控制交通流。例如，可以允許汽車超速、忽略紅綠燈條件、忽略行人或強制改變車道。

主體集成到包括一個城市3-D模型地圖的模擬器。每個地圖都基于一個OpenDRIVE文件，描述完整注釋的道路布局。該功能允許設(shè)計自己的地圖，在真實和虛擬環(huán)境中再現(xiàn)相同的流量場景，評估模擬器真實行為的集成，并能夠通過比較交互結(jié)果來進行現(xiàn)場研究。

硬件設(shè)置如圖：在實驗過程中，用Oculus Quest 2作頭戴式設(shè)備（HMD），Meta創(chuàng)建，6GB RAM處理器、兩個可調(diào)1832 x 1920透鏡、90Hz刷新率和256 GB的內(nèi)存。Quest 2具有Wi-Fi 6、藍牙5.1和USB Type-C連接、SteamVR支持和3D揚聲器。對于全身跟蹤，用帶有慣性跟蹤器的PNS封裝解決方案。該套件包括獨立的VR耳機、2個運動控制器、17個Studio慣性人體傳感器、14組straps、1個充電箱和1個Studio收發(fā)器。

由于CARLA build和Quest 2僅依賴Windows，VR Immersion System目前依賴UE4.24和Windows 10操作系統(tǒng)。用TCP sockets插件，編輯器的所有參與者位置和其他有用參數(shù)從Python API發(fā)送，集成每個參與者的聲音或自動駕駛車輛的eHMI?！盫R Preview”在HMD啟動游戲。Perception Neuron Studio與Axis Studio合作，Axis Studio一次支持最多3個主題，同時支持23個身體和手指傳感器。

如圖是交互交通狀況的模擬：（a） 3D世界設(shè)計。（b） 行人匹配執(zhí)行者Avatar。（c） 自動駕駛汽車。（d） 環(huán)境聲音和智體聲音。（e） eHMI。（f） 交通燈和交通標志。