本文經(jīng)自動駕駛之心公眾號授權轉載，轉載請聯(lián)系出處。

車路協(xié)同的同步駕駛數(shù)據(jù)

車路協(xié)同輔助的自動駕駛V2X-AD（Vehicle-to-everything-aided autonomous driving）在提供更安全的駕駛策略方面具有巨大潛力。研究者們在V2X-AD的交通和通信層面進行了大量的研究，但是這些基礎設施和通信資源在提高駕駛性能方面的效果仍未得到充分探索。這突顯了研究協(xié)同自動駕駛的必要性，即如何設計面向駕駛規(guī)劃的高效信息共享策略，從而提高每輛汽車駕駛性能。這需要兩個關鍵的基礎條件：一個能夠為V2X-AD提供數(shù)據(jù)環(huán)境的平臺，以及一個具有駕駛相關完整功能以及信息共享機制的端到端駕駛系統(tǒng)。

為此，來自上海交通大學和上海人工智能實驗室的研究者們在新的研究文章《Towards Collaborative Autonomous Driving: Simulation Platform and End-to-End System》提出了CoDriving: 一種端到端協(xié)同駕駛系統(tǒng)，該系統(tǒng)利用一種面向駕駛規(guī)劃的信息共享策略實現(xiàn)了通信高效的協(xié)作。同時，本文研究者們搭建了仿真平臺V2Xverse，該平臺為協(xié)同駕駛提供了完整的訓練測試環(huán)境，包含車路協(xié)同駕駛數(shù)據(jù)集的生成、全棧協(xié)同駕駛系統(tǒng)的部署、以及可定制場景下的閉環(huán)駕駛性能評估和駕駛子任務評估。

同時，仿真平臺V2Xverse集成了多個現(xiàn)有協(xié)同感知方法的訓練和部署測試代碼，用多種測試任務檢驗綜合的駕駛功能：3D目標檢測，路徑規(guī)劃，閉環(huán)自動駕駛。V2Xverse突破了現(xiàn)有協(xié)同感知方法只能“看”不能“控制”的局限性，支持將現(xiàn)有的協(xié)同感知方法嵌入到完整的駕駛系統(tǒng)，并在仿真環(huán)境中測試駕駛性能。本文的研究者們相信這將為自動駕駛中基于視覺的車路協(xié)同研究帶來更好的功能延展和更貼合實際駕駛場景的測試基準。

• 論文鏈接：https://arxiv.org/pdf/2404.09496
• 代碼鏈接：https://github.com/CollaborativePerception/V2Xverse

研究背景和意義

本文的研究關注基于V2X(Vehicle-to-everything)通信的協(xié)同自動駕駛。相比于單車自動駕駛，協(xié)同自動駕駛通過車輛與周圍環(huán)境（如路邊單元、智能設備裝備的行人等）之間的信息交換提升車輛感知能力與駕駛性能，這將有利于視野受限的復雜場景（如圖 1）下的安全駕駛。

圖 1. 危險的“鬼探頭”場景，單車無法感知被遮擋的物體

然而，目前基于V2X的車路協(xié)同工作大多專注于優(yōu)化模塊級感知能力，如何將協(xié)作感知能力用于提升集成系統(tǒng)中的最終駕駛性能仍然缺乏足夠的探索。

為了解決這一問題，本文旨在將協(xié)同感知能力擴展為涵蓋全面駕駛能力的協(xié)同駕駛系統(tǒng)，包含感知，預測、規(guī)劃和控制等關鍵模塊。實現(xiàn)協(xié)同自動駕駛需要兩個關鍵基礎：一個能夠為V2X-AD提供數(shù)據(jù)環(huán)境的平臺；二是集成了完整駕駛相關功能和信息共享機制的端到端駕駛系統(tǒng)。從平臺的角度，本工作搭建了V2Xverse，這是一個綜合的協(xié)同自動駕駛仿真平臺，提供了從車路協(xié)同駕駛數(shù)據(jù)集生成到全棧協(xié)作駕駛系統(tǒng)的部署和閉環(huán)駕駛性能評估的完整流程。從駕駛系統(tǒng)的角度，本文介紹了CoDriving，一種新的端到端協(xié)作駕駛系統(tǒng)，該系統(tǒng)在完整的自動駕駛框架中設計并嵌入了基于V2X通信的協(xié)作模塊，通過共享感知信息提升協(xié)同駕駛性能。CoDriving的核心思想是一種新的面向駕駛規(guī)劃的信息共享策略，使用在空間上稀疏但對駕駛重要的視覺特征信息作為通信內容，在優(yōu)化通信效率的同時提高駕駛性能。

V2Xverse: 車路協(xié)同駕駛仿真平臺

本文提出的V2Xverse的關鍵特征是能夠實現(xiàn)與駕駛相關的子任務的離線基準生成和不同場景下駕駛性能的在線閉環(huán)評估，全面支持協(xié)同自動駕駛系統(tǒng)的開發(fā)。為了創(chuàng)建V2X-AD場景，V2Xverse在場景中設置了多輛配備了完整的駕駛能力的智能車，并通過一定策略在道路兩旁放置路邊單元，從而為智能車提供補充視野。為了支持協(xié)同自動駕駛方法的開發(fā)，V2Xverse首先提供了(車輛-車輛)以及(車輛-路邊單元)的通信模塊，并且為系統(tǒng)訓練提供了完整的駕駛信號和專家標注，還為閉環(huán)駕駛評估提供了多種危險場景。仿真平臺框架見圖 2。

圖 2. V2Xverse 仿真平臺框架

與現(xiàn)有基于Carla的自動駕駛仿真平臺相比，V2Xverse具有三個優(yōu)勢。首先，V2Xverse支持多車駕駛模擬，而主流的carla-leaderboard及其衍生平臺僅支持單車駕駛模擬。第二，V2Xverse支持全駕駛功能模擬，而現(xiàn)有的協(xié)同感知仿真平臺只支持與感知模塊相關的功能。第三，V2Xverse支持全面的V2X-AD場景，包括多樣化的傳感器設備、模型集成和靈活的場景定制；見表 1。

表 1. V2Xverse 與現(xiàn)有基于Carla的自動駕駛仿真平臺的比較

CoDriving: 面向高效協(xié)作的端到端自駕模型

CoDriving包括兩個組成部分（見圖 3）：1）端到端的單車自動駕駛網(wǎng)絡，將傳感器輸入轉換為駕駛控制信號；2）面向駕駛的協(xié)作，協(xié)作者通過共享對駕駛關鍵的感知特征來實現(xiàn)高效通信，并通過特征聚合來增強單車BEV感知特征，增強后的感知特征將有利于系統(tǒng)產生更準確的感知識別結果和規(guī)劃預測結果。

圖 3. CoDriving的整體框架

端到端自動駕駛網(wǎng)絡

端到端單車自動駕駛網(wǎng)絡基于來自不同模態(tài)的輸入來學習輸出路徑點預測，并通過一個控制模塊將路徑點轉換為駕駛控制信號。為了實現(xiàn)這一點，CoDriving將駕駛所需的模塊化組件集成到一個端到端的系統(tǒng)中，包括3D目標檢測器、路徑點預測器和控制器。CoDriving使用鳥瞰圖（BEV）表示，因為它提供了一個統(tǒng)一的全局坐標系，避免了復雜的坐標轉換，更好地支持基于空間信息的協(xié)作。

面向駕駛的協(xié)作策略

V2X協(xié)作通過信息共享解決單車不可避免的可見性受限問題。在這項工作中，本文提出了一種新的面向駕駛的協(xié)作策略，以同時優(yōu)化駕駛性能和通信效率。該方案包括 i）基于駕駛意圖的感知通信，CoDriving通過一個駕駛請求模塊交換空間稀疏但對駕駛關鍵的BEV感知特征；以及 ii）BEV特征增強，CoDriving利用接收到的特征信息增強每個協(xié)作車輛的BEV感知特征。增強后的BEV特征將有利于系統(tǒng)產生更準確的感知識別結果和規(guī)劃預測結果。

實驗結果

利用V2Xverse仿真平臺，本文在閉環(huán)駕駛，3D目標檢測，路徑點預測三個任務上對CoDriving的性能進行了檢驗。在關鍵的閉環(huán)駕駛測試中，相比于之前的單車端到端自動駕駛的SOTA方法， CoDriving的駕駛分數(shù)顯著地提升了62.49%，行人碰撞率下降了53.50%。在目標檢測與路徑點預測任務中，CoDriving相比于其他協(xié)同方法表現(xiàn)更好，見表 2。

表 2. CoDriving 在閉環(huán)駕駛任務中優(yōu)于SOTA的單體駕駛方法，在模塊化的感知和規(guī)劃子任務中優(yōu)于其他協(xié)同感知方法

本文同時對CoDriving在不同通信帶寬下的協(xié)作表現(xiàn)進行了驗證，在閉環(huán)駕駛，3D目標檢測，路徑點預測三個任務上，CoDriving在不同的通信帶寬限制下優(yōu)于其他協(xié)作方法，見圖 4。

圖 4. CoDriving 在不同通信帶寬下的協(xié)作表現(xiàn)

圖 5展示了CoDriving在V2Xverse仿真環(huán)境中的駕駛案例。在圖 5的場景中，一個視野盲區(qū)的行人突然沖出馬路，可以看到單車自動駕駛視野受限，無法提前規(guī)避行人，造成了嚴重的車禍事故。而CoDriving利用路邊單元的共享視野特征提前探測到了行人，從而安全避讓。

圖 5(1). 相比于視野受限的單車自駕，CoDriving 利用路邊單元提供的信息檢測到了視野盲區(qū)的行人圖 5(2). CoDriving成功規(guī)避行人，而單車自駕避讓不及時造成了碰撞事故

總結

本工作通過搭建仿真平臺V2Xverse來幫助協(xié)同自動駕駛方法的開發(fā)，并提出了一種新的端到端自駕系統(tǒng)。其中，V2Xverse是一個支持閉環(huán)駕駛測試的V2X協(xié)同駕駛仿真平臺，該平臺為開發(fā)以提升最終駕駛性能為目標的協(xié)同自動駕駛系統(tǒng)提供了完整的開發(fā)渠道。值得一提的是，V2Xverse也支持多種現(xiàn)有單車自動駕駛系統(tǒng)的部署，以及多種現(xiàn)有協(xié)同感知方法的訓練和閉環(huán)駕駛測試。同時，本文提出了一種新的端到端協(xié)同自動駕駛系統(tǒng)CoDriving，該系統(tǒng)通過共享駕駛關鍵感知信息來提高駕駛性能并優(yōu)化通信效率。對整個駕駛系統(tǒng)的綜合評估表明，CoDriving在不同的通信帶寬上顯著優(yōu)于單車自駕系統(tǒng)。本文的研究者們相信V2Xverse平臺和CoDriving系統(tǒng)為更可靠的自動駕駛提供了潛在的解決方案。