arXiv綜述論文“Collaborative Perception for Autonomous Driving: Current Status and Future Trend“，2022年8月23日，上海交大。

感知是自主駕駛系統(tǒng)的關(guān)鍵模塊之一，然而單車(chē)的有限能力造成感知性能提高的瓶頸。為了突破單個(gè)感知的限制，提出協(xié)同感知，使車(chē)輛能夠共享信息，感知視線之外和視野以外的環(huán)境。本文回顧了很有前途的協(xié)同感知技術(shù)相關(guān)工作，包括基本概念、協(xié)同模式以及關(guān)鍵要素和應(yīng)用。最后，討論該研究領(lǐng)域的開(kāi)放挑戰(zhàn)和問(wèn)題，并給出進(jìn)一步方向。

如圖所示，單個(gè)感知的兩個(gè)重要問(wèn)題是，遠(yuǎn)距離遮擋和稀疏數(shù)據(jù)。這些問(wèn)題的解決方案是，同一區(qū)域內(nèi)的車(chē)輛彼此共享共同感知信息（CPM，collective perception message），協(xié)同感知環(huán)境，稱(chēng)為協(xié)同感知或協(xié)作感知。

得益于通信基礎(chǔ)設(shè)施的建設(shè)和V2X等通信技術(shù)的發(fā)展，車(chē)輛可以以可靠的方式交換信息，從而實(shí)現(xiàn)協(xié)作。最近的工作表明，車(chē)輛之間的協(xié)同感知可以提高環(huán)境感知的準(zhǔn)確性以及交通系統(tǒng)的魯棒性和安全性。

此外，自動(dòng)駕駛車(chē)輛通常配備高保真?zhèn)鞲衅饕詫?shí)現(xiàn)可靠的感知，造成昂貴的成本。協(xié)同感知可以緩解單個(gè)車(chē)輛對(duì)感知設(shè)備的苛刻要求。

協(xié)同感知與附近的車(chē)輛和基礎(chǔ)設(shè)施共享信息，使自主車(chē)輛能夠克服某些感知限制，如遮擋和短視野。然而，實(shí)現(xiàn)實(shí)時(shí)和魯棒的協(xié)同感知需要解決通信容量和噪聲帶來(lái)的一些挑戰(zhàn)。最近，有一些工作研究了協(xié)同感知的策略，包括什么是協(xié)同、何時(shí)協(xié)同、如何協(xié)同、共享信息的對(duì)齊等。

類(lèi)似于融合，協(xié)同的分類(lèi)也有4類(lèi)：

1 早期協(xié)同

早期協(xié)同在輸入空間中進(jìn)行協(xié)同，在車(chē)輛和基礎(chǔ)設(shè)施之間共享原始感官數(shù)據(jù)。它匯總了所有車(chē)輛和基礎(chǔ)設(shè)施的原始測(cè)量值，得到一個(gè)整體觀點(diǎn)。因此，每個(gè)車(chē)輛都可以進(jìn)行以下處理，并基于整體視角完成感知，這可以從根本上解決單體感知中出現(xiàn)的遮擋和遠(yuǎn)距離問(wèn)題。

然而，共享原始感官數(shù)據(jù)需要大量通信，并且容易使通信網(wǎng)絡(luò)因數(shù)據(jù)負(fù)載過(guò)大而擁塞，這在大多數(shù)情況下阻礙了其實(shí)際應(yīng)用。

2. 后期協(xié)同

后期協(xié)同在輸出空間中進(jìn)行協(xié)同，這促進(jìn)了每個(gè)智體輸出的感知結(jié)果融合，實(shí)現(xiàn)細(xì)化。

雖然后期協(xié)同具有帶寬經(jīng)濟(jì)性，但它對(duì)智體的定位誤差非常敏感，并且由于不完全的局部觀測(cè)而遭受高估計(jì)誤差和噪聲。

3 中間協(xié)同

中間協(xié)同在中間特征空間中進(jìn)行協(xié)同。它能夠傳輸單獨(dú)智體預(yù)測(cè)模型生成的中間特征。融合這些特征后，每個(gè)智體對(duì)融合的特征進(jìn)行解碼并產(chǎn)生感知結(jié)果。從概念上講，可以將代表性信息壓縮到這些特征中，與早期協(xié)同相比，可以節(jié)省通信帶寬，與后期協(xié)同相比，還可以提高感知能力。

在實(shí)踐中，這種協(xié)同策略的設(shè)計(jì)在算法上具有兩個(gè)方面的挑戰(zhàn)性：i）如何從原始測(cè)量中選擇最有效和緊湊的特征進(jìn)行傳輸；以及ii）如何最大限度地融合其他智體的特征以增強(qiáng)每個(gè)智體的感知能力。

4 混合協(xié)同

如上所述，每種協(xié)同模式都有其優(yōu)缺點(diǎn)。因此，一些工作采用了混合協(xié)同，將兩種或多種協(xié)同模式結(jié)合起來(lái)，以?xún)?yōu)化協(xié)同策略。

協(xié)同感知的主要因素包括：

1 協(xié)同圖

圖是協(xié)同感知建模的有力工具，因?yàn)樗７菤W數(shù)據(jù)結(jié)構(gòu)有良好的可解釋性。在一些工作中，參與協(xié)同感知的車(chē)輛組成一個(gè)完整的協(xié)同圖，其中每個(gè)車(chē)輛是一個(gè)節(jié)點(diǎn)，兩個(gè)車(chē)輛之間的協(xié)同關(guān)系是這兩個(gè)節(jié)點(diǎn)之間的邊。

2 姿態(tài)對(duì)齊

由于協(xié)同感知需要在不同位置和不同時(shí)間融合來(lái)自車(chē)輛和基礎(chǔ)設(shè)施的數(shù)據(jù)，因此實(shí)現(xiàn)精確的數(shù)據(jù)對(duì)齊對(duì)于成功協(xié)同至關(guān)重要。

3 信息融合

信息融合是多智體系統(tǒng)的核心組成部分，其目標(biāo)是以有效的方式融合來(lái)自其他智體的信息量最大的部分。

4 基于強(qiáng)化學(xué)習(xí)的資源分配

現(xiàn)實(shí)環(huán)境中有限的通信帶寬要求充分利用可用的通信資源，這使得資源分配和頻譜共享非常重要。在車(chē)輛通信環(huán)境中，快速變化的信道條件和日益增長(zhǎng)的服務(wù)需求使得分配問(wèn)題的優(yōu)化非常復(fù)雜，難以使用傳統(tǒng)的優(yōu)化方法來(lái)解決。一些工作利用多智體強(qiáng)化學(xué)習(xí)（MARL）來(lái)解決優(yōu)化問(wèn)題。

協(xié)同感知的應(yīng)用：

1 3D 目標(biāo)檢測(cè)

基于激光雷達(dá)點(diǎn)云的3D目標(biāo)檢測(cè)是協(xié)同感知研究中最受關(guān)注的問(wèn)題。原因如下：i）激光雷達(dá)點(diǎn)云比圖像和視頻具有更多的空間維度。ii）激光雷達(dá)點(diǎn)云可以在一定程度上保留個(gè)人信息，如人臉和車(chē)牌號(hào)。iii）點(diǎn)云數(shù)據(jù)是用于融合的適當(dāng)數(shù)據(jù)類(lèi)型，因?yàn)楫?dāng)點(diǎn)云數(shù)據(jù)從不同的姿態(tài)對(duì)齊時(shí)，其損失比像素少。iv）3D目標(biāo)檢測(cè)是自主駕駛感知的一項(xiàng)基本任務(wù)，跟蹤和運(yùn)動(dòng)預(yù)測(cè)等許多任務(wù)都基于此。

2 語(yǔ)義分割

3D場(chǎng)景的語(yǔ)義分割也是自動(dòng)駕駛所需的關(guān)鍵任務(wù)。3D場(chǎng)景目標(biāo)的協(xié)同語(yǔ)義分割，給定來(lái)自多個(gè)智體的3D場(chǎng)景觀察（圖像、激光雷達(dá)點(diǎn)云等），為每個(gè)智體生成語(yǔ)義分割掩碼。?

挑戰(zhàn)性問(wèn)題：

1 通信魯棒性

有效的協(xié)統(tǒng)依賴(lài)于智體之間的可靠通信。然而，通信在實(shí)踐中并不完美：i）隨著網(wǎng)絡(luò)中車(chē)輛數(shù)量的增加，每輛車(chē)的可用通信帶寬有限；ii）由于不可避免的通信延遲，車(chē)輛難以從其他車(chē)輛接收實(shí)時(shí)信息；iii）通信有時(shí)可能中斷，導(dǎo)致通信中斷；iv）V2X通信遭受破壞，無(wú)法始終提供可靠服務(wù)。盡管通信技術(shù)不斷發(fā)展，通信服務(wù)質(zhì)量不斷提高，但上述問(wèn)題仍將長(zhǎng)期存在。然而，大多數(shù)現(xiàn)有的工作都假設(shè)信息可以以實(shí)時(shí)和無(wú)損的方式共享，因此考慮這些通信約束并設(shè)計(jì)魯棒的協(xié)同感知系統(tǒng)對(duì)于進(jìn)一步的工作具有重要意義。

2 異質(zhì)性和跨模態(tài)

大多數(shù)協(xié)統(tǒng)感知工作關(guān)注基于激光雷達(dá)點(diǎn)云的感知。然而，有更多類(lèi)型的數(shù)據(jù)可用于感知，如圖像和毫米波雷達(dá)點(diǎn)云。這是一種利用多模態(tài)傳感器數(shù)據(jù)進(jìn)行更有效協(xié)作的潛在方法。此外，在某些場(chǎng)景中，有不同級(jí)別的自動(dòng)車(chē)輛提供不同質(zhì)量的信息。因此，如何在異構(gòu)車(chē)輛網(wǎng)絡(luò)中進(jìn)行協(xié)同是協(xié)同感知進(jìn)一步實(shí)際應(yīng)用的問(wèn)題。不幸的是，很少有工作關(guān)注異構(gòu)和跨模態(tài)的協(xié)作感知，這個(gè)也成為一個(gè)開(kāi)放的挑戰(zhàn)。

3 大規(guī)模數(shù)據(jù)集

大規(guī)模數(shù)據(jù)集和深度學(xué)習(xí)方法的發(fā)展提高了感知性能。然而，協(xié)同感知研究領(lǐng)域的現(xiàn)有數(shù)據(jù)集要么規(guī)模小，要么不公開(kāi)。

缺乏公共大規(guī)模數(shù)據(jù)集阻礙了協(xié)同感知的進(jìn)一步發(fā)展。此外，大多數(shù)數(shù)據(jù)集基于模擬。雖然仿真是驗(yàn)證算法的經(jīng)濟(jì)和安全的方法，但真實(shí)的數(shù)據(jù)集也是需要的，可將協(xié)同感知應(yīng)用于實(shí)踐。