本文經(jīng)自動(dòng)駕駛之心公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

寫在前面&個(gè)人理解

協(xié)同感知技術(shù)能夠有效解決單體感知中存在的障礙物遮擋、視角受限、以及遠(yuǎn)距離感知能力弱等問(wèn)題。然而實(shí)際場(chǎng)景中存在著網(wǎng)絡(luò)用塞、延遲等問(wèn)題，協(xié)同感知受此影響，性能會(huì)嚴(yán)重下降，甚至低于單體感知效果。NeurIPS 2023的最新研究文章 《Asynchrony-Robust Collaborative Perception via Bird’s Eye View Flow》將協(xié)同信息時(shí)間戳不對(duì)齊的協(xié)同感知任務(wù)定義為時(shí)序異步的協(xié)同感知（Asynchrony Collaborative Perception），來(lái)自上海交通大學(xué)、南加州大學(xué)、和上海人工智能實(shí)驗(yàn)室的研究者們?cè)诒疚闹刑岢隽薈oBEVFlow：基于鳥(niǎo)瞰圖流（BEV Flow）的時(shí)序異步魯棒的協(xié)同感知系統(tǒng)。實(shí)驗(yàn)效果表明，CoBEVFlow能有效緩解時(shí)序異步帶來(lái)的影響。

• 論文鏈接：https://arxiv.org/abs/2309.16940
• 代碼鏈接：https://github.com/MediaBrain-SJTU/CoBEVFlow
• 項(xiàng)目主頁(yè)：https://sizhewei.github.io/projects/cobevflow/

CoBEVFlow的出發(fā)點(diǎn)

近年來(lái)，自動(dòng)駕駛領(lǐng)域在學(xué)術(shù)界和工業(yè)界都受到了極大的關(guān)注。但真實(shí)世界中道路情況復(fù)雜多變，且存在著行人、非機(jī)動(dòng)車、不遵守交通規(guī)則的道路參與者甚至少數(shù)情況下會(huì)出現(xiàn)動(dòng)物等情況，這些特殊情況都會(huì)給自動(dòng)駕駛技術(shù)的應(yīng)用帶來(lái)極大挑戰(zhàn)。對(duì)于在單車部署傳感器（如相機(jī)、激光雷達(dá)、毫米波雷達(dá)等），基于單車傳感器的目標(biāo)檢測(cè)的方法稱為單體感知。盡管單體感知在目前的多數(shù)情況下表現(xiàn)尚可，但這種感知方式存在固有的局限性。單體感知依賴自身的傳感器，其感知能力受限于傳感器的視角、有效距離和精度。例如，當(dāng)傳感器遭受遮擋，視角受限時(shí)，感知能力就會(huì)大幅下降，為智能體后續(xù)的認(rèn)知和決策帶來(lái)安全隱患。此外，對(duì)于遠(yuǎn)處的物體，激光雷達(dá)產(chǎn)生的點(diǎn)云過(guò)于稀疏，無(wú)法提供有效的位置信息，導(dǎo)致感知系統(tǒng)很難對(duì)遠(yuǎn)距離的環(huán)境進(jìn)行感知。下圖就是一個(gè)真實(shí)場(chǎng)景中由于視線遮擋，對(duì)于人類駕駛員也非常頭痛的“鬼探頭”問(wèn)題。

圖 1. 視線遮擋造成的“鬼探頭”問(wèn)題令人類駕駛員也非常頭痛！

多智能體之間的協(xié)同感知為單體感知存在的這些問(wèn)題提供了解決方案。隨著通信技術(shù)的發(fā)展，多個(gè)智能體之間可以利用通信共享彼此的信息，每個(gè)智能體可以結(jié)合自身傳感器信息與其他智能體的信息，對(duì)周圍環(huán)境進(jìn)行感知。通過(guò)智能體之間的協(xié)作，每個(gè)智能體可以獲取自身視野盲區(qū)與可視距離以外的信息，有助于提升每個(gè)智能體的感知以及決策能力。此外，協(xié)同感知也能減少智能體對(duì)于高精度長(zhǎng)距離傳感器的依賴，通過(guò)多個(gè)使用低精度、低成本傳感器的智能體相互協(xié)作，達(dá)到甚至超過(guò)單個(gè)裝配高精度傳感器的感知能力。在現(xiàn)實(shí)世界中，由于通信延遲、擁塞、中斷、時(shí)鐘錯(cuò)位、以及采樣頻率不一致等等問(wèn)題，智能體接收到的協(xié)作信息所帶有的時(shí)間戳不一致是不可避免的。如圖所示，藍(lán)色車輛代表元智能體（ego agent），而另外兩輛車在連續(xù)時(shí)間軸上的不同時(shí)刻傳遞協(xié)作信息。在這種情況下，元智能體收集到的信息發(fā)生在不對(duì)齊的時(shí)間戳上。

圖 2. 異步通信示意圖。來(lái)自不同智能體的協(xié)作信息帶有的時(shí)間戳是連續(xù)時(shí)間軸上的任意值。

這個(gè)問(wèn)題會(huì)導(dǎo)致多智能體融合過(guò)程中信息不匹配——來(lái)自不同智能體的協(xié)作信息中對(duì)同一個(gè)移動(dòng)目標(biāo)的位置信息是不同的，從而導(dǎo)致協(xié)同感知得到的感知結(jié)果甚至比單個(gè)智能體感知結(jié)果更差。如果忽視這個(gè)問(wèn)題，仍然使用傳統(tǒng)的協(xié)作感知方法，得到的協(xié)作感知結(jié)果如圖所示。

圖 3. 協(xié)作信息時(shí)間戳不一致對(duì)協(xié)作感知造成的影響。紅色表示感知結(jié)果，綠色表示真實(shí)值。左圖為協(xié)作不一致的情況下，不使用CoBEVFlow的結(jié)果，右圖為經(jīng)過(guò)CoBEVFlow處理過(guò)的結(jié)果。

紅色框表示檢測(cè)結(jié)果，綠色框表示真實(shí)值，“錯(cuò)誤的”協(xié)作信息會(huì)干擾元智能體的單體感知信息，導(dǎo)致結(jié)果甚至比單體感知結(jié)果。這也就意味著時(shí)間戳不對(duì)齊問(wèn)題導(dǎo)致協(xié)作失去了意義。
為此，研究者們定義了異步協(xié)作感知（Asynchrony Co-Perception）任務(wù)。其中異步表示來(lái)自參與協(xié)作的智能體所傳遞的協(xié)作信息帶有的時(shí)間戳不一致，而且來(lái)自同一個(gè)智能體的連續(xù)兩幀信息之間的時(shí)間間隔是不固定的?；谶@個(gè)問(wèn)題，該文提出了基于鳥(niǎo)瞰流圖（BEV Flow）的時(shí)序異步魯棒的協(xié)同感知系統(tǒng)：CoBEVFlow。

CoBEVFlow的問(wèn)題定義

研究者們首先對(duì)異步協(xié)同感知任務(wù)給出了數(shù)學(xué)定義：

對(duì)于場(chǎng)景中的  個(gè)智能體，每個(gè)智能體可以向其他智能體發(fā)送/接收協(xié)作信息，并存儲(chǔ)來(lái)自任何智能體的最多  個(gè)歷史幀的消息。對(duì)于第  個(gè)智能體， 和  分別是在當(dāng)前時(shí)間  的原始觀察和感知真實(shí)值（ground truth），其中  是智能體  的第  個(gè)時(shí)間戳， 是智能體  在時(shí)間  發(fā)送給智能體  的協(xié)作消息。異步設(shè)置的關(guān)鍵在于每個(gè)協(xié)作消息的時(shí)間戳  是一個(gè)連續(xù)值，來(lái)自其他智能體的這些消息不對(duì)齊，即 ，并且兩個(gè)連續(xù)時(shí)間戳  之間的時(shí)間間隔是不固定的。因此，每個(gè)智能體會(huì)在任意時(shí)間接收到其他智能體發(fā)送的協(xié)作消息。因此，異步協(xié)作感知的任務(wù)可以表示為：

其中  是感知評(píng)估指標(biāo)， 是智能體  在時(shí)間  的感知結(jié)果， 是具有可訓(xùn)練參數(shù)  的協(xié)作感知網(wǎng)絡(luò)，并且 $t_m^{j-k+1}<t_m^{j-k+2}<\cdots<t_m^j\le t_n^i$。需要注意的是：當(dāng)來(lái)自其他智能體的協(xié)作消息都對(duì)齊且兩個(gè)連續(xù)時(shí)間戳之間的時(shí)間間隔是規(guī)則的；即，對(duì)于所有智能體對(duì)="" $m,n$，有="" $t_m^i="t_n^i$，對(duì)于所有智能體" $n$，$t_n^i-t_n^{i-1}$="" 是一個(gè)常數(shù)，該任務(wù)退化為理想情況下時(shí)序同步的協(xié)作感知。<="" p="">

CoBEVFlow的方法介紹

異步協(xié)作感知的本質(zhì)問(wèn)題是，來(lái)自多個(gè)智能體的協(xié)作信息可能給同一個(gè)移動(dòng)目標(biāo)記錄不同時(shí)刻的位置信息。因此研究者們提出的CoBEVFlow用兩個(gè)核心思路來(lái)解決這個(gè)問(wèn)題：

1. 生成一個(gè)感興趣區(qū)域（ROI）集，后續(xù)只針對(duì)這些集合中的特征進(jìn)行操作；
2. 捕捉歷史幀中這些感興趣區(qū)域的運(yùn)動(dòng)趨勢(shì)，根據(jù)運(yùn)動(dòng)趨勢(shì)將對(duì)應(yīng)位置的特征重新對(duì)齊到當(dāng)前時(shí)刻的位置。

通過(guò)這兩個(gè)思想，避免了直接修改特征，并保持了背景特征，所以CoBEVFlow不會(huì)引入不必要的噪聲。

CoBEVFlow的總體框架

圖 4. CoBEVFlow框架圖。

如CoBEVFlow框架圖所示，原始感知信息  通過(guò)編碼器得到特征  。在Message Packing 模塊中，特征通過(guò) ROI 生成器得到 ROI集  ，同時(shí)作為掩碼得到稀疏特征  ，每個(gè)智能體將ROI集和稀疏特征作為協(xié)作信息打包發(fā)送。智能體收到來(lái)自其他的智能體發(fā)送的協(xié)作信息之后，在Message Fusion模塊中處理協(xié)作信息?；趤?lái)自同一智能體的過(guò)去  幀信息，通過(guò)Flow生成器生成鳥(niǎo)瞰流圖（BEV Flow Map） ，并利用該流圖，將稀疏特征圖上的特征挪動(dòng)到當(dāng)前時(shí)刻的位置上，也即得到挪動(dòng)后特征  。將處理好的特征與自身的特征進(jìn)行融合得到融合后特征  ，隨機(jī)進(jìn)入解碼器得到最后的感知結(jié)果  。

信息打包模塊（Message Packing）

生成BEV特征圖上的ROI集合，然后發(fā)送這些集合以及對(duì)應(yīng)的稀疏特征。其中ROI生成器采用的網(wǎng)絡(luò)架構(gòu)和解碼器一致，但是網(wǎng)絡(luò)參數(shù)并不需要保持一致。這樣做的目的是，讓ROI生成器學(xué)習(xí)到更多關(guān)于單體感知的特征分布。

信息融合模塊（Message Fusion）

捕捉這些ROI的運(yùn)動(dòng)趨勢(shì)，叫做BEV Flow Map，利用BEV Flow來(lái)將異步的信息對(duì)齊到當(dāng)前時(shí)刻，再進(jìn)行融合。BEVFlow的生成包括兩個(gè)關(guān)鍵步驟：

1. 相鄰時(shí)間戳的ROI匹配；
2. BEVFlow估計(jì)。

圖 5. BEV Flow Map生成包括：ROI匹配和Flow生成過(guò)程。

相鄰幀的ROI匹配：目的是匹配同一智能體在連續(xù)兩個(gè)時(shí)間戳上發(fā)送的信息中的感興趣區(qū)域（ROI）。匹配上的ROI本質(zhì)上就是在不同時(shí)間戳下的同一個(gè)目標(biāo)。匹配包含三個(gè)過(guò)程：成本矩陣構(gòu)建、貪婪匹配和后處理。首先構(gòu)建成本矩陣，其中每個(gè)值表示兩個(gè)時(shí)間戳下兩個(gè)ROI之間的匹配成本，矩陣中的每個(gè)值是基于角度和距離計(jì)算的。接著使用貪婪匹配策略來(lái)搜索配對(duì)的ROI。最后，后處理中通過(guò)刪除匹配對(duì)中過(guò)大的值所代表的配對(duì)來(lái)避免無(wú)效匹配。

圖 6. BEV Flow 估計(jì)示意圖。

BEV Flow估計(jì)：檢索每個(gè)ROI在一系列不規(guī)則時(shí)間戳下的歷史位置。這個(gè)模塊是一個(gè)基于注意力機(jī)制的模塊，使用這些不規(guī)則的軌跡段來(lái)預(yù)測(cè)元智能體的當(dāng)前時(shí)間戳下這些ROI的位置和方向，并生成相應(yīng)的BEV Flow。與使用循環(huán)神經(jīng)網(wǎng)絡(luò)處理常規(guī)通信延遲的方法SyncNet(ECCV'22) 相比，生成的BEV Flow具有兩個(gè)優(yōu)點(diǎn)：i）它通過(guò)基于注意力機(jī)制的估計(jì)和適當(dāng)?shù)臅r(shí)間編碼來(lái)處理不規(guī)則的異步情況；ii）它基于運(yùn)動(dòng)趨勢(shì)的來(lái)移動(dòng)特征，避免了重新生成整個(gè)特征圖。

實(shí)驗(yàn)效果

為了驗(yàn)證CoBEVFlow的效果，研究者們?cè)趦蓚€(gè)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，分別是IRV2V和DAIR-V2X。其中IRV2V是本文提出的首個(gè)異步協(xié)作感知數(shù)據(jù)集，其包含不同程度的時(shí)間異步性，而DAIR-V2X是真實(shí)數(shù)據(jù)集。實(shí)驗(yàn)的任務(wù)是基于點(diǎn)云的目標(biāo)檢測(cè)。使用交并比（Intersection-over-Union，IoU）閾值為 0.50 和 0.70 對(duì)檢測(cè)性能進(jìn)行評(píng)估，采用平均精度（Average Precision，AP）作為評(píng)價(jià)指標(biāo)。

CoBEVFlow (紅實(shí)線) 在異步情況下顯著魯棒

圖 7. 在時(shí)間間隔期望值從 0 到 500 毫秒的情況下，CoBEVFlow 與其他基準(zhǔn)方法的性能進(jìn)行了比較。CoBEVFlow 在兩個(gè)數(shù)據(jù)集上表現(xiàn)優(yōu)于所有基準(zhǔn)方法，并展現(xiàn)了在任何異步水平下的出色魯棒性。

研究者們對(duì)比了現(xiàn)有的協(xié)同感知SOTA方法與CoBEVFlow在不同的異步程度下的感知結(jié)果。如圖，紅色虛線表示沒(méi)有協(xié)作的單體檢測(cè)，紅色實(shí)線表示CoBEVFlow。所有方法均使用基于 PointPillars 的特征編碼器。為了模擬時(shí)間異步性，研究者們使用二項(xiàng)分布對(duì)接收到的消息的幀間隔進(jìn)行采樣，以獲取隨機(jī)的不規(guī)則時(shí)間間隔。圖中展示了在 IRV2V 和 DAIR-V2X 上，所提出的 CoBEVFlow 和SOTA方法在不同程度時(shí)間異步性下的檢測(cè)性能（AP@IoU=0.50/0.70）比較，其中 x 軸是最新接收信息的延遲時(shí)間間隔和相鄰幀之間的間隔的期望值，y 軸是檢測(cè)結(jié)果。需要注意的是，當(dāng) x 軸為 0 時(shí)，表示為標(biāo)準(zhǔn)的協(xié)作感知沒(méi)有任何異步性?？梢钥闯觯篿）在所有異步程度下， CoBEVFlow 在模擬數(shù)據(jù)集（IRV2V）和真實(shí)世界數(shù)據(jù)集（DAIR-V2X）中均實(shí)現(xiàn)了最佳性能。在 IRV2V 數(shù)據(jù)集上，在 300ms期望間隔下，CoBEVFlow 在 AP@0.50 和 AP@0.70 方面分別比最好的SOTA方法提高了 23.3% 和 35.3%。類似地，在 500ms 間隔期望下，分別實(shí)現(xiàn)了 30.3% 和 28.2% 的提升。在 DAIR-V2X 數(shù)據(jù)集上，CoBEVFlow 依舊效果領(lǐng)先。ii）CoBEVFlow 表現(xiàn)出了顯著的異步魯棒性。如圖中的紅線所示，在不同的異步情況下，CoBEVFlow 在 IRV2V 數(shù)據(jù)集上僅出現(xiàn) 4.94% 和 14.0% 的 AP@0.50 和 AP@0.70 下降。這些結(jié)果遠(yuǎn)超過(guò)了單一目標(biāo)檢測(cè)的性能，甚至在極端的異步情況下也是如此。

圖 8. CoBEVFlow與SOTA方法在IRV2V數(shù)據(jù)集上的可視化對(duì)比，紅色是預(yù)測(cè)結(jié)果，綠色是真實(shí)值。圖 9. CoBEVFlow與SOTA方法在DAIR-V2X 數(shù)據(jù)集上的可視化對(duì)比。紅色是預(yù)測(cè)結(jié)果，綠色是真實(shí)值。

圖 10. 時(shí)序異步情況下采用where2comm（左）直接進(jìn)行協(xié)同感知的結(jié)果，與利用CoBEVFlow（右）進(jìn)行協(xié)同感知的結(jié)果對(duì)比。紅色為預(yù)測(cè)結(jié)果，綠色為真實(shí)值。

CoBEVFlow (紅實(shí)線) 顯著節(jié)省通信帶寬

圖 11. 感知性能與通信帶寬之間的關(guān)系（時(shí)序異步期望為300ms）。

研究者們對(duì)比了不同方法的性能與通信帶寬之間的關(guān)系。如圖，紅色實(shí)線表示CoBEVFlow。在時(shí)間異步的期望值為300毫秒的情況下，隨著通信量的增加，CoBEVFlow的性能持續(xù)穩(wěn)定提高，而where2comm和SyncNet的性能由于異步信息而導(dǎo)致性能波動(dòng)。CoBEVFlow能夠顯著節(jié)省通信帶寬的原因是，其協(xié)作信息只包含ROI區(qū)域中的稀疏特征以及ROI集，而不用整個(gè)特征圖進(jìn)行協(xié)作。

CoBEVFlow能夠避免引入額外噪聲

圖 12. BEV Flow Map的效果可視化。(a)(b)分別是經(jīng)過(guò)矯正前后的中間特征可視化，(c) 為BEV flow map的可視化，(d) 為匹配結(jié)果的可視化。

CoBEVFlow利用歷史協(xié)作信息生成鳥(niǎo)瞰流圖——BEV Flow Map，并根據(jù)流圖，將BEV特征圖上的“網(wǎng)格”特征找到新的對(duì)應(yīng)的索引。這個(gè)過(guò)程的思想是“挪動(dòng)”異步的特征到當(dāng)前時(shí)刻對(duì)應(yīng)的位置上，不涉及對(duì)于特征的數(shù)值變換，避免了引入額外的噪聲（事實(shí)上，在挪動(dòng)特征的過(guò)程中，用到了PyTorch內(nèi)置的函數(shù)進(jìn)行warp操作，存在著微小的差值誤差）。研究人員們將原始的特征和挪動(dòng)后的特征分別進(jìn)行可視化，如圖中的子圖(a)、(b)。同時(shí)，將生成額BEV Flow Map以及ROI區(qū)域的配對(duì)結(jié)果進(jìn)行了可視化，如圖中的子圖(c)、(d)。能從圖中看出，該文提出的鳥(niǎo)瞰流圖生成器對(duì)于不同幀中的ROI區(qū)域能夠有效配對(duì)，也因此可以捕捉到ROI區(qū)域的運(yùn)動(dòng)趨勢(shì)，并生成流圖，用來(lái)矯正特征圖。

圖 13. 鳥(niǎo)瞰流圖的連續(xù)多幀可視化結(jié)果。

BEV Flow Map 作用在中融合優(yōu)于后融合

表 1 IRV2V數(shù)據(jù)集上的消融實(shí)驗(yàn)結(jié)果。

既然生成的BEV Flow Map能夠準(zhǔn)確捕捉ROI的運(yùn)動(dòng)趨勢(shì)，那為什么不直接對(duì)檢測(cè)框的位置進(jìn)行矯正？研究人員們針對(duì)這個(gè)問(wèn)題也在消融實(shí)驗(yàn)的部分進(jìn)行了實(shí)驗(yàn)驗(yàn)證。如表格中的第3行和第5行的對(duì)比，能夠看出，對(duì)于特征的矯正比對(duì)于檢測(cè)框位置的矯正效果要好。研究人員猜測(cè)，可能是感興趣區(qū)域?qū)τ趩诬嚈z測(cè)未必是一個(gè)完整的物體，但是經(jīng)過(guò)多車融合后的特征圖，包含了來(lái)自多個(gè)協(xié)作者的信息，因此對(duì)于一些在單車視角下“不確定”的目標(biāo)，中融合對(duì)于中間特征進(jìn)行操作將更有優(yōu)勢(shì)。此外，消融實(shí)驗(yàn)中也進(jìn)行了關(guān)于時(shí)間編碼和不同的匹配算法的效果驗(yàn)證。

總結(jié)

CoBEVFlow關(guān)注解決協(xié)同感知中存在的時(shí)序異步問(wèn)題。其提出的核心思路有兩個(gè)：一是每個(gè)智能體發(fā)送的協(xié)作信息中應(yīng)包含感興趣區(qū)域與其對(duì)應(yīng)的稀疏特征圖。二是在協(xié)作感知時(shí)，基于收集到的歷史信息生成BEV Flow，并用其“矯正”時(shí)序異步的特征。通過(guò)這兩兩個(gè)關(guān)鍵思路，CoBEVFlow能夠有效處理包含延遲、中斷、采樣頻率不一致等原因?qū)е碌臅r(shí)序異步問(wèn)題，同時(shí)不會(huì)對(duì)特征圖引入額外的噪聲。

原文鏈接：https://mp.weixin.qq.com/s/BNFPPrQB4dVhm66p_ikqjA