arXiv論文“ST-P3: End-to-end Vision-based Autonomous Driving via Spatial-Temporal Feature Learning“，22年7月，作者來(lái)自上海交大、上海AI實(shí)驗(yàn)室、加州圣地亞哥分校和京東公司的北京研究院。

提出一種時(shí)空特征學(xué)習(xí)方案，可以同時(shí)為感知、預(yù)測(cè)和規(guī)劃任務(wù)提供一組更具代表性的特征，稱為ST-P3。具體而言，提出一種以自車為中心對(duì)齊（egocentric-aligned）的累積技術(shù)，在感知BEV轉(zhuǎn)換之前保留3-D空間中的幾何信息；作者設(shè)計(jì)一種雙路（dual pathway ）模型，將過(guò)去的運(yùn)動(dòng)變化考慮在內(nèi)，用于未來(lái)的預(yù)測(cè)；引入一個(gè)基于時(shí)域的細(xì)化單元，補(bǔ)償為規(guī)劃的基于視覺(jué)元素識(shí)別。源代碼、模型和協(xié)議詳細(xì)信息開(kāi)源https://github.com/OpenPerceptionX/ST-P3.

開(kāi)創(chuàng)性的LSS方法從多視圖攝像機(jī)中提取透視特征，通過(guò)深度估計(jì)將其提升到3D，并融合到BEV空間。兩個(gè)視圖之間的特征轉(zhuǎn)換，其潛深度預(yù)測(cè)至關(guān)重要。

將二維平面信息提升到三維需要附加維度，即適合三維幾何自主駕駛?cè)蝿?wù)的深度。為了進(jìn)一步改進(jìn)特征表示，自然要將時(shí)域信息合并到框架中，因?yàn)榇蠖鄶?shù)場(chǎng)景的任務(wù)是視頻源。

如圖描述ST- P3總體框架：具體來(lái)說(shuō)，給定一組周圍的攝像機(jī)視頻，將其輸入主干生成初步的前視圖特征。執(zhí)行輔助深度估計(jì)將2D特征轉(zhuǎn)換到3D空間。以自車為中心對(duì)齊累積方案，首先將過(guò)去的特征對(duì)齊到當(dāng)前視圖坐標(biāo)系。然后在三維空間中聚合當(dāng)前和過(guò)去的特征，在轉(zhuǎn)換到BEV表示之前保留幾何信息。除了常用的預(yù)測(cè)時(shí)域模型外，通過(guò)構(gòu)建第二條路徑來(lái)解釋過(guò)去的運(yùn)動(dòng)變化，性能得到進(jìn)一步提升。這種雙路徑建模確保了更強(qiáng)的特征表示，推斷未來(lái)的語(yǔ)義結(jié)果。為了實(shí)現(xiàn)軌跡規(guī)劃的最終目標(biāo)，整合網(wǎng)絡(luò)早期的特征先驗(yàn)知識(shí)。設(shè)計(jì)了一個(gè)細(xì)化模塊，在不存在高清地圖的情況下，借助高級(jí)命令生成最終軌跡。

如圖是感知的以自我為中心對(duì)齊累計(jì)方法。（a） 利用深度估計(jì)將當(dāng)前時(shí)間戳處的特征提升到3D，并在對(duì)齊后合并到BEV特征；（b-c）將先前幀的3D特征與當(dāng)前幀視圖對(duì)齊，并與所有過(guò)去和當(dāng)前狀態(tài)融合，從而增強(qiáng)特征表示。

如圖是用于預(yù)測(cè)的雙路模型：（i） 潛碼是來(lái)自特征圖的分布；（ii iii）路a結(jié)合了不確定性分布，指示未來(lái)的多模態(tài)，而路b從過(guò)去的變化中學(xué)習(xí)，有助于路a的信息進(jìn)行補(bǔ)償。

作為最終目標(biāo)，需要規(guī)劃一條安全舒適的軌跡，到達(dá)目標(biāo)點(diǎn)。這個(gè)運(yùn)動(dòng)規(guī)劃器對(duì)一組不同的軌跡進(jìn)行采樣，并選擇一個(gè)最小化學(xué)習(xí)成本函數(shù)的軌跡。然而，通過(guò)一個(gè)時(shí)域模型來(lái)整合目標(biāo)（target）點(diǎn)和交通燈的信息，加上額外的優(yōu)化步驟。

如圖是為規(guī)劃的先驗(yàn)知識(shí)集成和細(xì)化：總體成本圖包括兩個(gè)子成本。使用前視特征進(jìn)一步重新定義最小成本軌跡，從攝像機(jī)輸入中聚合基于視覺(jué)的信息。

懲罰具有較大橫向加速度、急動(dòng)或曲率的軌跡。希望這條軌跡能夠有效地到達(dá)目的地，因此向前推進(jìn)的軌跡將獎(jiǎng)勵(lì)。然而，上述成本項(xiàng)不包含通常由路線地圖提供的目標(biāo)（target）信息。采用高級(jí)命令，包括前進(jìn)、左轉(zhuǎn)和右轉(zhuǎn)，并且只根據(jù)相應(yīng)的命令評(píng)估軌跡。

此外，交通信號(hào)燈對(duì)SDV至關(guān)重要，通過(guò)GRU網(wǎng)絡(luò)優(yōu)化軌跡。用編碼器模塊的前攝像頭特征初始化隱藏狀態(tài)，并用成本項(xiàng)的每個(gè)采樣點(diǎn)作為輸入。

實(shí)驗(yàn)結(jié)果如下：