自動(dòng)駕駛汽車上路時(shí)，不可避免的需要學(xué)習(xí)一些道路上的“潛規(guī)則”。自動(dòng)駕駛系統(tǒng)需要察言觀色，隨機(jī)應(yīng)變地及時(shí)發(fā)現(xiàn)什么時(shí)候應(yīng)該減速禮讓，什么時(shí)候又應(yīng)該發(fā)現(xiàn)別人正在禮讓而盡快加速通過。由于道路環(huán)境的復(fù)雜性，很多新手司機(jī)都未必能夠做出合適的判斷。

這種復(fù)雜性導(dǎo)致基于規(guī)則的方法很難在覆蓋到全部情況的同時(shí)不出現(xiàn)互相沖突的情況。來自清華大學(xué)的研究團(tuán)隊(duì)提出了一種基于自監(jiān)督學(xué)習(xí)的方法，從已有的軌跡預(yù)測(cè)數(shù)據(jù)集中學(xué)得道路上的各種“禮儀”，并正確判斷出沖突中的禮讓關(guān)系。該研究將預(yù)測(cè)的關(guān)系在充滿復(fù)雜交互的 Waymo Interactive Motion Prediction 數(shù)據(jù)集上進(jìn)行了測(cè)試，并提出了 M2I 框架來使用預(yù)測(cè)出的關(guān)系進(jìn)行場(chǎng)景級(jí)別的交互軌跡預(yù)測(cè)。

該項(xiàng)目主要由清華大學(xué)孫橋和MIT黃昕合作完成，清華MARS Lab趙行老師給予指導(dǎo)。

• 論文地址：https://arxiv.org/abs/2202.11884
• 項(xiàng)目地址：https://tsinghua-mars-lab.github.io/M2I/

軌跡預(yù)測(cè)問題是自動(dòng)駕駛系統(tǒng)中的重要一環(huán)，對(duì)自動(dòng)駕駛車輛安全行駛不可或缺。軌跡預(yù)測(cè)模塊通常作為識(shí)別 (Detection) 和跟蹤 (Tracking) 的下游系統(tǒng)，使用已有的高精地圖和識(shí)別到的周圍的其他車輛或行人的信息來預(yù)測(cè)他們未來可能會(huì)做出哪些行為。軌跡預(yù)測(cè)系統(tǒng)會(huì)以軌跡或熱力圖的形式輸出預(yù)測(cè)結(jié)果，以便下游的規(guī)劃 (Planning) 系統(tǒng)規(guī)劃出一條對(duì)于自動(dòng)駕駛車自身最為合理的下一步的決策或軌跡。

盡管大多數(shù)軌跡預(yù)測(cè)方法都通過 GNN 或基于 Attention 的方法嘗試學(xué)習(xí)道路上的車輛和行人之間的關(guān)系，但是這些方法通常面對(duì)以下一些難以克服的挑戰(zhàn)：

1. 模型預(yù)測(cè)的關(guān)系是隱式的所以缺乏可解釋性，也難以確定模型是否真的學(xué)習(xí)到了這些關(guān)系；

2. 模型預(yù)測(cè)的關(guān)系和最終輸出的軌跡之間并不統(tǒng)一（如圖 1 第一行所示），會(huì)天然出現(xiàn)重疊的情況，無法確保場(chǎng)景級(jí)別的合理性；

3. 道路使用者的決策存在順序關(guān)系，模型預(yù)測(cè)無法區(qū)別邏輯上的預(yù)測(cè)順序，而是只能并行逐個(gè)預(yù)測(cè)。

圖 1: 逐車進(jìn)行軌跡預(yù)測(cè)的方法輸出的軌跡之間會(huì)存在碰撞

為了解決這些問題，研究者提出了一個(gè)簡單且有效的框架 M2I（如圖 1 第二行）。使用 M2I 框架，你可以快速的將手頭已有的任何軌跡預(yù)測(cè)模型進(jìn)行改造后，獲得場(chǎng)景級(jí)別的關(guān)系預(yù)測(cè)能力以及基于一輛車的軌跡預(yù)測(cè)另一輛車的軌跡的能力。使用這兩種能力即可確保你的新模型獲得針對(duì)交互場(chǎng)景的更好預(yù)測(cè)效果。

多智能體軌跡預(yù)測(cè)轉(zhuǎn)單智能體軌跡預(yù)測(cè)

首先讓我們來看一下 M2I 的整體框架。M2I 由三個(gè)模塊組成， 如圖 2。這三個(gè)模塊分別是關(guān)系預(yù)測(cè)模塊，單智能體軌跡預(yù)測(cè)，條件軌跡預(yù)測(cè)。

圖 2: M2I 軌跡預(yù)測(cè)框架

關(guān)系預(yù)測(cè)

復(fù)雜的道路使用者之間的關(guān)系可以被抽象為多個(gè)關(guān)系對(duì)，該研究將每一對(duì)道路使用者分類為一個(gè) 影響者 (Influencer) 和一個(gè) 響應(yīng)者 (Reactor)，將響應(yīng)者定義為沖突中的需要禮讓的一方，而影響者則是不需要禮讓的一方。由此可以將交互中的軌跡預(yù)測(cè)問題抽象成兩次軌跡預(yù)測(cè)，一次是預(yù)測(cè)影響者的軌跡，一次是使用預(yù)測(cè)好的影響者的軌跡去預(yù)測(cè)響應(yīng)者的軌跡。這樣的方法確保了兩者在場(chǎng)景級(jí)別上預(yù)測(cè)的軌跡的一致性從而最大程度上避免了重疊等不合理的情況。

那么如何預(yù)測(cè)誰是影響者誰是響應(yīng)者呢？或者說預(yù)測(cè)沖突中誰應(yīng)該禮讓。該研究提出了一種基于時(shí)空軌跡交錯(cuò)的方法從已有數(shù)據(jù)集中挖掘 Ground Truth 標(biāo)簽的方法。具體來說，在數(shù)據(jù)集中，如果任意兩個(gè)道路使用者的軌跡在不同時(shí)間上產(chǎn)生了交叉，該方法則標(biāo)記優(yōu)先通過這個(gè)交叉點(diǎn)的智能體為影響者，后通過的標(biāo)記為響應(yīng)者。通過對(duì)這個(gè)自動(dòng)生成的標(biāo)簽的學(xué)習(xí)，該模型可以學(xué)習(xí)到?jīng)_突時(shí)的先行關(guān)系。

該研究使用的關(guān)系預(yù)測(cè)模型是將 DenseTNT 的 Trajectory Prediction Head 換為一個(gè)普通的分類 Classification Head 改造得到的。研究者發(fā)現(xiàn)不對(duì)已有模型的其他部分進(jìn)行任何修改，就可以將關(guān)系預(yù)測(cè)的準(zhǔn)確率達(dá)到 90% 以上。對(duì)比實(shí)驗(yàn)顯示，使用準(zhǔn)確率越高的關(guān)系進(jìn)行 Conditional Trajectory Prediction 可以獲得越好的效果。

研究者還將關(guān)系預(yù)測(cè)拓展到多智能體的關(guān)系預(yù)測(cè)上。針對(duì)多智能體，該研究將他們兩兩成對(duì)進(jìn)行預(yù)測(cè)，并將預(yù)測(cè)結(jié)果組成一個(gè)有向圖來表示他們之間的關(guān)系，結(jié)果如圖 3 所示，M2I 的關(guān)系預(yù)測(cè)模塊可以很好地拓展到多智能體的關(guān)系預(yù)測(cè)上。

圖 3: 復(fù)雜場(chǎng)景下的多智能體的關(guān)系預(yù)測(cè)

軌跡預(yù)測(cè)

可以使用任何常見的軌跡預(yù)測(cè)模塊來替換 M2I 框架中的單智能體軌跡預(yù)測(cè)模塊，在該論文的實(shí)驗(yàn)中，研究者使用了 DenseTNT 進(jìn)行單智能體軌跡預(yù)測(cè)。對(duì)于 Conditional Trajectory Prediction，研究者修改了 DenseTNT 的 Encoder，將影響者的未來的軌跡（在使用的 Waymo 數(shù)據(jù)集中，未來軌跡為 8s，共 80 幀）與其他信息共同進(jìn)行編碼供模型進(jìn)行學(xué)習(xí)。訓(xùn)練時(shí)影響者未來的軌跡是數(shù)據(jù)集中的 ground truth 軌跡，預(yù)測(cè)時(shí)影響者未來的軌跡是單智能體模塊輸出的軌跡。對(duì)于 Conditional Trajectory Prediction，該研究沒有修改除了 Encoder 之外模型的其他結(jié)構(gòu)。

實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果證明，相比于其他幾個(gè)在 leaderboard 上的方法，使用了 M2I 框架的 DenseTNT 模型表現(xiàn)明顯優(yōu)于其他方法。尤其是在車輛之間的交互上，使用 M2I 預(yù)測(cè)在 mAP 上相比其他模型性能提升明顯。

圖 4: M2I 在 Interactive Motion Prediction 上的表現(xiàn)明顯優(yōu)于其他已有方法

該研究還嘗試了使用 TNT 作為 Backbone。實(shí)驗(yàn)結(jié)果顯示，使用 M2I 框架同樣可以幫助 TNT 提升在交互場(chǎng)景中的性能表現(xiàn)，從而證明了 M2I 框架可以不受限于某個(gè)指定的 backbone。

定性分析顯示，使用 M2I 框架后，預(yù)測(cè)軌跡在場(chǎng)景級(jí)別上表現(xiàn)的更為接近真實(shí)的交互軌跡，如圖 5 所示。

圖 5: M2I 更好的學(xué)習(xí)到了場(chǎng)景中兩輛正在交互的車輛應(yīng)該如何先后完成轉(zhuǎn)彎