可遷移和可適應的駕駛行為預測
arXiv上傳于2022年2月10日的論文“Transferable and Adaptable Driving Behavior Prediction”,伯克利分校工作。
雖然自動駕駛汽車仍難以解決道路行駛中的挑戰(zhàn)性問題,但人類早已掌握高效、可遷移和可適應的駕駛本質(zhì)。通過模仿人類在駕駛過程中的認知模型和語義理解,HATN,一個分層框架,為多智體密集交通環(huán)境的駕駛行為生成高質(zhì)量、可遷移和可適應的預測。這個分層方法由高級別意圖識別策略和低級軌跡生成策略組成。其中定義一種新的語義子任務,并給出每個子任務的通用狀態(tài)表示。有了這些技術,分層結(jié)構可以在不同的駕駛場景中遷移。
此外,該模型通過在線適應模塊捕捉個人和場景之間駕駛行為的變化。在開源INTERACTION數(shù)據(jù)集,通過十字路口和環(huán)島的軌跡預測任務展示該算法的性能。
提出的HATN(Hierarchical Adaptable and Transferable Network)框架由四部分組成:
1)左側(cè),提取自車的交互車輛,并構造語義圖(Semantic Graph,SG)。在SG中,定義動態(tài)插入?yún)^(qū)域(Dynamic Insertion Areas,DIA)為圖形的節(jié)點,自車可以選擇插入其中。
2) 高級別的語義圖網(wǎng)絡(Semantic Graph Network,SGN)以SG為輸入,負責對車輛之間的關系進行推理,并預測單個車輛的意圖,例如插入哪個區(qū)域和相應的目標狀態(tài)。
3) 低級別編解碼網(wǎng)絡(Encoder Decoder Network,EDN)接收每輛車的歷史動態(tài)和意圖信號,并預測其未來軌跡。
4) 在線適應(OA)模塊根據(jù)歷史預測誤差在線適應EDN的參數(shù),該誤差捕捉個體和場景特定的行為。
如圖是HATN的方框圖:
下表正式闡明HATN每個模塊的輸入和輸出:
關于各個模型的描述如下:
HATN
SG (scene graph representation)
SGN
EDN
MEKF(modified Extended Kalman Filter)
提取的DIA是一個動態(tài)區(qū)域,可以由自智體在路上插入或進入。每個DIA由前智體形成的前邊界、后智體形成的后邊界和參考線形成的兩個側(cè)邊界組成。如圖是DIA提取和SG構建過程:當其他車輛的車道參考線(通過Dynamic Time Warping 算法確認)與自車的車道參考線交叉時,基于沖突點,提取DIA并將其視為節(jié)點來構建SG。
為了推斷任意兩個節(jié)點之間的關系,受Graph Attention Network(GAN)的啟發(fā),設計一個基于注意的關系推理層。
一旦高級別策略決定了要去哪里,低級別策略就負責通過更精細粒度處理信息來實現(xiàn)這一目標,其從分層設計中得到好處:
1)學習被簡化,因為車輛只需要關心自己的動力學,而交互、避撞、道路幾何的考慮則留給高層策略來處理(信息隱藏);
2) 該策略僅為達到目標(獎勵隱藏)而優(yōu)化,這是可控和可解釋的,因為不同措施的效果可以更好地驗證;
3) 學習的策略可以在不同的場景中轉(zhuǎn)換和重用。
在實踐中,來自高級別策略的預測意圖信號本身可能攜帶來自高層策略或數(shù)據(jù)分布的誤差方差。實證發(fā)現(xiàn),最佳性能表現(xiàn)在:
1)在Frenet坐標下;
2)包括速度和偏航等輸入特征;
3)應用增量預測和位置對齊等表示技巧;
4)在輸入特征中添加目標狀態(tài)和解碼步驟等意圖信號。
不同的駕駛場景也不可避免地會產(chǎn)生額外的行為變化。因此,利用在線適應(基于卡爾曼濾波器)將定制的個人和場景模式注入到模型中。在線適應的關鍵點是,由于駕駛員無法直接溝通,歷史行為可能是駕駛員駕駛模式的重要線索,基于此,調(diào)整模型參數(shù)以更好地適應個人或場景。
在線適應背后的直覺是,盡管給定了相同的目標狀態(tài),但駕駛員仍有不同的方式來實現(xiàn)它。捕獲這種定制模式可以改善生成的行為人類相似性。其整個算法的偽代碼如下圖:
如下是3個實驗場景:
1) 自車如何與其他車輛交互以通過一個共同沖突點(一次交互);
2) 自車如何與其他車輛互動,以通過一系列沖突點(一系列互動);
3) 無需再訓練就將自車遷移到環(huán)島場景時,自車與其他車輛的交互方式(場景可遷移交互)。
場景:一次交互
場景:一系列交互
場景:可遷移交互
下兩個表是在十字路口和環(huán)島場景中HATN和其他6種方法的比較:
1.無時域:該方法不考慮歷史信息,即只考慮當前時間步長t的信息。
2.GAT:這種方法使用絕對特征來計算節(jié)點之間的關系,而不是使用相對特征。這種方法對應于原始的圖形注意網(wǎng)絡(GAN)。
3、單智體:該方法只考慮自車意圖預測的損失,不考慮其他車輛的意圖預測。
4.兩層圖:這方法有一個兩層圖來進行信息嵌入,即兩次利用圖進行聚合。
5.多頭:這方法利用多頭注意機制來穩(wěn)定學習。該方法在Sec中操作關系推理。4.2.2獨立并行多次,并連接所有聚合特征作為最終聚合特征。
6.Seq Graph:該方法首先在每個時間步對圖進行關系推理,然后將聚合圖序列饋送到RNN中進行時間處理。作為比較,我們的方法首先將每個節(jié)點的歷史特征序列嵌入到RNN中,然后使用每個節(jié)點在當前時間步的隱藏狀態(tài)從RNN中進行關系推理。
一些觀察:
1)HATN在交叉口和環(huán)島實現(xiàn)了最低誤差;
2) 由于缺乏時域信息,無時域方法在交叉口和環(huán)島場景中都是最差的;
3) GAT方法產(chǎn)生的錯誤比HATN高得多,尤其是在環(huán)島場景(58%),這表明在關系推理中使用相關特征的必要性;
4) HATN優(yōu)于單智體方法,這意味著將所有車輛生成的目標狀態(tài)納入損失函數(shù),可以增加數(shù)據(jù)并鼓勵交互推理;
5) 兩層圖法是最接近HATN的方法,盡管根據(jù)訓練記錄,它有嚴重的過擬合;
6) 多頭方法在交叉口場景中獲得了第二高精度,但在環(huán)島場景中的性能要差得多,仔細調(diào)整或搜索合適的頭數(shù)可以來改善;
7) 在交叉口和環(huán)島的情況下,Seq Graph方法是第二差的,這可能意味著對、過去的交互進行復雜編碼很難幫助預測,但確實會使學習更加困難。
下表是意圖信號的影響:
如下表是基于規(guī)則和基于學習的方法和HATN的比較: