本文經自動駕駛之心公眾號授權轉載，轉載請聯(lián)系出處。

0 寫在前面

最近很多小伙伴來向我們咨詢軌跡預測相關的入門學習基礎，今天我們也為大家分享下軌跡預測的定義、輸出格式、常用的相關術語，常用的軌跡預測方法論，以及評測方式。所有的內容都為日常筆記輸出，建議收藏，有時間隨時可以學習！所有參考文獻，底部備有出處~

以上內容均出自《軌跡預測理論實戰(zhàn)&論文帶讀課程》，雙十一八折優(yōu)惠進行中！

1 問題描述

1.1 軌跡預測的輸入

1.1.1 道路場景（地圖）信息

道路位置、人行橫道位置、車道方向

1.1.2 周圍車輛信息

當前狀態(tài)、歷史軌跡

1.1.3 目標車輛信息

當前狀態(tài)、歷史軌跡：

1.2 軌跡預測的輸出

1.2.1 目標車輛未來軌跡及分布

目標車輛（1~N）的未來f個時刻的軌跡及軌跡分布：

1.2.2 輸出類型

單模態(tài)軌跡、多模態(tài)軌跡

1.3 相關術語

軌跡（trajectory）：一個物體或實體隨時間變化的運動。它表示對象經過的一系列位置或狀態(tài)。
機動（manoeuvre）：車輛或物體所執(zhí)行的特定動作或運動，如變道、轉彎、合并、加速、減速和停止。
自身車輛（Ego Vehicle，EV）：自動駕駛汽車本身。
目標車輛（Target Vehicle，TV）：期望得到預測軌跡的車輛。
周圍車輛（Surrounding Vehicle，SV）：TV周圍對其運動產生影響的車輛。
無關車輛（Non-Effective Vehicle，NV）：不會對TV運動產生影響的車輛。

2 傳統(tǒng)軌跡預測方法

2.1 基于物理的方法

2.1.1 物理模型

1）通常采用動力學（形式復雜）或運動學（形式簡單，更常用）模型來描述物理行為。
2）也可采用體現(xiàn)微觀交互的模型：跟車模型（例，智能駕駛員模型(IDM)）、換道模型-微觀交通建模常用
3）可為使用單一模型，也可使用交互多模型（IMM，用IMM-KF實現(xiàn)結合）-參考文獻16

2.1.2 干擾/不確定性處理

方式一：卡爾曼濾波器（KF），得到濾波處理后的一條軌跡-參考文獻39。
方式二：粒子濾波
方式三：蒙特卡洛（MC）模擬：得到未來軌跡分布-參考文獻40、41。

2.1.3 優(yōu)缺點分析

優(yōu)點：可解釋性強，性能穩(wěn)定；運動學計算簡單；
缺點：復雜的動力學模型計算量大；僅適合短時預測（<1 s）；不適合復雜場景，無法處理多個體間的交互。

2.2 基于采樣的方法：

生成可能的車輛狀態(tài)分布，兩種類型：生成多個軌跡段或粒子狀態(tài)
優(yōu)點：可抵御系統(tǒng)噪聲和不確定性
缺點：場景有限

2.3 概率模型

使用概率論來建模和估計未來軌跡的可能性，為預測的軌跡提供概率分布或置信度度量。

2.3.1 高斯混合模型（Gaussian Mixture Model，GMM）

將軌跡的分布表示為多個高斯分布的組合，參考文獻46~49、18、62（GMM-HMM）。
優(yōu)點：可處理多模態(tài)分布。
缺點：要大量的計算。

2.3.2 高斯過程（Gaussian Process，GP）

軌跡被認為是沿時間軸從GP中獲取的樣本，參考文獻50~54、63。
優(yōu)點：評估自身的不確定性，廣泛應用于與其他方法的結合。
缺點：基于假設，對新場景的適用性有限。

2.3.3 隱馬爾可夫模型（Hidden Markov Model，HMM）

觀測序列由交通參與者的前一狀態(tài)組成，基于這些過去的觀測值來估計最可能的未來觀測序列，參考文獻55、56、17、64、65。
優(yōu)點：能夠捕獲時間依賴性，處理缺失或噪聲數據，并考慮預測未來軌跡所涉及的不確定性。
缺點：過渡到未來狀態(tài)的概率僅取決于當前狀態(tài)。

2.3.4 動態(tài)貝葉斯網絡（Dynamic Bayesian Network，DBN）

通過結合時間序列并利用貝葉斯網絡框架，為軌跡預測提供了一種基于機動的方法，參考文獻57~61、19。
優(yōu)點：考慮了交通參與者之間的相互作用，從而提高了傳統(tǒng)基于機器學習的方法的性能。
缺點：區(qū)分有限的機動，泛化能力差。
注：在其他綜述劃分為基于學習的預測方法。

3 基于深度學習的預測方法

3.1 時序網絡：

3.1.1 遞歸神經網絡（Recurrent Neural Network, RNN）

參考文獻20、97、66
缺陷：當處理大量的時間步長時，RNN的梯度可能會減弱或爆炸
進化一：長短期記憶網絡（ Long Short-Term Memory Network，LSTM），近年流行，參考21-22、66-73、92、98-101、103-104、168-171（結合其他網絡的文獻未全部列出）
進化二：門控循環(huán)單元（ Gated Recurrent Unit，GRU），參考74、82、154
形式：單個RNN、多個RNN（處理不同環(huán)節(jié)或不同特征）
優(yōu)點：處理時間依賴性效果較好
缺點：在模擬空間關系（如車輛交互）和處理類圖像數據（如駕駛場景的背景）方面存在局限性；受到梯度消失或爆炸和順序計算的限制

3.1.2 時間卷積網絡（Temporal Convolutional Neural Network，TCN）-使用較少

參考77-81、105-108
優(yōu)點：擅長捕捉短期和長期動態(tài)，執(zhí)行高效的并行計算，并具有可解釋的感受野 缺點：在表示空間關系和長期記憶方面存在局限

3.1.3 注意力機制（Attention Mechanism，AM）

參考：82-96、119-122
常用于預測網絡中的一個環(huán)節(jié)：特征提取
優(yōu)點：提高了模型關注相關信息、處理可變長度序列、提供可解釋性以及增強對噪聲的魯棒性的能力
缺點：帶來了與計算代價、模型復雜度、注意力偏差和數據依賴性相關的潛在缺陷

3.1.4 Transformer

基于注意力機制，參考24、109-118、123-127
優(yōu)點：捕捉復雜的依賴關系和相互作用，提供了可擴展性、遷移學習能力以及處理多個智能體的能力
缺點：需要大量的計算資源，并可能在可解釋性和數據效率方面存在挑戰(zhàn)

3.2 基于視覺的模型

兩種視角：鳥瞰(Bird-Eye-View, BEV)視角、ego-vehicle/camera視角

3.2.1 卷積神經網絡(Convolutional Neural Network，CNN)

大多采用BEV作為輸入，通過將軌跡序列視為結構化網格輸入來適應軌跡預測，參考129-135、144-149
優(yōu)點：在捕捉空間模式和識別軌跡數據中的空間關系方面提供了優(yōu)勢；在參數共享方面是高效的，可以處理更大的數據集；
缺點：可能會在建模時間依賴性和處理可變長度序列方面遇到困難

3.2.2 圖神經網絡（Graph Neural Network，GNN）

參考157-158

3.2.2.1 圖卷積神經網絡（Graph Convolutional Network，GCN）

將卷積操作從傳統(tǒng)的圖像數據處理擴展到圖數據處理，其關鍵思想是創(chuàng)建一個映射函數，可以從網絡中的節(jié)點特征及其鄰近節(jié)點中提取交互感知特征。
參考136-143、159-160
優(yōu)點：有效地捕獲上下文信息，并處理不規(guī)則的圖結構
缺點：在可擴展性、圖構建和時間依賴性建模方面需慎重

3.2.2.2 圖注意力網絡（Graph Attention Network，GAT）

采用注意機制代替靜態(tài)歸一化卷積過程
參考150-156、166
優(yōu)點：能夠關注圖中的相關節(jié)點（如車輛、行人），分配不同的權重來捕捉每個節(jié)點特征的重要性，以預測特定對象的軌跡
缺點：性能在很大程度上取決于圖結構的質量和表示

3.2.2.3 其他圖神經網絡

CNN/GNN/GCN的擴展
TNT-文獻163
DenseTNT-文獻164

3.2.3 CNN和RNN的結合

RNN類處理時間信息、CNN類處理空間信息
參考21-22、168-171、178

3.2.4生成模型（Generative Model）

3.2.4.1 生成對抗網絡（ Generative Adversarial Network，GAN）

生成器將歷史軌跡數據作為輸入并生成未來軌跡，而判別器則對生成的軌跡進行真實感評估。生成器經過訓練，通過欺騙鑒別器，使其相信生成的軌跡是真實的，從而提高生成軌跡的真實性。
參考172-177、185-186

3.2.4.2 變分自動編碼器（Variational Auto Encoder，VAE）

自動編碼器(AE)使用編碼器壓縮數據，并使用解碼器對其進行解碼，以產生重構輸出。變分自編碼器(VAE)具有跨越整個空間的生成能力，并且它解決了自編碼器中非正則化潛在空間的問題。VAE的目標是將重構損失和相似損失均最小化 參考179-184

4 基于強化學習的方法

4.1 逆強化學習（Inverse Reinforcement Learning，IRL）

主要思想是學習解釋智能體的觀察服務行為的獎勵函數，通過推斷獎勵函數來學習最優(yōu)駕駛策略
參考187-188、190-196、201、206

優(yōu)點：IRL有潛力提供更深入的見解和更靈活的軌跡預測
缺點：最優(yōu)策略可能是模糊的；難以在獎勵很少或沒有直接獎勵函數的情況下進行訓練；在實際應用中應仔細考慮對專家經驗的需求以及與其質量和計算復雜性相關的挑戰(zhàn)

4.2 深度逆強化學習（Deep Inverse Reinforcement Learning，Deep IRL）

利用深度神經網絡從專家演示中學習獎勵函數，參考189、197-198、200、207-208
優(yōu)點：深度IRL提供了更強大和自適應的軌跡預測模型的潛力
缺點：需要仔細解決與數據需求、計算復雜性、可解釋性和過擬合相關的挑戰(zhàn)

4.3 模仿學習(Imitation Learning，IL)

目的是在不需要成本函數的情況下，根據專家的觀察快速確定決策
參考209、215
常見形式：生成對抗模仿學習(Generative Adversarial Imitation Learning，GAIL)，參考211、199、202、214

優(yōu)點：可模擬人類駕駛行為和生成逼真預測
缺點：依賴于專家經驗

5 訓練與評估

5.1 數據集

5.1.1 NGSIM-參考文獻223

NGSIM（Next Generation Simulation）數據集是美國FHWA搜集的美國高速公路行車數據，它包括了US101、I-80等道路上的所有車輛在一個時間段的車輛行駛狀況。數據是采用攝像頭獲取，然后加工成一條一條的軌跡點記錄。網址：Next Generation Simulation (NGSIM) Vehicle Trajectories and Supporting Data | Department of Transportation - Data Portal

5.1.2 highD-參考文獻221

由德國亞琛工業(yè)大學汽車工程研究所發(fā)布的HighD數據集，是德國高速公路的大型自然車輛軌跡數據，搜集自德國科隆附近的六個不同地點， 位置因車道數量和速度限制而異，記錄的數據中包括轎車和卡車。數據集包括來自六個地點的11.5小時測量值和110000車輛，所測量的車輛總行駛里程為45000 km，還包括了5600條完整的變道記錄。通過使用最先進的計算機視覺算法，定位誤差通常小于十厘米。適用于駕駛員模型參數化、自動駕駛、交通模式分析等任務。
網址：https://levelxdata.com/highd-dataset/

5.1.3 KITTI-參考文獻222

KITTI數據集由德國卡爾斯魯厄理工學院和豐田美國技術研究院聯(lián)合創(chuàng)辦，是目前國際上最大的自動駕駛場景下的計算機視覺算法評測數據集。該數據集用于評測立體圖像(stereo)，光流(optical flow)，視覺測距(visual odometry)，3D物體檢測(object detection)和3D跟蹤(tracking)等計算機視覺技術在車載環(huán)境下的性能。KITTI包含市區(qū)、鄉(xiāng)村和高速公路等場景采集的真實圖像數據，每張圖像中最多達15輛車和30個行人，還有各種程度的遮擋與截斷。3D目標檢測數據集由7481個訓練圖像和7518個測試圖像以及相應的點云數據組成，包括總共80256個標記對象。
網址：https://www.cvlibs.net/datasets/kitti/raw_data.php

5.1.4 Lyft-參考文獻217

Lyft L5 自動駕駛數據集是由 Lyft 公司提供的 L5 級別自動駕駛數據集，目前僅提供訓練集的下載。該數據集包含高質量語義地圖，提供對目標的存在和移動的檢測。該數據集提供超過 4000 條道路、197 條人行橫道、60 個 stop sign 和 54 個停車區(qū)域等地圖信息。此數據集格式為 nuScenes，數據通過兩類不同版本的汽車進行采摘，兩類實驗車均搭載 7 個攝像頭和 3 個 LiDARS，但攝像頭型號和 LiDARS 種類不同。該數據集應用前景廣泛，對于未來的自動化駕駛有推動作用。
網址：https://www.payititi.com/opendatasets/show-1257.html

5.1.5 Waymo-參考文獻218

Waymo 開放數據集由 Waymo 自動駕駛汽車在各種條件下收集的高分辨率傳感器數據組成，它與 KITTI、NuScenes 等數據集的對比數據如下，在傳感器配置、數據集大小上都有很大的提升。Waymo 數據集的傳感器包含 5 個激光雷達、5 個攝像頭，激光雷達和攝像頭的同步效果也更好。更重要的是，Waymo 數據集包含 3000 段駕駛記錄，時長共 16.7 小時，平均每段長度約為 20 秒。整個數據集一共包含 60 萬幀，共有大約 2500 萬 3D 邊界框、2200 萬 2D 邊界框。此外，在數據集多樣性上，Waymo Open Dataset 也有很大的提升，該數據集涵蓋不同的天氣條件，白天、夜晚不同的時間段，市中心、郊區(qū)不同地點，行人、自行車等不同道路對象，等等。
網址：https://tensorflow.google.cn/datasets/catalog/waymo_open_dataset

5.1.6 nuScenes-參考文獻216

nuScenes數據的采集來自不同城市的1000個場景中，采集車上配備了完善的傳感器，包括6個相機（CAM）、1個激光雷達（LIDAR）、5個毫米波雷達（RADAR）、IMU和GPS。
網址：https://www.nuscenes.org/nuscenes

5.1.7 Argoverse-參考文獻219

包括 324,557 個場景的軌跡數據，每個場景長5秒，用于訓練和驗證。每個場景都包含以10 Hz采樣的每個跟蹤對象的2D鳥瞰圖質心。數據來源于自動駕駛測試車輛車隊中篩選的1000多小時的駕駛數據，以找到最具挑戰(zhàn)性的路段，包括顯示十字路口車輛、左轉或右轉車輛以及變道車輛的路段。
網址：https://www.argoverse.org/

5.1.8 ApolloScape-參考文獻159

百度公司提供的ApolloScape數據集，包括具有高分辨率圖像和每像素標注的RGB視頻，具有語義分割的測量級密集3D點，立體視頻和全景圖像。其中Scene Parsing數據集是ApolloScape的一部分，它為高級自動駕駛研究提供了一套工具和數據集。場景解析旨在為圖像中的每個像素或點云中的每個點分配類別（語義）標簽。它是2D / 3D場景最全面的分析之一。
網址：https://apolloscape.auto/#

5.2 常用評估指標

5.2.1 平均絕對誤差（Mean Absolute Error，MAE）

5.2.2 均方根誤差（Root Mean Square Error，RMSE）

5.2.3 平均位移誤差（Average Displacement Error，ADE）

5.2.4 最終位移誤差（Final Displacement Error，F(xiàn)DE）

5.2.5 最小平均位移誤差（minADE）

5.2.6 最小最終位移誤差（minFDE）

5.2.7 負對數似然（Negative Log Likelihood，NLL）

5.2.8 平均位移誤差加權和（WSADE）

5.2.9 最終位移誤差加權和（WSFDE）

5.3 方法對比

深度學習方法 vs. 強化學習方法
1）均可用于長時預測；
2）可解釋性普遍較差；
3）高度依賴于數據；
4）復雜度高，計算成本高；
5）目前基于深度學習的方法預測精度可達到最高。

6 研究挑戰(zhàn)與未來方向

6.1 挑戰(zhàn)

1)不確定性：交通參與者未來的軌跡本質上是不確定的，不可能以100%的準確率預測它。傳感器測量中的噪聲、不可預測的環(huán)境變化以及其他交通參與者的未知意圖等各種因素都可能導致這種不確定性。

2)復雜動力學:交通參與者的運動可能會受到各種物理定律的影響，包括重力、摩擦力和氣動力。這些動力學可以是高度復雜和非線性的，使其難以精確建模。

3)有限的傳感器覆蓋范圍:自動駕駛車輛依賴一套傳感器，包括攝像頭、激光雷達和雷達，來感知其環(huán)境。然而，這些傳感器的覆蓋范圍是有限的，并且可能會受到遮擋、天氣條件和其他因素的影響，這些因素可能會使其難以準確跟蹤其他交通代理的運動。

4)數據有限:在某些情況下，可用于軌跡預測的數據可能有限或不完整。當傳感器出現(xiàn)故障，或者歷史數據缺失或損壞時，可能會發(fā)生這種情況。

5)長期預測:在很長一段時間內(不少于3秒)預測軌跡可能是具有挑戰(zhàn)性的，因為初始預測中的小錯誤可能會復合并導致與真實軌跡的重大偏差。

6)復雜的道路環(huán)境:自動駕駛車輛在復雜和動態(tài)的道路環(huán)境中運行，其中可以包括十字路口、環(huán)島和擁擠的城市地區(qū)。在這些環(huán)境中預測軌跡需要能夠處理多個交通參與者(包括其他車輛、行人和騎自行車的人)之間復雜交互的模型。

7)多模態(tài)輸出:在自動駕駛中，智能體的行為表現(xiàn)出多模態(tài)，其中一個單一的過去軌跡可以具有多個潛在的未來軌跡。

8)稀疏和嘈雜的數據:來自傳感器的數據可能是稀疏和嘈雜的，特別是在建筑物和其他結構可能阻礙傳感器與被跟蹤對象之間的視線。這可能會使得很難準確地模擬其他交通代理隨時間的運動。

9)多智能體交互:在許多現(xiàn)實世界的場景中，多個智能體彼此交互，它們的軌跡是相互依賴的。預測一個智能體的軌跡可能依賴于其他智能體的行為

10)異質環(huán)境:異質環(huán)境是指包含多種元素的環(huán)境，如各種類型的車輛、行人、騎自行車者、不同的道路類型以及它們之間復雜的相互作用。為了有效地預測此類環(huán)境中的軌跡，預測模型需要考慮不同類型的智能體，納入上下文信息，融合傳感器數據，對多個智能體之間的交互進行建模，估計不確定性，并實現(xiàn)適應性。
11)安全關鍵應用:自動駕駛汽車是安全關鍵系統(tǒng)，軌跡預測中的錯誤可能會產生嚴重的后果，包括事故和傷害。因此，軌跡預測算法需要高度準確和可靠，并具有明確的安全邊際。
12)實時約束:自動駕駛汽車在實時環(huán)境中運行，軌跡預測算法需要能夠實時處理數據并生成預測。這需要高效的算法和硬件架構，能夠處理傳感器產生的大量數據。

6.2 未來方向

1)結合上下文和意圖:當前軌跡預測方法的一個局限性是，它們往往只關注其他車輛的運動，而沒有考慮到該運動背后的背景或意圖。未來的研究可以探索如何結合道路布局、交通規(guī)則等上下文信息，以及其他駕駛員的意圖，以提高軌跡預測精度。

2)集成多個傳感器:自動駕駛車輛依賴一套傳感器來感知其環(huán)境，未來的研究可以探索如何集成來自多個傳感器的數據以提高軌跡預測精度。這可能涉及開發(fā)用于融合攝像機、激光雷達、雷達和其他傳感器數據的新算法，以及探索聲學或熱傳感器等新的傳感器模態(tài)。

3)不確定性建模:軌跡預測具有內在的不確定性，未來的研究可以探索如何通過預測軌跡對不確定性進行建模和傳播。這可能涉及開發(fā)新的概率模型，如貝葉斯神經網絡，或探索不確定性量化和傳播的新技術。

4)人類感知的軌跡預測:自動駕駛車輛運行的環(huán)境不僅包括其他車輛也包括行人和騎自行車的人。未來的研究可以探索如何開發(fā)能夠感知人類行為的軌跡預測方法，并能夠在擁擠的城市環(huán)境中準確預測行人和騎自行車的人的運動。

5)實時實現(xiàn)&硬件加速:自動駕駛車輛在實時環(huán)境中運行，軌跡預測算法需要能夠實時處理數據并生成預測。未來的研究可以探索如何優(yōu)化軌跡預測算法以獲得實時性能，以及開發(fā)新的硬件架構以實現(xiàn)高效計算。

6)確保安全性和魯棒性:在自動駕駛系統(tǒng)中，安全性至關重要。未來的研究應致力于開發(fā)優(yōu)先考慮安全性和魯棒性的軌跡預測方法。這包括調查處理罕見或異常事件的技術，提高具有挑戰(zhàn)性的天氣條件下的預測精度，并考慮軌跡預測算法中的倫理方面。

7)相對軌跡預測:相對軌跡預測是指預測周圍物體或智能體相對于自我車輛或坐標系的未來運動或路徑的任務。未來的研究應側重于估計其他車輛、行人和騎自行車者相對于自身車輛的相對位移、速度和軌跡。

8)隨機障礙物感知軌跡預測:這種方法是指在考慮周圍環(huán)境中存在意外或隨機障礙物的同時預測車輛的未來軌跡。這些障礙可以是道路之間的動物或物體，行人的突然到來，以及導致道路之間出現(xiàn)不確定障礙的道路事故。未來的研究應該集中在將罕見事件納入預測模型中，并收集和分析與這些罕見事件相關的數據，以開發(fā)更全面、更魯棒的預測模型。

9)具有挑戰(zhàn)性的天氣條件:惡劣的天氣條件，如大雨、雪、霧或能見度低，會影響傳感器的性能，限制用于軌跡預測的關鍵數據的可用性。未來的研究重點應涉及結合傳感器融合、自適應濾波、概率建模和機器學習等技術，以提高惡劣天氣條件下軌跡預測的可靠性和準確性。

10)車對車(V2V)通信和車對一切(V2X)通信策略: V2V通信是指車輛之間直接交換信息。V2X通信擴展到V2V之外，包括與基礎設施、行人、騎自行車者和交通管理系統(tǒng)等其他實體的通信。通過共享位置、速度、加速度和意圖等實時數據，車輛可以相互協(xié)作和配合，以提升軌跡預測性能。
11)幾種方法的結合:根據具體的背景和要求，結合可以采取不同的形式，這可以導致更準確和魯棒的軌跡預測。