本文經(jīng)自動(dòng)駕駛之心公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

Rethinking Integration of Prediction and Planning in Deep Learning-Based Automated Driving Systems: A Review

原文鏈接：https://arxiv.org/pdf/2308.05731.pdf

聲明：本文僅用于學(xué)習(xí)，建議大家閱讀論文原文以獲取更多細(xì)節(jié)信息。全文中文概要內(nèi)容如下：

摘要

模塊化自動(dòng)駕駛系統(tǒng)通常將預(yù)測(cè)和規(guī)劃作為獨(dú)立任務(wù)序列來(lái)處理。雖然這解釋了周圍交通對(duì)本車的影響，但它無(wú)法預(yù)測(cè)交通參與者對(duì)本車行為的響應(yīng)。最近的研究表明，在一個(gè)相互依賴的聯(lián)合步驟中整合預(yù)測(cè)和規(guī)劃對(duì)實(shí)現(xiàn)安全、高效、舒適的駕駛是必要的。各種模型實(shí)現(xiàn)這樣的集成系統(tǒng)時(shí)，缺乏一個(gè)全面的概述和理論理解，我們系統(tǒng)的回顧了基于深度學(xué)習(xí)的預(yù)測(cè)、規(guī)劃以及預(yù)測(cè)和規(guī)劃融合的算法模型，從模型結(jié)構(gòu)和設(shè)計(jì)到行為等各方面因素和關(guān)聯(lián)性。此外，我們還討論了不同集成方法的含義、優(yōu)勢(shì)和局限性。通過指出研究差異，描述相關(guān)未來(lái)挑戰(zhàn)，重點(diǎn)關(guān)注研究領(lǐng)域的趨勢(shì)，我們確定了未來(lái)有希望的研究方向。

關(guān)鍵字：自動(dòng)駕駛，運(yùn)動(dòng)預(yù)測(cè)，運(yùn)動(dòng)規(guī)劃，深度學(xué)習(xí)

1 前言

自動(dòng)駕駛(AD)通常分為感知，預(yù)測(cè)，規(guī)劃和控制子任務(wù)，以確保乘坐安全，高效，以及舒適度。傳統(tǒng)的、模塊化的系統(tǒng)(參見圖1)將預(yù)測(cè)和規(guī)劃作為單獨(dú)的任務(wù)，然而這種順序存在相干反應(yīng)并且不能表征本車和周圍交通參與者在交通場(chǎng)景下的連續(xù)相互影響，因此預(yù)測(cè)和規(guī)劃不應(yīng)當(dāng)作獨(dú)立的順序執(zhí)行問題而對(duì)待。理想情況下，所有相關(guān)車輛都要注意彼此的情況選擇未來(lái)的運(yùn)動(dòng)，在任何時(shí)候允許復(fù)雜的交互。這種聯(lián)合建模可以反映交通參與者如何持續(xù)地對(duì)彼此的行為做出反應(yīng)，以及他們?nèi)绾蝿?chuàng)建相互的“假設(shè)場(chǎng)景”來(lái)實(shí)現(xiàn)類似人類的，安全、舒適駕駛。我們稱這種方法為融合預(yù)測(cè)與規(guī)劃(IPP)。

1.1 研究范圍

本文中，我們將回顧預(yù)測(cè)和規(guī)劃如何融合集成到同一個(gè)模塊?；谏疃葘W(xué)習(xí)的方案利用數(shù)據(jù)可以在高緯度空間找到更合適的解決方法，而且近期以及在一些領(lǐng)域有了重大進(jìn)展。本文我們主要集中在基于深度學(xué)習(xí)的方法。我們的工作集中于交通參與者之間直接或間接的交互場(chǎng)景，此外，我們排除了行人運(yùn)動(dòng)預(yù)測(cè)，與車輛相比，行人是更弱的動(dòng)態(tài)約束條件并且也已經(jīng)被充分的綜述研究過。

1.2 本文組織結(jié)構(gòu)

在研究融合預(yù)測(cè)和規(guī)劃之前，本文首先分別回顧了基于深度學(xué)習(xí)的預(yù)測(cè)和規(guī)劃任務(wù)。文章結(jié)構(gòu)如下：

• 我們首先回顧了基于深度學(xué)習(xí)的預(yù)測(cè)、規(guī)劃和IPP方案的SOTA方法和基準(zhǔn)。
• 我們提出了一種融合預(yù)測(cè)和規(guī)劃的分類方法，從模型結(jié)構(gòu)和系統(tǒng)設(shè)計(jì)到行為等方面進(jìn)行分類。
• 我們調(diào)研和分析了這些類別在安全性和魯棒性方面的關(guān)聯(lián)和影響。
• 我們研究了這些SOTA研究之間的差異并指出了未來(lái)更有希望的方法和方向。

2 自動(dòng)駕駛系統(tǒng)

本章主要介紹必要的術(shù)語(yǔ)和簡(jiǎn)潔定義預(yù)測(cè)和規(guī)劃。

2.1 結(jié)構(gòu)

模塊化子系統(tǒng)如圖1a所示，人為的設(shè)計(jì)各個(gè)模塊之間的接口，增加了可解釋性，如果所有接口都是可微分的，模塊化方法也是可以端到端訓(xùn)練的。

端到端方案使用單一神經(jīng)網(wǎng)絡(luò)模型，這種方法不會(huì)在模塊接口間損失信息，缺點(diǎn)是缺少可解釋性并且會(huì)引起低樣本效率。

可解釋的端到端方案緩解以上兩種方案缺點(diǎn)，這些模型會(huì)增加輔助任務(wù)，并且這些任務(wù)不傳播到下一層，而是直接用中間的隱藏層進(jìn)行連接。

2.2 任務(wù)定義

這一節(jié)主要是一些字符說明和表達(dá)式說明，在此不再展示，大家直接看原論文即可，后續(xù)使用的字符會(huì)在使用時(shí)進(jìn)行簡(jiǎn)要說明。

3 預(yù)測(cè)

自動(dòng)駕駛中，預(yù)測(cè)是理解駕駛場(chǎng)景如何發(fā)展并對(duì)后續(xù)規(guī)劃模塊有何影響。3.1討論了不同場(chǎng)景下個(gè)體與全局的交互表示，3.2秒回顧了哪些神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)用于交互建模并提取描述性特征。第3.3節(jié)將說明如何實(shí)現(xiàn)將提取的特征映射到軌跡預(yù)測(cè)中以及多模態(tài)是如何建模的

3.1 場(chǎng)景表示

表示一個(gè)場(chǎng)景意味著提取相關(guān)子集所有可用的信息，并將其轉(zhuǎn)換成一種格式后續(xù)處理步驟可以利用的。在自動(dòng)駕駛車輛軌跡預(yù)測(cè)上下文中，交通參與者狀態(tài)X（有上橫杠）和地圖I都是非常重要的信息表示，在基于深度學(xué)習(xí)方法中，有兩個(gè)重要的表示方法：柵格化和稀疏表示，如圖2所示。

柵格化使用稠密的固定像素的網(wǎng)格結(jié)構(gòu)進(jìn)行表示，往往有多個(gè)通道。詳見參考文獻(xiàn)[54]-[61]。DESIRE [8]是柵格化的早期方法，為了融合本車的多傳感器輸入信息，使用BEV地圖。BEV映射允許結(jié)合不同的傳感方式，建立一個(gè)所有車輛的通用坐標(biāo)系統(tǒng)。

稀疏表示，AD決策取決于幾個(gè)關(guān)鍵對(duì)象而不是所有可用的場(chǎng)景信息[76]。因此，稀疏表示的思想是去除冗余和來(lái)自場(chǎng)景表示的不相關(guān)信息。圖是用于預(yù)測(cè)的最常用稀疏表示，也被歸類到矢量和折線表示。在交通圖中，節(jié)點(diǎn)表示編碼對(duì)象并且邊緣模擬了它們之間的關(guān)系[63]。隱藏的節(jié)點(diǎn)特征包含了對(duì)象種類和向下文信息。

一些方法結(jié)合柵格化和稀疏表示[39]，[95]通過對(duì)場(chǎng)景的不同方面進(jìn)行編碼表示。此外，一些作品使用體素表示它們的稀疏度不同[96]，[97]。MultiPath[59]和MultiPath++[37]非常適合比較，因?yàn)樗鼈兪窍嗨频哪Ｐ?，其主要區(qū)別是參考在于輸入表示。他們的結(jié)果顯示從柵格化到稀疏化可以提高性能。該領(lǐng)域的整體發(fā)展證實(shí)了這一點(diǎn)趨勢(shì)，如圖3所示。時(shí)間軸按時(shí)間順序排列從理論上描述了有效的預(yù)測(cè)方法，并展示了在過去的幾年中轉(zhuǎn)向稀疏表示。

坐標(biāo)系，具有固定視角的全局坐標(biāo)系統(tǒng)對(duì)于整個(gè)場(chǎng)景[6]，[44]，[98]，[99]而言都是非常高效的。

從表示角度分析，不同的深度學(xué)習(xí)方案有不同的處理方式，網(wǎng)格化表示適用于CNN類別模型，稀疏化表示適合GNN類模型、注意力機(jī)制以及transformer。

3.2 交互建模

交通場(chǎng)景中，個(gè)體之間的交互建模是預(yù)測(cè)的關(guān)鍵環(huán)節(jié)，與其他交通要個(gè)體的交互避免了碰撞以及使得車流更加順滑，進(jìn)一步約束可行駛區(qū)域。

RNNs，一些早期的預(yù)測(cè)模型，如DESIRE[8]或[39]將rnn與如pooling或者注意力等聚合算子結(jié)合起來(lái)。

CNNs，這一類使用2D卷積隱含的獲取kernel之間的聯(lián)系，與基于序列處理的方法相比，重要性更多的分配給空間交互。

GNNs和注意力機(jī)制，通過圖卷積算子或者軟注意力機(jī)制聚合多中個(gè)體之間的信息來(lái)表述單個(gè)體之間的交互。

Transformers，在過去幾年對(duì)預(yù)測(cè)有很大影響。因?yàn)楦欆囕v位置式最時(shí)間變化的，預(yù)測(cè)任務(wù)的輸入包括空間和時(shí)間信息，交互建模要求理解車輛的空間交互額和時(shí)序動(dòng)態(tài)。尤其是Transformers結(jié)構(gòu)出現(xiàn)以來(lái)，很容易實(shí)現(xiàn)通過設(shè)計(jì)來(lái)決定如何處理空間和時(shí)間?？臻g和時(shí)間數(shù)據(jù)可以存儲(chǔ)在不同的維度輸入張量中，然后在單個(gè)維度內(nèi)或跨不同維度執(zhí)行注意力機(jī)制。

圖3中揭示場(chǎng)景表示下不同的交互模型的演進(jìn)，CNN模型和RNN模型在網(wǎng)格場(chǎng)景表示早期工作中比較常見，GNN模型，注意力機(jī)制和transformer模型在稀疏化表示中應(yīng)用更多。

3.3 軌跡解碼

預(yù)測(cè)的最后一步是生成軌跡。在基于深度學(xué)習(xí)的方法中，通過對(duì)捕捉到的潛在特征解碼實(shí)現(xiàn)。我們聚焦于軌跡解碼的兩個(gè)方面：解碼規(guī)則和多模態(tài)建模。

解碼規(guī)則，分為三類one-shot, two-shot, and n-shot，如圖4所示。直接預(yù)測(cè)未來(lái)軌跡點(diǎn)更為常見。

one-shot方法又分為軌跡回歸解碼和錨點(diǎn)軌跡分類。軌跡回歸直接使用神經(jīng)網(wǎng)絡(luò)將隱藏層特征解碼為軌跡，典型的是MLP。尤其是基于transformer的結(jié)構(gòu)直接進(jìn)行軌跡回歸，如圖3所示。錨點(diǎn)軌跡分類通過預(yù)先設(shè)定的錨點(diǎn)軌跡作為先驗(yàn)知識(shí)進(jìn)行分類。確定錨定軌跡可以確保該預(yù)測(cè)的可行性和允許施加更強(qiáng)的運(yùn)動(dòng)學(xué)約束。然而，罕見的軌跡可能不包括在錨點(diǎn)中，該方法缺乏靈活性。

two-shot方法包括端點(diǎn)和初始軌跡和改進(jìn)策略的完整方法，n-shot要么是初始軌跡法，要么是自回歸規(guī)劃。

多模態(tài)，觀察到的SV的意圖是未知的，未來(lái)的行為本質(zhì)上是不確定和多樣式?？梢詤^(qū)分為兩種技術(shù)，Ppred可以用離散軌跡集來(lái)估計(jì)或用連續(xù)分布表示。離散軌跡可以從中間描述抽樣或者模型設(shè)計(jì)時(shí)獲取。連續(xù)分布。不同于離散軌跡集，它可以有利于直接使用連續(xù)分布作為代價(jià)函數(shù)用于規(guī)劃。

3.4 基線

測(cè)試基線比較簡(jiǎn)單易懂，許多數(shù)據(jù)集用于訓(xùn)練和測(cè)試。通過對(duì)比SV的預(yù)測(cè)軌跡和測(cè)試集中每個(gè)時(shí)刻的真實(shí)軌跡來(lái)進(jìn)行評(píng)估。對(duì)于解釋多模態(tài)，SV對(duì)象的不確定意圖，評(píng)估基線采用贏家通吃的評(píng)估策略，即模型預(yù)測(cè)幾個(gè)固定的軌跡輸出比如6個(gè)或10個(gè)，然后評(píng)估最好的一個(gè)，包括可選的概率。

4 規(guī)劃

規(guī)劃任務(wù)是為本車找到一個(gè)具有安全性、舒適性、運(yùn)動(dòng)可行性的軌跡YEV，并且是基于觀察值X EV和X SV以及額外的上下文I和可選的YSV（Y有橫杠）。在這一章，在4.1和4.2節(jié)全面的回顧輸入和輸出表示，X EV , X SV , and I 。在4.4接對(duì)現(xiàn)有工作進(jìn)行分類和討論現(xiàn)有常用范式之前，4.3節(jié)闡述目標(biāo)狀態(tài)，最后我們介紹了現(xiàn)存的benchmarks。

4.1 輸入表述

我們將輸入表述分為科技史的中間描述和隱藏層特征?？山忉尩闹虚g表示通常是用于模塊化ads(參見第2.1節(jié))。而隱藏層特征，對(duì)于直接映射傳感器的E2E 自動(dòng)駕駛(參見圖1)[9]、[126]、[181]，PS輸入X EV, X SV和I由潛在特征表示。使用學(xué)習(xí)隱藏層中間表征的好處是，不需要人工的設(shè)計(jì)不同模塊之間的接口。隱藏層特征表示的主要缺點(diǎn)是缺乏可解釋性。如果失敗，評(píng)估系統(tǒng)哪個(gè)部分造成的誤差是極端的困難。這使得純E2E系統(tǒng)的調(diào)優(yōu)和調(diào)試成為可能條款特別難?？山忉尩亩说蕉讼到y(tǒng)尋求通過產(chǎn)生額外的中間體來(lái)彌補(bǔ)這一點(diǎn)表示[70]。與模塊化技術(shù)棧相反，這些方法不使用可解釋的中間輸出。它們只用于額外的監(jiān)督模型自省。圖3的時(shí)間線顯示，與隱藏層輸入特征相比，可解釋的輸入表示變得越來(lái)越流行。

4.2 輸出表述

規(guī)劃模塊的輸出表述是一系列未來(lái)的狀態(tài)或者控制動(dòng)作。未來(lái)狀態(tài)包括2D位置和規(guī)劃的軌跡航向，這些信息傳遞給下游控制器。軌跡表示有很好的可解釋性。此外，它與當(dāng)前和預(yù)測(cè)的占用特征和BEVmap等都在同一個(gè)笛卡爾空間內(nèi)，可以很方便的用于檢測(cè)碰撞、交通法規(guī)等問題。不過，實(shí)際的駕駛性能還取決于下游控制器。未來(lái)控制動(dòng)作是規(guī)劃的另一種輸出表示，E2E自動(dòng)駕駛多采用這種方式。這該方法可提高運(yùn)動(dòng)的可行性和舒適性，因?yàn)樗苯雨P(guān)系到行動(dòng)的大小。但是，產(chǎn)生的行為取決于被控制的對(duì)象車輛個(gè)體動(dòng)力學(xué)模型[34]，[183]。因此，泛化到其他車輛的能力非常受限。圖3描述了端到端自動(dòng)駕駛的規(guī)劃演進(jìn)過程，近年來(lái)軌跡輸出越來(lái)越流行。

4.3 目標(biāo)調(diào)整

自動(dòng)駕駛的目標(biāo)是安全行駛到目的地，因此，目標(biāo)導(dǎo)向是決定了規(guī)劃算法適應(yīng)性的主要因素。導(dǎo)航系統(tǒng)的車道級(jí)別的路線信息可以輸入給規(guī)劃器，通過地圖的車道信息，得到一組稀疏的目標(biāo)信息，沿著這組信息，每一步都有最近的位置信息提供給規(guī)劃器，相對(duì)信息可以方便的從GPS導(dǎo)航系統(tǒng)獲取。對(duì)目標(biāo)信息如何送入規(guī)劃算法，我們主要定義了四個(gè)類別：input features, separate submodules, routing cost, and route attention。

input features簡(jiǎn)單直接的合并目標(biāo)信息并且已經(jīng)被廣泛使用，存在不同的實(shí)現(xiàn)方法。如果地圖信息被標(biāo)記為on-route或off-route，這一信息可以在柵格地圖中作為分離的語(yǔ)義信息。

Separate submodules僅用于高級(jí)別命令，作為特定命令之間的子模塊。

Hand-crafted routing cost，通過人工制定的規(guī)則重新優(yōu)化規(guī)劃軌跡。

Route attention，強(qiáng)制規(guī)劃模型集中于預(yù)設(shè)的路線，

圖3顯示早期的模型并未通過目標(biāo)而訓(xùn)練規(guī)劃模塊，后來(lái)，子模塊和輸入特征站主導(dǎo)地位，近期的模型引入了規(guī)則注意力。

4.4 規(guī)劃算法

回顧公式5，我們將規(guī)劃定義為一個(gè)從觀測(cè)輸入X EV , X SV , and I到估計(jì)Y EV的一個(gè)函數(shù)f，接下來(lái)，我們聚焦規(guī)劃函數(shù)f。根據(jù)預(yù)期生成器，我們將規(guī)劃認(rèn)為區(qū)分為三種范式：損失函數(shù)優(yōu)化，退化和混合規(guī)劃。

4.5 測(cè)試基準(zhǔn)

規(guī)劃的評(píng)估方法包括開環(huán)評(píng)估和閉環(huán)仿真，開環(huán)仿真與預(yù)測(cè)任務(wù)相似，將控制器的輸出與專家規(guī)劃進(jìn)行對(duì)比，然而近年來(lái)的研究表明開環(huán)評(píng)估與實(shí)際的駕駛表現(xiàn)性能關(guān)聯(lián)性不大。閉環(huán)仿真是用規(guī)劃器控制本車，更接近真實(shí)世界。Carla 或 nuPlan兩個(gè)數(shù)據(jù)集都是基于SV的駕駛模式。

5 預(yù)測(cè)和規(guī)劃融合方案

接下來(lái)著重關(guān)注PS中哪些設(shè)計(jì)決策在行為交互場(chǎng)景中有影響。尤其是探討PS如何考慮SV（Surrounding Vehicle）的預(yù)期行為因素。尤其是分析PS在SV的將來(lái)非預(yù)期行為下的規(guī)劃，分析SV對(duì)EV的影響。圖6描述了不同方式下，預(yù)測(cè)和規(guī)劃組件如何構(gòu)建PS。接下來(lái)，我們從當(dāng)前工作的分類開始介紹（5.1），接下來(lái)討論模塊融合系統(tǒng)中設(shè)計(jì)選擇產(chǎn)生的交互行為的意義（5.2），5.3節(jié)討論了模塊化融合系統(tǒng)中安全和應(yīng)急概念。5.4討論了這些分類的可能組合，如圖5所示。

5.1 融合策略

本章主要討論圖6中的三種策略。

Monolithic E2E ，統(tǒng)一的端到端策略由單一的規(guī)劃器組成，因此，SV的未來(lái)行為和它們之間的相互作用，以及SV和EV之間的關(guān)系沒有明確建模。這種方法可以更好地再現(xiàn)專家的駕駛決策，但有更高的迅雷數(shù)據(jù)需求，主要的缺點(diǎn)是它們的黑盒子性質(zhì)，這使得模型自省和安全驗(yàn)證非常困難。

Interpretable E2E，可解釋的端到端規(guī)劃框架將預(yù)測(cè)作為輔助的學(xué)習(xí)任務(wù)，作為一個(gè)明確的模型輸出，預(yù)測(cè)任務(wù)與規(guī)劃任務(wù)一起被訓(xùn)練。一般情況下，兩個(gè)任務(wù)共享骨干編碼特征，輸出頭分別解碼生成對(duì)應(yīng)的輸出表示。與單一的端到端規(guī)劃相比，顯式預(yù)測(cè)增加了可解釋性并促進(jìn)了自省。盡管如此，兩種PS設(shè)計(jì)都依賴于隱含的預(yù)測(cè)在潛在的空間中進(jìn)行規(guī)劃任務(wù)并沒有安全性可以提供保證。因此，我們歸因于增加由此產(chǎn)生的駕駛性能(碰撞率)[65]對(duì)其規(guī)范效果的額外監(jiān)督。

Manual integration，人工融合方案意味著不同的任務(wù)使用不同的子模塊，這兩個(gè)任務(wù)的相互作用是基于專業(yè)知識(shí)手工設(shè)計(jì)的。被廣泛采用的方法是順序融合法，預(yù)測(cè)模塊的輸出傳遞給規(guī)劃模塊。由于該設(shè)計(jì)無(wú)法反映EV的規(guī)劃對(duì)SVs的影響，所以其他作品首先推斷模塊化規(guī)劃器來(lái)生成候選規(guī)劃。隨后，預(yù)測(cè)以這些候選項(xiàng)為條件，然后用于在候選項(xiàng)中選擇EV的規(guī)劃[130]，[240]。

接下來(lái)介紹了PRECOG [69]，PiP [130], [241] ，DSDNet [72] ，P3 [70], LookOut [73], and MP3 [74]，SafetyNet [80]， UniAD [132]，F(xiàn)usionAD等一系列作品的方案。與其他融合原則相比，人工融合需要更多的工程工作，但以一種有意義的方式結(jié)合先驗(yàn)知識(shí)約束了融合方案的安全性。通常，人工集成的PSs比端到端系統(tǒng)提供了更高的可解釋性和更安全的方案[81]，[247]。圖3中的時(shí)間軸顯示了早期的工作主要依賴于單片E2E設(shè)計(jì)中的隱含預(yù)測(cè)。從ChauffeurNet[61]和PRECOG[69]開始，明確的預(yù)測(cè)變得更加流行。最近，端到端可微模塊組件的人工集成引起了廣泛關(guān)注[132]，[182]。

5.2 本車與其他個(gè)體之間的聯(lián)系

在前一節(jié)中，我們從系統(tǒng)架構(gòu)的角度回顧了集成融合的原則。在下文中，我們將從不同的角度分析人工集成類別，即預(yù)期的本車和其他個(gè)體間關(guān)系。這在高度交互的場(chǎng)景中尤為重要，因?yàn)槠囆枰鶕?jù)對(duì)周圍智能體的觀察和預(yù)期行為來(lái)做出駕駛決策。然而，正如[5]所指出的，汽車也需要意識(shí)到它會(huì)影響他人的行為。

例如，在圖7的示例中，汽車的規(guī)劃可以也會(huì)影響SV的行為，例如通過接近交叉口速度加快會(huì)導(dǎo)致SV減速并向EV屈服。[5]引入以下四大類：機(jī)器人主導(dǎo)規(guī)劃、人主導(dǎo)規(guī)劃，共同主導(dǎo)規(guī)劃，聯(lián)合規(guī)劃。在這種情況下，人是指周圍的交通，機(jī)器人指的是自動(dòng)駕駛汽車。下面，我們簡(jiǎn)要描述這些類別并討論現(xiàn)有的工作。

Robot leader planning，根據(jù)當(dāng)前狀態(tài)推斷EV規(guī)劃，并以此為條件對(duì)整個(gè)環(huán)境進(jìn)行預(yù)測(cè)。這可能導(dǎo)致打擊性駕駛行為。例如在圖7的示例中，EV將推斷出當(dāng)它遵循快速推進(jìn)的規(guī)劃時(shí)，觀察到的SV將屈服于它以防止碰撞。

Human leader planning與機(jī)器人主導(dǎo)規(guī)劃是相反的，該規(guī)劃基于SVs的預(yù)測(cè)行為。它沒有模擬EV的規(guī)劃對(duì)SVs的影響，這可能導(dǎo)致不自信的行為[5]。在未受保護(hù)的右轉(zhuǎn)示例中(參見圖7)，EV試圖在沒有意識(shí)到它會(huì)影響兩種預(yù)測(cè)的SV行為的情況下找到適合的方案。因此，它將傾向于較慢的規(guī)劃。

Joint planning，聯(lián)合規(guī)劃描述了能夠意識(shí)到車輛(包括自我)相互作用的系統(tǒng)。通過對(duì)所有智能體的全局優(yōu)化得到汽車的規(guī)劃。因此，在存在最優(yōu)結(jié)果的假設(shè)下，IPP系統(tǒng)確定性地近似于一個(gè)聯(lián)合目標(biāo)[248]。例如，如果圖7中的EV在接近SV之前擠入，這可能是相對(duì)于合理的全局目標(biāo)而言最優(yōu)的。盡管如此，并不能保證SV的行為是相應(yīng)的，不會(huì)加速。因此，[5]證明了這是如何導(dǎo)致致命錯(cuò)誤的。

Co-leader planning，共同主導(dǎo)規(guī)劃模擬了SVs潛在未來(lái)行為的影響以及他們對(duì)潛在自我軌跡的反應(yīng)[5]，[249]，[250]。與聯(lián)合規(guī)劃類別相反，周圍個(gè)體的行為不被認(rèn)為是確定性的。因此，EV必須在規(guī)劃步驟中通過制定應(yīng)急規(guī)劃來(lái)考慮這種不確定性，也就是說，它必須為多種未來(lái)結(jié)果做好準(zhǔn)備，并能夠做出相應(yīng)的反應(yīng)。這種行為被稱為被動(dòng)偶然性。

圖3顯示，沒有觀察到任何一種范式的明顯趨勢(shì)。這表明，目前尚不清楚這四個(gè)理論概念中哪個(gè)優(yōu)于其他理論概念，以及如何在系統(tǒng)架構(gòu)的設(shè)計(jì)中實(shí)現(xiàn)它。這可能與缺乏全面的經(jīng)驗(yàn)基準(zhǔn)有關(guān)。

5.3 安全性和應(yīng)急能力

上面討論的自我-其他個(gè)體關(guān)系類別強(qiáng)調(diào)了考慮多種潛在的未來(lái)情景對(duì)安全和應(yīng)急規(guī)劃至關(guān)重要。在下文中，我們將討論如何將其合并到我們定義為規(guī)劃函數(shù)f = h(g(X EV, X SV,I)的一部分的成本函數(shù)組件h中(參見第4.4節(jié))。我們形成了以下三組關(guān)于安全和應(yīng)急的現(xiàn)有方法：邊緣預(yù)測(cè)規(guī)劃、最壞情況規(guī)劃和應(yīng)急規(guī)劃。它們?cè)趫D7中作了簡(jiǎn)要概述。

Planning with marginalized predictions，帶邊緣預(yù)測(cè)的規(guī)劃描述了IPP系統(tǒng)，它不能明確區(qū)分多個(gè)未來(lái)情景N。這意味著與未來(lái)結(jié)果Y (j)SV相比，預(yù)測(cè)Y SV被邊緣化。如圖7所示，成本函數(shù)需要權(quán)衡不太可能但危險(xiǎn)的場(chǎng)景(如碰撞)和非?？赡艿牡统杀緢?chǎng)景。這對(duì)安全至關(guān)重要，因?yàn)橐?guī)劃者需要謹(jǐn)慎，尤其是那些不太可能發(fā)生但危險(xiǎn)的事件。

Worst-case planning，最壞情況規(guī)劃是指IPP系統(tǒng)意識(shí)到存在多種未來(lái)結(jié)果Y (j) SV。在這個(gè)類別中，所有情景都被認(rèn)為是同等相關(guān)的，即不考慮概率能力P(Y (j)SV)。相反，每個(gè)提案都是根據(jù)最壞的情況進(jìn)行評(píng)估的。這種模式強(qiáng)烈關(guān)注避碰，并可能導(dǎo)致過度謹(jǐn)慎的行為，如圖7所示。這樣的規(guī)劃者沒有意識(shí)到，根據(jù)形勢(shì)的實(shí)際發(fā)展，會(huì)發(fā)生重新規(guī)劃。

Contingency planning，應(yīng)急規(guī)劃是對(duì)IPP系統(tǒng)的最高要求。它通過考慮不同的未來(lái)情景Y (j) SV及其概率P(Y (j) SV)，為場(chǎng)景的未知未來(lái)發(fā)展做好準(zhǔn)備。由此產(chǎn)生的規(guī)劃可以對(duì)沖最壞情況的風(fēng)險(xiǎn)，同時(shí)實(shí)現(xiàn)預(yù)期的進(jìn)展?；诔杀竞瘮?shù)的規(guī)劃范式和混合規(guī)劃范式都具有這些屬性。

5.4 可行的組合

在前面的章節(jié)中，我們描述了三種分類預(yù)測(cè)和規(guī)劃集成融合的方法，即(1)集成原則，(2)安全性和偶然性，以及(3)自我-其他個(gè)體關(guān)系。下面，我們將討論這三個(gè)維度的可能組合。圖5顯示了概述。我們的關(guān)鍵見解是，我們所描述的類別描述了不同層次上IPP方法之間的差異。雖然集成原則側(cè)重于高級(jí)系統(tǒng)體系結(jié)構(gòu)，但自我到代理的關(guān)系主要基于該體系結(jié)構(gòu)應(yīng)該展示的交互行為。安全性和偶然性的考慮建立在成本函數(shù)的基礎(chǔ)上，即對(duì)方案選擇的具體設(shè)計(jì)選擇。下面，我們將重點(diǎn)介紹這些類別之間的關(guān)聯(lián)。需要強(qiáng)調(diào)，下面的分類是基于架構(gòu)的，而不是基于結(jié)果行為的。在評(píng)估過程中，模型很可能表現(xiàn)出多個(gè)類別的屬性。因此，交互場(chǎng)景中的基準(zhǔn)測(cè)試是不可避免的，以確定模型是否確實(shí)顯示了預(yù)期的行為(參見第4.5節(jié))。

我們認(rèn)為機(jī)器人領(lǐng)導(dǎo)者范式可以與所有三個(gè)成本函數(shù)相結(jié)合。考慮一個(gè)簡(jiǎn)單的機(jī)器人主導(dǎo)模型，它首先識(shí)別潛在的自我規(guī)劃，然后預(yù)測(cè)基于每個(gè)規(guī)劃的sv的未來(lái)行為。汽車方案的最終選擇可以基于屬于這三類中的每一類的成本函數(shù)。然而，現(xiàn)有的作品使用專門的成本函數(shù)，不遵循我們?cè)诘?.3節(jié)、[95]、[129]、[130]、[240]中概述的結(jié)構(gòu)。我們想強(qiáng)調(diào)的是，系統(tǒng)地將機(jī)器人主導(dǎo)架構(gòu)與相應(yīng)的成本函數(shù)相結(jié)合可能是未來(lái)研究的一個(gè)有前途的方向。特別是偶然或最壞情況成本函數(shù)可以緩解機(jī)器人領(lǐng)導(dǎo)者規(guī)劃相關(guān)的固有問題，即依賴于SVs以潛在的不合理方式為EV的利益做出反應(yīng)。

6 挑戰(zhàn)

基于對(duì)基于深度學(xué)習(xí)的預(yù)測(cè)和規(guī)劃以及在ADS中的集成融合概述，我們認(rèn)為未來(lái)研究的四個(gè)核心挑戰(zhàn)為：大規(guī)模測(cè)試、系統(tǒng)設(shè)計(jì)、綜合基準(zhǔn)測(cè)試、訓(xùn)練方法。

大規(guī)模測(cè)試，在將自動(dòng)駕駛系統(tǒng)部署到實(shí)際應(yīng)用之前，需要進(jìn)行大規(guī)模測(cè)試以驗(yàn)證其有效性。這是的仿真非常必要。為了涵蓋潛在驅(qū)動(dòng)場(chǎng)景的長(zhǎng)尾分布，我們需要采用有效的方法來(lái)生成和檢索罕見但潛在關(guān)鍵的場(chǎng)景。特別是評(píng)估對(duì)抗性魯棒性可以幫助識(shí)別關(guān)于分布移位和分布外邊界的泛化的局限性。

系統(tǒng)設(shè)計(jì)，采用傳統(tǒng)的、由感知、預(yù)測(cè)、規(guī)劃和控制組成的嚴(yán)格順序系統(tǒng)仍然是一種流行的選擇。我們的調(diào)查表明，這種方法無(wú)法滿足對(duì)駕駛系統(tǒng)的要求。替代方法以一種允許對(duì)潛在的自我規(guī)劃進(jìn)行調(diào)節(jié)預(yù)測(cè)的方式將預(yù)測(cè)和規(guī)劃集成在一起。盡管如此，目前仍不清楚哪種集成架構(gòu)最有效。特別是在日益流行的可解釋端到端系統(tǒng)領(lǐng)域，如何將預(yù)測(cè)和規(guī)劃結(jié)合起來(lái)還不清楚。

全面的基準(zhǔn)測(cè)試。我們討論了預(yù)測(cè)和規(guī)劃整合的不同方面。然而，沒有一個(gè)全面的經(jīng)驗(yàn)基準(zhǔn)再現(xiàn)和分析它們的優(yōu)缺點(diǎn)。這樣的概述將有助于更好地理解不同的自我-其他個(gè)體關(guān)系和安全/應(yīng)急范式的影響。這需要在現(xiàn)實(shí)和高度互動(dòng)的場(chǎng)景中進(jìn)行模擬，并為周圍的車輛和富有表現(xiàn)力的交互指標(biāo)提供現(xiàn)實(shí)的駕駛員模型。

訓(xùn)練方法，當(dāng)基于學(xué)習(xí)的方法應(yīng)用于安全關(guān)鍵領(lǐng)域(如自動(dòng)駕駛)時(shí)，魯棒性至關(guān)重要。安全關(guān)鍵場(chǎng)景[256]在訓(xùn)練數(shù)據(jù)中很少發(fā)生，例如在電動(dòng)汽車前面發(fā)生碰撞。但為了確保自動(dòng)駕駛車輛的安全行為，關(guān)鍵是該系統(tǒng)也能適應(yīng)這些情況。確保強(qiáng)大的泛化和保證安全性是一個(gè)開放的挑戰(zhàn)。

7 結(jié)論

本文中，我們?nèi)娓攀隽烁鞣N任務(wù)技術(shù)方法基礎(chǔ)上，調(diào)研分析了自動(dòng)駕駛系統(tǒng)中預(yù)測(cè)和規(guī)劃的融合集成方法。我們描述、提出和分析了各種類別，以比較綜合預(yù)測(cè)和規(guī)劃工作，并強(qiáng)調(diào)了對(duì)安全和行為的影響。最后，根據(jù)發(fā)現(xiàn)的差距，指出了未來(lái)研究的發(fā)展方向。