Cruise自動(dòng)駕駛決策規(guī)劃&控制負(fù)責(zé)人Brandon Basso本科畢業(yè)于哥倫比亞大學(xué)，博士畢業(yè)于加州大學(xué)伯克利分校，主要研究決策、機(jī)器人系統(tǒng)設(shè)計(jì)和軟件架構(gòu)、機(jī)器學(xué)習(xí)、控制理論等。曾在3D Robotics、Uber自動(dòng)駕駛公司工作多年，擔(dān)任重要職位，在無(wú)人機(jī)和自動(dòng)駕駛領(lǐng)域擁有豐富的經(jīng)驗(yàn)。

一、什么是好的決策規(guī)劃系統(tǒng)

Brandon Basso先定義了一個(gè)好決策系統(tǒng)的特征和輸出應(yīng)該是怎樣的。

好決策系統(tǒng)的特征：

• 及時(shí)性（要能及時(shí)的做出決策）
• 交互決策（考慮自車的動(dòng)作對(duì)其他交通參與者的影響、考慮其他道路交通參與者的動(dòng)作）
• 可靠性和可重復(fù)性（如果自動(dòng)駕駛系統(tǒng)在同樣的場(chǎng)景做出的決策不同，說(shuō)明系統(tǒng)穩(wěn)定性不好）

好決策系統(tǒng)的輸出：安全、舒適、老司機(jī)般的體驗(yàn)

二、決策規(guī)劃技術(shù)的挑戰(zhàn)

1.場(chǎng)景中交通參與者多

在決策系統(tǒng)中需要考慮場(chǎng)景中其他交通參與者未來(lái)的動(dòng)作，一般來(lái)說(shuō)在一個(gè)交通場(chǎng)景中可能有上百個(gè)交通參與者與自動(dòng)駕駛車輛發(fā)生交互，因此自動(dòng)駕駛車輛需要采樣計(jì)算5000多條備選軌跡才能做出正確的決策，但是自動(dòng)駕駛需要非常及時(shí)的做出決策，我們的決策規(guī)劃算法通常運(yùn)行頻率在10H-30Hz左右，也就是說(shuō)每30ms到100ms就需要計(jì)算一次，而在這么短的時(shí)間做出正確的決策是一個(gè)巨大的挑戰(zhàn)。

2.決策不確定性（再精確的模型也無(wú)法在線精確的預(yù)測(cè)其他交通參與者的未來(lái)選擇）

這里提到三個(gè)不確定性，運(yùn)動(dòng)學(xué)不確定性、遮擋不確定性、模型建模不確定性，這里分別對(duì)三種不確定性舉例進(jìn)行了說(shuō)明：

1）運(yùn)動(dòng)學(xué)不確定性：比如上圖中第一個(gè)騎自行車的直行，但是后面那個(gè)不確定是右轉(zhuǎn)環(huán)式直行，第一個(gè)有可能會(huì)被第二個(gè)人喊著右轉(zhuǎn)呢？這種不確定性需要被考慮。

2）遮擋不確定性：第二種就是屬于盲區(qū)，你不知道盲區(qū)會(huì)不會(huì)突然出來(lái)一輛快速?zèng)_過(guò)來(lái)的車；

3）模型建模不確定性：第三種這個(gè)例子很有意思，我們?cè)陬A(yù)測(cè)中都是考慮社會(huì)車輛會(huì)如何運(yùn)動(dòng)，但是沒(méi)有考慮過(guò)如果社會(huì)車輛不是按著運(yùn)動(dòng)狀態(tài)運(yùn)行呢，比如騎行人突然摔倒該怎么辦，我們所建的模型如何解決這樣的問(wèn)題。

上面三個(gè)不確定性的考慮已經(jīng)證明Cruise走在世界前列，目前為止我們大部分自動(dòng)駕駛的企業(yè)對(duì)于這些不確定性的考慮還處于初期，遠(yuǎn)沒(méi)有做到這么精細(xì)的階段。

三、決策規(guī)劃整體架構(gòu)

整體架構(gòu)

Cruise稱他們的決策系統(tǒng)為T(mén)he Cruise Decision Engine，首先將場(chǎng)景感知數(shù)據(jù)作為輸入（Cruise的預(yù)測(cè)模塊是屬于大感知模塊下面，同時(shí)Cruise的預(yù)測(cè)模塊會(huì)考慮障礙物與障礙物之間的交互預(yù)測(cè)的），然后在自車動(dòng)作生成模塊生成自車初始動(dòng)作（這里為什么說(shuō)是初始動(dòng)作呢，因?yàn)樯婕暗脚c其他障礙物交互博弈，所以多次迭代才能確定自車的最優(yōu)決策），接下來(lái)將自車動(dòng)作輸入到沖突解決模塊，最后輸入到規(guī)劃執(zhí)行模塊，輸入到執(zhí)行器實(shí)現(xiàn)油門(mén)、剎車、方向盤(pán)控制，這里重點(diǎn)對(duì)各個(gè)模塊進(jìn)行介紹：1）動(dòng)作生成模塊：自車結(jié)合所有交通參與者的預(yù)測(cè)信息生成自車初始動(dòng)作信息，由于自車有多種可能性的動(dòng)作，比如加速通行、停車、避讓等動(dòng)作，會(huì)生成大量的備選軌跡，因此這里為了加速初解的計(jì)算效率，利用了機(jī)器學(xué)習(xí)的方法訓(xùn)練了一個(gè)模型，通過(guò)機(jī)器學(xué)習(xí)的方法加速選出最好的軌跡。這里通過(guò)機(jī)器學(xué)習(xí)的方法，大概只需要10ms的時(shí)間就可以找到自車的初始解，1%的極端情況下14ms就可以找到初始解，最差的情況下也只需要80ms就可以找到初始解。在自動(dòng)駕駛中引入機(jī)器學(xué)習(xí)是一個(gè)非常棒的選擇，因?yàn)檫@里是初始解，后面有其他模塊兜底，即使錯(cuò)誤也不會(huì)導(dǎo)致安全問(wèn)題，但是可以加速?zèng)Q策求解。

自車動(dòng)作生成模塊

機(jī)器學(xué)習(xí)加速自車決策初始解

2) 沖突解決模塊：根據(jù)自車動(dòng)作生成模塊生成的初始動(dòng)作，然后結(jié)合交通場(chǎng)景中的所有交通參與者可能的運(yùn)動(dòng)信息進(jìn)行軌跡采樣，并對(duì)軌跡進(jìn)行評(píng)分，選出最好的運(yùn)動(dòng)軌跡，并經(jīng)過(guò)多次迭代做出最好的決策（3到4次）。其中軌跡評(píng)分會(huì)考慮安全性（碰撞、遠(yuǎn)離騎行人和行人）、交通規(guī)則（停牌、紅綠燈）、舒適性（軌跡平滑）、不確定性以及全局規(guī)劃導(dǎo)航信息等。這里面還提到利用強(qiáng)化學(xué)習(xí)去解決不確定性問(wèn)題。

沖突解決模塊

3）控制模塊：

控制模塊

四、決策規(guī)劃技術(shù)細(xì)節(jié)

首先介紹了整個(gè)決策系統(tǒng)的最終目的：

然后針對(duì)上面的目的分別通過(guò)實(shí)際場(chǎng)景進(jìn)行了分析：

1）解決運(yùn)動(dòng)學(xué)不確定性：這里介紹了兩個(gè)場(chǎng)景，一個(gè)是前方的行人突然去打開(kāi)車門(mén)（如果按照正常預(yù)測(cè)行人應(yīng)該是走向路外，如果按照預(yù)測(cè)進(jìn)行決策則不安全），而這里考慮了運(yùn)動(dòng)學(xué)不確定性，自動(dòng)駕駛車輛減速避讓，只能說(shuō)太強(qiáng)了。

第二個(gè)場(chǎng)景則是預(yù)測(cè)行人左轉(zhuǎn)，但是走到自動(dòng)駕駛前方的時(shí)候自行車突然變?yōu)橹毙?，從自車左方行駛過(guò)去，由于行人和騎行人靈活，其預(yù)測(cè)一直是難點(diǎn)，而這里考慮了不確定性，提前反應(yīng)保證了安全。

2）解決遮擋不確定性：由于遮擋，自車右前方的車輛不能觀測(cè)到，通過(guò)設(shè)置路口右方駛來(lái)的虛擬車輛解決遮擋不確定性。（右上方帶綠色箭頭的障礙物為虛擬不可見(jiàn)的障礙物），第二個(gè)場(chǎng)景是，提前考慮到被遮擋的行人而緩慢行走。

3）解決3D不確定性：其實(shí)主要說(shuō)的是前方的路上是坡道，無(wú)法提前看到對(duì)向來(lái)車，cruise自動(dòng)駕駛車輛會(huì)提前減速，這樣處理是因?yàn)閏ruise考慮了前方是坡道的感知不確定性，二維平面已經(jīng)無(wú)法處理這樣的場(chǎng)景了，需要增加維度，考慮3D不確定性。

4）交互博弈：通過(guò)對(duì)自車行為對(duì)他車影響及他車對(duì)自車的影響進(jìn)行交互博弈決策，因?yàn)槲覀兊淖詣?dòng)駕駛系統(tǒng)中不能只考慮自身的舒適性、安全性，而不去考慮其他交通參與者的體驗(yàn)，這樣做出的決策是極其的危險(xiǎn)，我們的決策是需要在考慮整體的平衡時(shí)提高效率，所以設(shè)計(jì)評(píng)價(jià)指標(biāo)時(shí)除了自車舒適性、效率、安全性等，社會(huì)車也需要同等考慮這些評(píng)價(jià)，同時(shí)滿足這兩種情況才能稱之為好的決策，這里舉了兩個(gè)例子，一個(gè)是讓行，一個(gè)是搶行。

這里針對(duì)交互博弈介紹了在借道避讓場(chǎng)景下讓行和搶行的決策及考慮不確定性條件下超騎行人的案例：

讓行對(duì)向來(lái)車

讓行帶向來(lái)車

搶行對(duì)向來(lái)車

超低速行人

1）模仿學(xué)習(xí)進(jìn)行決策：使用模仿學(xué)習(xí)的方法，并離線訓(xùn)練策略網(wǎng)絡(luò)生成模型進(jìn)行決策，這里舉了一個(gè)超過(guò)前方故障車的場(chǎng)景。

2）解決模型誤差：這里提到下圖這個(gè)場(chǎng)景，一個(gè)行人向左走，一個(gè)向右走，如果按照正常的預(yù)測(cè)模型，將會(huì)出現(xiàn)分叉的空間，自車決策當(dāng)自車到達(dá)行人位置的時(shí)候兩個(gè)行人走開(kāi)，但是沒(méi)有考慮到向左走的人其實(shí)是撿帽子，他可能向左也可能撿完帽子向右走，如果自車真的向前行駛則會(huì)碰撞到行人。在自動(dòng)駕駛中行人預(yù)測(cè)是一個(gè)極其大的挑戰(zhàn)，因?yàn)樽杂啥缺容^大，不能像車輛一樣有動(dòng)力學(xué)約束，這里Cruise采用強(qiáng)化學(xué)習(xí)的方法離線訓(xùn)練模型，進(jìn)行仿真模擬，從而解決這個(gè)問(wèn)題，通過(guò)下圖右邊這個(gè)黃色的圖可以看到，經(jīng)過(guò)強(qiáng)化學(xué)習(xí)的訓(xùn)練，已經(jīng)可以形成一個(gè)保守的預(yù)測(cè)解決上面提到問(wèn)題。

這里還提到用強(qiáng)化學(xué)習(xí)的方法訓(xùn)練兩輛自動(dòng)駕駛車去泊車，但是不會(huì)碰撞，而且舒適性比較好。

3）應(yīng)急反應(yīng)：這里提到的這個(gè)場(chǎng)景真是非常驚險(xiǎn)，從自動(dòng)駕駛車輛右方突然竄出一輛自行車，如果正常的決策流程的話很可能反應(yīng)延遲撞上去，因此這里cruise利用強(qiáng)化學(xué)習(xí)的方法離線訓(xùn)練類似場(chǎng)景，跳過(guò)預(yù)測(cè)，直接輸出決策給規(guī)劃和控制，及時(shí)剎車。這里有點(diǎn)類似AEB（緊急自動(dòng)剎車），在自動(dòng)駕駛系統(tǒng)設(shè)計(jì)中需要考慮應(yīng)急系統(tǒng)解決這樣的場(chǎng)景，不然的話，外賣小哥將會(huì)持續(xù)成為城區(qū)自動(dòng)駕駛最大的考驗(yàn) 。

4) 動(dòng)力學(xué)模型：通過(guò)設(shè)計(jì)一個(gè)高保真車輛和環(huán)境的動(dòng)力學(xué)模型在規(guī)劃控制閉環(huán)系統(tǒng)，保證了自動(dòng)駕駛駕駛的舒適性

五、總結(jié)

Cruise這次技術(shù)開(kāi)放日真正做到了秀肌肉的目的，通過(guò)各種難場(chǎng)景展示了其技術(shù)的前進(jìn)性以及技術(shù)探索，但是技術(shù)細(xì)節(jié)基本沒(méi)有透露。Cruise決策規(guī)劃技術(shù)主要有以下幾點(diǎn)非常值得我們學(xué)習(xí)，也是自動(dòng)駕駛未來(lái)的發(fā)展路徑：

基于規(guī)則搭建的整體架構(gòu)，引入機(jī)器學(xué)習(xí)、監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、模仿學(xué)習(xí)，在規(guī)則保證安全的同時(shí)，通過(guò)學(xué)習(xí)的方式提高決策效率和決策的性能。

1）考慮多種不確定性：運(yùn)動(dòng)學(xué)不確定性、遮擋不確定性、感知不確定性、模型不確定性。

2）交互博弈：在自動(dòng)駕駛過(guò)程中，需要通過(guò)和其他交通參與者交互才能提高交通效率，這一塊是自動(dòng)駕駛研究難點(diǎn)。

3）應(yīng)急反應(yīng)：有些時(shí)候如果走完整個(gè)決策流程再執(zhí)行可能會(huì)導(dǎo)致自動(dòng)駕駛車輛反應(yīng)慢，產(chǎn)生安全事故，需要設(shè)置AEB、AES功能提高系統(tǒng)應(yīng)急反應(yīng)能力。

4）預(yù)測(cè)：隨著自動(dòng)駕駛技術(shù)的研究進(jìn)入新的階段，單個(gè)障礙物的預(yù)測(cè)已經(jīng)不能滿足自動(dòng)駕駛的需求，需要考慮障礙物與障礙物以及自車之間的相互影響，預(yù)測(cè)和決策將會(huì)越來(lái)耦合在一起。比較奇怪的是，Cruise將預(yù)測(cè)和感知放在了一起。

5）Cruise基本框架：采用生成自動(dòng)駕駛車輛和其他交通參與者的采樣軌跡，然后進(jìn)行評(píng)價(jià)生成最優(yōu)決策。

6）高保真的動(dòng)力學(xué)模型

看完了Cruise的技術(shù)開(kāi)放日，雖然沒(méi)有透露特別多的技術(shù)細(xì)節(jié)，但是Cruise考慮到的問(wèn)題和場(chǎng)景已經(jīng)非常震撼，目前大多數(shù)自動(dòng)駕駛公司還沒(méi)有做到這種地步，如此之精細(xì)。