[[437828]]

今天，我們來(lái)了解一下谷歌的自動(dòng)駕駛汽車Waymo是怎么做的。

Waymo在超過(guò)25個(gè)城市的公共道路上行駛了超過(guò)2000萬(wàn)英里。他們還在模擬環(huán)境中行駛了數(shù)百億英里（文章后面會(huì)介紹）。此外，Waymo正在美國(guó)經(jīng)營(yíng)出租車服務(wù)，真正地在沒(méi)有司機(jī)的情況下運(yùn)送乘客。

由于Waymo的快速增長(zhǎng)，下午將深入介紹Waymo的技術(shù)，以便您了解這個(gè)巨頭背后的實(shí)際情況。

與其他自動(dòng)駕駛汽車一樣，Waymo通過(guò)4個(gè)主要步驟來(lái)實(shí)施：感知（perception）、定位（localization）、規(guī)劃（planning）和控制（control）。

這篇文章中，不討論控制相關(guān)的內(nèi)容。對(duì)于Waymo來(lái)說(shuō)，預(yù)測(cè)（這是規(guī)劃的一部分）是另一個(gè)核心支柱，文中將單獨(dú)介紹。

我們首先從感知開(kāi)始

感知

大多數(shù)機(jī)器人系統(tǒng)的核心組件是感知任務(wù)。在Waymo的案例中，感知包括對(duì)障礙物的估計(jì)和自動(dòng)駕駛汽車的定位。

傳感器和任務(wù)

Waymo的感知系統(tǒng)使用了攝像頭、激光雷達(dá)和雷達(dá)的組合。由于Waymo的大部分工作都是使用4個(gè)LiDAR完成的，可以將其視為與特斯拉完全相反的系統(tǒng)。

以下是Waymo自動(dòng)駕駛復(fù)雜任務(wù)的視圖——只是為了讓您了解其計(jì)算機(jī)視覺(jué)系統(tǒng)需要感知的所有事物。

如您所見(jiàn)，對(duì)障礙物的信息水平要求非常高：

• 汽車被分類為常規(guī)汽車、警車、救護(hù)車、消防車和校車。
• 如果遇到特種車輛，系統(tǒng)可以觀察警報(bào)器和燈光并根據(jù)此進(jìn)行操作。
• 每個(gè)檢測(cè)到的障礙物都有一個(gè)狀態(tài)：移動(dòng)、停車等

如您所見(jiàn)，感知系統(tǒng)會(huì)考慮“狀態(tài)”并將其提供給預(yù)測(cè)系統(tǒng)。

然而，這種感知系統(tǒng)很快就會(huì)遇到一些特別棘手的情況。下面是一個(gè)例子：

反射問(wèn)題

上面的反射問(wèn)題遠(yuǎn)不是唯一的棘手問(wèn)題。再如：人們可以偽裝，躺在卡車車頂上，帶著STOP標(biāo)志走路等。我們可能會(huì)想象出更多的邊緣情況，我們應(yīng)該了解系統(tǒng)可能遇到的問(wèn)題。

Waymo筆記：

但是，在過(guò)去幾年中，上述許多問(wèn)題都得到了解決。

• 由于激光雷達(dá)，反射問(wèn)題可以得到解決。反射不會(huì)出現(xiàn)在激光雷達(dá)中；只有點(diǎn)云顯示了真正障礙物的形狀（這里是一輛公共汽車）。了解更多的激光雷達(dá)信息。
• 由于地圖，“帶有停車標(biāo)志人”的問(wèn)題已得到解決。第一步是檢測(cè)STOP標(biāo)志；第二步將這些信息與地圖和先驗(yàn)知識(shí)相匹配。每當(dāng)Waymo檢測(cè)到一個(gè)標(biāo)志時(shí)，將會(huì)查詢“地圖在這里是否包含STOP標(biāo)志？如果沒(méi)有，是否正在施工？如果沒(méi)有，就沒(méi)有理由停下來(lái)！”

架構(gòu)

最近在討論Tesla計(jì)算機(jī)視覺(jué)架構(gòu)時(shí)，我探索了HydraNet 架構(gòu)。它是一種旨在同時(shí)運(yùn)行多個(gè)神經(jīng)網(wǎng)絡(luò)的架構(gòu)。“Hydra”這個(gè)詞意味著一個(gè)有多個(gè)頭的系統(tǒng)。

Waymo沒(méi)有談?wù)揌ydraNets，但有一些關(guān)于其視覺(jué)系統(tǒng)的事情。

第一件可能會(huì)讓你感到驚訝的事是，Waymo的架構(gòu)并不是固定的，而是估計(jì)的。

這是一個(gè)神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索(NAS)單元。

這是類似于ResNet的大型神經(jīng)網(wǎng)絡(luò)中的構(gòu)建塊。這種想法已經(jīng)在AutoML中采用了。AutoML的思想是神經(jīng)網(wǎng)絡(luò)架構(gòu)必須由算法估計(jì)。

這些架構(gòu)是使用NAS單元構(gòu)建的，最佳組合獲勝。

測(cè)試10,000個(gè)架構(gòu)，預(yù)選100個(gè)模型，然后選出1個(gè)最終獲勝者。獲勝的標(biāo)準(zhǔn)是準(zhǔn)確性和推理成本。

數(shù)據(jù)集和模型

Google正在使用一種稱為主動(dòng)學(xué)習(xí)的過(guò)程。

主動(dòng)學(xué)習(xí)的思想如下：

• 對(duì)于每條未標(biāo)記的數(shù)據(jù)，將其發(fā)送給模型進(jìn)行預(yù)測(cè)。
• 如果模型對(duì)其預(yù)測(cè)非常確定，我們得到一個(gè)自動(dòng)標(biāo)簽。
• 如果不確定，則將數(shù)據(jù)發(fā)送給人工標(biāo)注員。這樣，人工標(biāo)注員只標(biāo)注難例數(shù)據(jù)，其余的都是自動(dòng)標(biāo)注。

有關(guān)主動(dòng)學(xué)習(xí)的更多信息。

Waymo使用主動(dòng)學(xué)習(xí)來(lái)訓(xùn)練模型，利用TPU（Tensor Processing Units）和谷歌的深度學(xué)習(xí)框架TensorFlow。

與特斯拉類似，這是一個(gè)閉環(huán)。

圖中的描述已經(jīng)比較清晰；從底部的“Releases”開(kāi)始，然后向左移動(dòng)。

• 當(dāng)模型發(fā)布完成之后，數(shù)據(jù)收集就開(kāi)始了。
• 一些數(shù)據(jù)被選中并由神經(jīng)網(wǎng)絡(luò)和人工標(biāo)注員進(jìn)行標(biāo)注。
• 然后標(biāo)注過(guò)的數(shù)據(jù)集被發(fā)送到AutoML架構(gòu)搜索，評(píng)估最佳模型。
• 最佳模型經(jīng)過(guò)驗(yàn)證、測(cè)試并部署。

然后重新開(kāi)始新的迭代……

這些用于感知的機(jī)器學(xué)習(xí)模型的目標(biāo)是準(zhǔn)確估計(jì)3D世界。

定位

定位意思是得到車輛在1-3厘米精度內(nèi)的位置。一些公司使用了GPS，有些又添加了攝像頭和激光雷達(dá)信息，但是……

Waymo使用了地圖、激光雷達(dá)和GPS來(lái)定位車輛。

Google還利用了從Google地圖獲得的經(jīng)驗(yàn)。

多年來(lái)，谷歌地圖團(tuán)隊(duì)一直致力于使用激光雷達(dá)、攝像頭和GPS進(jìn)行高精地圖繪制。這些是用于自動(dòng)駕駛汽車的精確傳感器。

Waymo筆記：

雖然Waze和Google Maps都沒(méi)有參與Waymo及其定位模塊，但在地圖上積累的經(jīng)驗(yàn)非常有益。

谷歌幾乎已經(jīng)繪制了整個(gè)世界的地圖。如果從相對(duì)位置檢測(cè)到您看到了2號(hào)街道，就可以準(zhǔn)確地知道您在哪里。這就是他們過(guò)去二十年一直在努力的事情。

Waymo的定位模塊由地圖、攝像頭、GPS和算法組成，可在全世界范圍內(nèi)準(zhǔn)確定位車輛。Waymo還在其模塊中使用了大量冗余，以使其更加健壯和可靠。

預(yù)測(cè)

行為預(yù)測(cè)

Waymo自動(dòng)駕駛汽車最重要的特點(diǎn)是行為預(yù)測(cè)。谷歌無(wú)法像特斯拉那樣利用車隊(duì)的力量。特斯拉利用其客戶數(shù)十萬(wàn)輛汽車收集數(shù)據(jù)。Waymo無(wú)法做到這一點(diǎn)；然而，他們擁有自己的車隊(duì)，近年來(lái)可能會(huì)增長(zhǎng)很多。

在自動(dòng)駕駛汽車中，最終想要的是了解人類行為并預(yù)測(cè)它們。這就是所謂的行為預(yù)測(cè)。

這些行為預(yù)測(cè)是使用循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行的：它們使用過(guò)去的信息來(lái)預(yù)測(cè)未來(lái)的行為。因此，可以確切地知道要做什么，并且可以衡量預(yù)測(cè)的置信度。

行為預(yù)測(cè)類似于以下內(nèi)容：

• 如果車輛觀察到有行人注視著它，則發(fā)生事故的風(fēng)險(xiǎn)很低。
• 如果觀察到行人不注意就跑，風(fēng)險(xiǎn)會(huì)更高。

Waymo的系統(tǒng)知道這一點(diǎn)。怎么做到的呢？在其模型中輸入專家偏見(jiàn)。其預(yù)測(cè)系統(tǒng)是一個(gè)混合體：結(jié)合了機(jī)器學(xué)習(xí)和人類知識(shí)。人類知識(shí)還包括交通法規(guī)和不可能的事情（如：人類行走或者跑步的速度不可能達(dá)到50公里/小時(shí)）。

仿真

Waymo駕駛了很多，但也模擬了很多。Waymo構(gòu)建了一個(gè)模擬器，該模擬器將真實(shí)世界數(shù)據(jù)作為輸入并輸出新場(chǎng)景。

以現(xiàn)實(shí)生活中發(fā)生的情況為例?，F(xiàn)在，使用模擬器修改它。想象一下有一輛車超過(guò)了人類司機(jī)的情景，再想象一下沒(méi)有超過(guò)人類司機(jī)。

這類似于電影《Next》，其中尼古拉斯·凱奇 (Nicolas Cage) 有能力想象每一種可能的場(chǎng)景并選擇他能幸存的場(chǎng)景。

[[437832]]

next

Waymo可以實(shí)時(shí)前后回放，還可以模擬行為?？梢詷?gòu)建完整的小說(shuō)，并查看算法是如何表現(xiàn)的。模擬器可以發(fā)揮真正的力量。事實(shí)上，Waymo平均每天 24*7小時(shí)運(yùn)行25,000輛虛擬汽車，并且在這些模擬中每天行駛10,000,000英里。

看看下面的圖片。在右側(cè)，可以看到一分為二的黃線。

這不是Dominic Toretto和Brian O'Connor的告別。這兩條線是對(duì)車輛可能做的事情的預(yù)測(cè)。對(duì)這輛車的信息掌握的越多，預(yù)測(cè)就越準(zhǔn)確和自信。直到剩下一個(gè)……

為了模擬更多場(chǎng)景，Waymo正在使用DeepMind和深度強(qiáng)化學(xué)習(xí)來(lái)創(chuàng)建代理和駕駛策略。

在強(qiáng)化學(xué)習(xí)中，策略是一種行為。Waymo可以模擬一個(gè)憤怒的司機(jī)試圖在某人面前危險(xiǎn)地切入，或者一個(gè)粗心的踏板車司機(jī)。每次，他們都會(huì)查看算法的行為和正確性。

當(dāng)對(duì)駕駛員進(jìn)行了準(zhǔn)確且訓(xùn)練有素的預(yù)測(cè)，就可以生成要采取的軌跡。這也稱為決策和軌跡生成。Waymo的駕駛模型稱為ChauffeurNet。

軌跡是一系列(x,y,z)點(diǎn)組成的。

規(guī)劃模塊的目標(biāo)是生成在安全性、速度和可行性方面誤差最低的軌跡。

下面來(lái)看看Waymo的完整規(guī)劃模塊：

這可能看起來(lái)很復(fù)雜，但別擔(dān)心，這就是我寫這篇文章的原因！

讓我們從頂部開(kāi)始，將“特征網(wǎng)絡(luò)”視為感知、定位和預(yù)測(cè)的輸出。

• 在左側(cè)，可以看到“Agent RNN”。這實(shí)際上是一個(gè)為自主車輛生成軌跡的網(wǎng)絡(luò)。這些軌跡將考慮航向（可行性）、速度（交通規(guī)則）、航路點(diǎn)（長(zhǎng)度）和代理（可行性、幾何形狀等）。Agent RNN的目標(biāo)是模擬一個(gè)可行的、現(xiàn)實(shí)的軌跡。
• 然后在右側(cè)，可以看到Road Mask Net。這是一個(gè)網(wǎng)絡(luò)，如果它生成的軌跡不在路上，就會(huì)受到很高的懲罰。Waymo通過(guò)這種方式確保我們不在人行道上開(kāi)車。
• 最后，在最右側(cè)，是Perception RNN。這是一個(gè)懲罰與其他車輛的碰撞和互動(dòng)的網(wǎng)絡(luò)。例如，當(dāng)我們距離車輛1米的損失會(huì)高于距離1.5米時(shí)的損失。

總之，網(wǎng)絡(luò)生成了一條可行的軌跡，保持在路上，避免碰撞。

最后，軌跡還考慮了排斥器和吸引器。我們想留在車道的中心，并且想避開(kāi)路障并跟隨中心。

生成適當(dāng)軌跡的過(guò)程還使用了一種稱為逆強(qiáng)化學(xué)習(xí)的技術(shù)。

在逆強(qiáng)化學(xué)習(xí)中，我們嘗試著眼于真實(shí)的人類軌跡（真實(shí)值），并確定是什么使這條軌跡成為一個(gè)好的軌跡。這改進(jìn)了生成的軌跡并使其更逼真。

總結(jié)

• 感知是檢測(cè)障礙物、交通燈和道路的。Waymo使用主動(dòng)學(xué)習(xí)收集數(shù)據(jù)，使用AutoML生成架構(gòu)并選擇更高效的架構(gòu)（準(zhǔn)確性和推理時(shí)間）。
• 定位主要是找到您所在位置的感知任務(wù)。Waymo利用谷歌地圖的知識(shí)來(lái)做到這一點(diǎn)。
• 預(yù)測(cè)是在模擬器中使用循環(huán)神經(jīng)網(wǎng)絡(luò)和強(qiáng)化學(xué)習(xí)來(lái)訓(xùn)練他們的代理來(lái)很好地估計(jì)軌跡。
• 規(guī)劃是根據(jù)可行性生成軌跡，保持在路上，避免碰撞。這些車輛還向人工標(biāo)注員學(xué)習(xí)，以生成更逼真的軌跡。

Waymo的系統(tǒng)是在自動(dòng)駕駛汽車上11年研究和實(shí)驗(yàn)的成果。在自動(dòng)駕駛技術(shù)世界中，他們制造汽車的方式有一些阻礙，因?yàn)槿藗儽磉_(dá)了對(duì)特斯拉系統(tǒng)的偏好，并意識(shí)到路上的經(jīng)驗(yàn)非常寶貴。

不管你的意見(jiàn)是什么，都不可否認(rèn)谷歌和Waymo在他們的自動(dòng)駕駛汽車方面投入了瘋狂的工作和技術(shù)。

Waymo還有很長(zhǎng)的路要走。。。

Waymo的主要問(wèn)題之一是其使用地圖的方式：Waymo不能沒(méi)有地圖就開(kāi)車。可以更精確地繪制整個(gè)世界，但對(duì)規(guī)?；瘉?lái)說(shuō)這是一個(gè)巨大的挑戰(zhàn)。

Waymo的主要視覺(jué)系統(tǒng)由激光雷達(dá)組成，實(shí)際上這也是一個(gè)很大的問(wèn)題，激光雷達(dá)在雪、雨或霧中完全失明。

因此，Waymo經(jīng)常在亞利桑那州的鳳凰城或加利福尼亞州的舊金山等地方行駛，那里的條件永遠(yuǎn)干燥且陽(yáng)光充足。

Waymo筆記：

最近，Waymo開(kāi)始在非常潮濕的密歇根州、暴風(fēng)雨的邁阿密和多雨的華盛頓州行駛。

如果你看看特斯拉，其已經(jīng)在紐約市中心和巴黎開(kāi)過(guò)自動(dòng)駕駛汽車。由于特斯拉的司機(jī)們，其已經(jīng)了解了這些地方。規(guī)?；赡芤菀椎枚啵吘挂蕾嚰す饫走_(dá)可能是一個(gè)問(wèn)題。

Waymo是特斯拉在L5級(jí)自動(dòng)駕駛競(jìng)賽中的直接競(jìng)爭(zhēng)對(duì)手！