“周圍的車輛和行人在接下來數(shù)秒中會做什么？”要實現(xiàn)安全的自動駕駛，這是一個必須回答的關鍵問題，這也就是自動駕駛領域中的行為預測問題。

自動駕駛公司 Chris Urmson 去年曾在一次采訪中表示，感知和預測能力很關鍵，如果有一個模型能預測未來 5 秒會發(fā)生什么，這將能很大程度加速自動駕駛的發(fā)展。

行為預測的難點在于周圍行人、車輛的不確定性和各種規(guī)則之外的行為。這些狀況難以進行確定性的預測，只能通過訓練數(shù)據(jù)分析各種行為的可能性來達到更加合理的預測效果。另一個難點是盲區(qū)與遮擋問題。

面對這種情況時，人類司機通常會基于自己的駕駛經(jīng)驗對周圍信息產(chǎn)生一個預期。這種經(jīng)驗之舉顯示出，行為預測的基礎在于對環(huán)境的認識和理解。

在這一方面，來自 Waymo 和谷歌的一個中國工程師團隊提出了一個全新模型 VectorNet。

在該模型中，團隊首次提出了一種抽象化認識周圍環(huán)境信息的做法：用向量（Vector）來簡化地表達地圖信息和移動物體，這一做法拋開了傳統(tǒng)的用圖片渲染的方式，達到了降低數(shù)據(jù)量、計算量的效果。

在向量化的基礎上，該模型在所有向量之間添加了語義關系，讓機器（自動駕駛車輛）不僅能看到環(huán)境信息，更能進一步理解環(huán)境中不同要素之間的關系。在自動駕駛的語境下，對要素之間關系的認識可以幫助進行行為預測。

在實際測試當中，該模型的行為預測精準度比現(xiàn)有方法提升了近 20%，而在占用內(nèi)存和計算量上則減少了約 8 成。

目前該論文已經(jīng)被計算機視覺領域三大國際頂會之一的 CVPR 接收，Waymo 也在其博客文章中明確表示該技術提高了其行為預測的精準度。

抽象地 “認識” 世界

正如 Waymo 在博客中指出，該研究的突破性意義在于首次提出了用向量的方式來抽象化表達這個世界。

以無人車為例，周圍的環(huán)境信息可以大致分為兩類。一是地圖特征，其中包括車道線、斑馬線、紅綠燈、速度標示、停車指示牌等等固有的道路要素；第二大類，就是無人車周圍的物體運動軌跡。

VectorNet 論文中提到，在用向量表達的方法中，向量本身可以被輸入多方面的信息。其中包括：1、向量的起點位置；2、向量的終點位置；3、向量對應的道路要素，比如這是條車道線、紅路燈等；4、向量對應要素的屬性，比如限速標示要求的速度大小、紅綠燈會指示車輛的前行和停下等。

4 種信息對應了不同的信息和功能，當這些信息集合，工程師能通過這種向量的方式讓整個周圍環(huán)境抽象化成了諸多向量的組合，實現(xiàn)了在機器內(nèi)對周圍環(huán)境的捕捉和重建。

據(jù)了解，要表達周圍環(huán)境的信息和物體，此前業(yè)界的廣泛做法是將車道線等地圖信息和車輛等運動物體渲染（render）到柵格圖（Raster graphics）上，再通過卷積神經(jīng)網(wǎng)絡（CNN）進行建模，進而實現(xiàn)后續(xù)的行為預測等操作。

但弊端在于，將物體渲染到圖片上是一個非常消耗算力的過程。且原本機器只是需要表達周圍的少量物體，本身的數(shù)據(jù)量是很小的，但在渲染成為一張圖片之后，數(shù)據(jù)量就顯著上升。

因此可以說，傳統(tǒng)上將物體渲染到圖片上的做法從時間和空間上來看，是一個缺乏效率的方式。

此外，卷積神經(jīng)網(wǎng)絡在自動駕駛行為預測方面有著根本的局限性。由于行為預測通常需要捕獲長距離道路的幾何特征，但卷積神經(jīng)網(wǎng)絡卻并不適合應對長距離的道路信息。

卷積神經(jīng)網(wǎng)絡依靠 3×3、5×5 這樣的卷積核（kernel）進行計算，意味著這種方式能夠很好捕捉局部的環(huán)境信息，但像車道線這樣長條的環(huán)境信息常常會貫穿整張圖片，因此小的卷積核就沒有足夠的感受野（receptive field）能夠捕捉整條車道線的幾何特征。

論文提到，卷積感受野對預測質(zhì)量至關重要，測試表明更大的卷積核帶來感受野的提升能夠改善無人車行為預測的結(jié)果，但代價同樣巨大：計算成本會進一步提升。

在 VectorNet 模型的做法下，無需將環(huán)境信息渲染成圖片，而表達成抽象、簡化的向量形式，如此一來，模型和數(shù)據(jù)量都大幅減少，模型的計算速度可以比卷積神經(jīng)網(wǎng)絡快上一個數(shù)量級。

因此 VectorNet 在實際應用中具備很強的實用性，可以提升 Waymo 自動駕駛測試的行為預測精準度。

一位業(yè)內(nèi)人士表示“我覺得過去學術界更多的工作都放在了預測模型上，但這些工作都忽略了一個基本問題——現(xiàn)在的輸入表征還沒做好?，F(xiàn)在大家都是通過渲染 + 卷積神經(jīng)網(wǎng)絡的方式去做輸入表征，再基于此去做不同的預測模型進行軌跡預測。這就導致了，當輸入表征本身還存在很大問題的情況下，預測模型的設計也很難說是有效的。”

這一說法也強調(diào)了，該模型的最大貢獻是提出了一個 “如何表示地圖、如何用神經(jīng)網(wǎng)絡去學習地圖內(nèi)容” 的新模式。

讓機器 “理解” 世界

抽象化表達世界只是 VectorNet 模型的第一步，在有了向量圖之后，理解不同要素之間的聯(lián)系，學習要素之間的語義信息成了更可行的一步，最終才能讓機器學實現(xiàn)從 “看到世界” 到“理解世界”的發(fā)展。

在此之前，卷積神經(jīng)網(wǎng)絡擅長于編碼位置關系，但在學習多個要素之間的連接關系面前則顯得吃力。

相比之下，圖神經(jīng)網(wǎng)絡（Graph Neural Network）注重連接關系，而非注重空間位置關系。在一個網(wǎng)狀結(jié)構(gòu)里，普通的圖神經(jīng)網(wǎng)絡非常善于將線和節(jié)點之間的語義關系學習出來，但卻無法學習節(jié)點之間的位置關系，這也是圖神經(jīng)網(wǎng)絡最大的問題。

對自動駕駛依靠的地圖信息來說，周圍要素之間的位置信息和語義信息都很重要。一方面要精準表達車輛、車道線、紅綠燈等要素的位置信息；與此同時，在復雜的交通場景中，車輛等物體的運動狀態(tài)受到多種要素的綜合影響，比如紅綠燈、道路交規(guī)的指示，周圍物體的運動也會影響車輛的行進決策，這即是要素之間的語義關系。

要更好地對周圍車輛進行行為預測，理解其中的語義信息就顯得至關重要。

在用向量表達周圍信息的基礎之上，團隊提出了分層圖形神經(jīng)網(wǎng)絡（hierarchical graph neural network ），在所有向量之間建立語義聯(lián)系，從而在模型中同時放入了地圖上所有要素的位置信息和要素之間的語義信息。

這么做相當于在前期人為告訴模型：周圍的所有要素都可能影響車輛的運動行為決策。而在后續(xù)的學習當中，模型能夠自動學習到在諸多要素當中，哪些要素會對車輛行進產(chǎn)生影響，以及不同要素之間的影響程度。

根據(jù) Waymo 在博客中介紹，相比目前廣泛使用的 ResNet ， VectorNet 在預測的精準度上提高了 18%，更重要的是，它在進行行為預測時占用的內(nèi)存僅為 ResNet 的 29%，計算量也僅為后者的 20%。

此外，對周圍環(huán)境理解的加深也能讓機器在學習中獲得類似人類司機的經(jīng)驗，學習不同要素之間的語義關系能對周圍可能發(fā)生的情況作出推斷。比如當路邊的停車標志被意外遮擋時，人類駕駛員可以根據(jù)過往的經(jīng)驗推測標志的內(nèi)容，在對 VectorNet 的訓練中，隨機遮擋部分地圖特征能夠進一步提升 VectorNet 的預測能力，根據(jù)此前的學習經(jīng)驗可以更好推測缺失的地圖信息，最終在必要時及時作出應對。

事實上，在后續(xù)訓練中 VectorNet 已經(jīng)通過學習形成了一套“注意力機制”，論文給出的例子顯示，當自動駕駛車輛行進、變道的過程當中，機器已經(jīng)自己認識到當前車道和目標車道上的信息是更加需要關注的。這顯示出了該模型對周圍環(huán)境信息產(chǎn)生了進一步的“理解”，這一現(xiàn)象也反過來表明了該模型的可解釋性。

論文作者團隊來自谷歌和 Waymo。其中，高繼揚目前是 Waymo 的高級軟件工程師，本科畢業(yè)于清華大學，2018 年在美國南加州大學獲電機工程博士學位；趙行本科畢業(yè)于浙江大學，之后在麻省理工學院拿到碩士、博士學位，目前在 Waymo 擔任研究員；孫晨本科同樣就讀于清華大學，后于 2015 年博士畢業(yè)于南加州大學，目前在谷歌任研究員。