本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

疫情當(dāng)下，Waymo等自動(dòng)駕駛廠商暫時(shí)不能在現(xiàn)實(shí)世界的公共道路上進(jìn)行訓(xùn)練、測(cè)試了。

不過，工程師們還可以在GTA（劃掉），啊不，在仿真環(huán)境里接著跑車。

模擬環(huán)境里的場(chǎng)景、對(duì)象、傳感器反饋通常是用虛幻引擎或者Unity這樣的游戲引擎來創(chuàng)建的。

為了實(shí)現(xiàn)逼真的激光雷達(dá)等傳感器建模，就需要大量的手動(dòng)操作，想要獲得足夠多、足夠復(fù)雜的數(shù)據(jù)，可得多費(fèi)不少功夫。

數(shù)據(jù)不夠，無人車標(biāo)桿Waymo決定用GAN來湊。

這只GAN，名叫SurfelGAN，能基于無人車收集到的有限的激光雷達(dá)和攝像頭數(shù)據(jù)，生成逼真的相機(jī)圖像。

用GAN生成的數(shù)據(jù)訓(xùn)練，還是訓(xùn)練自動(dòng)駕駛汽車，這到底靠譜不靠譜？

SurfelGAN

那么首先，一起來看看SurfelGAN是怎樣煉成的。

主要有兩個(gè)步驟：

首先，掃描目標(biāo)環(huán)境，重建一個(gè)由大量有紋理的表面元素（Surfel）構(gòu)成的場(chǎng)景。

然后，用相機(jī)軌跡對(duì)表面元素進(jìn)行渲染，同時(shí)進(jìn)行語義和實(shí)例分割。接著，通過GAN生成逼真的相機(jī)圖像。

表面元素場(chǎng)景重建

為了忠實(shí)保留傳感器信息，同時(shí)在計(jì)算和存儲(chǔ)方面保持高效，研究人員提出了紋理增強(qiáng)表面元素地圖表示方法。

表面元素（surface element，縮寫Surfel）適用于動(dòng)態(tài)幾何建模，一個(gè)對(duì)象由一組密集的點(diǎn)或帶有光照信息的面元來表示。

研究人員將激光雷達(dá)掃描捕獲的體素，轉(zhuǎn)換為具有顏色的表面元素，并使其離散成 k×k 的網(wǎng)格。

由于光照條件的不同和相機(jī)相對(duì)姿勢(shì)（距離和視角）的變化，每個(gè)表面元素在不同的幀中可能會(huì)有不同的外觀，研究人員提出，通過創(chuàng)建一個(gè)由 n 個(gè)不同距離的 k×k 網(wǎng)格組成的編碼簿，來增強(qiáng)表面元素表示。

在渲染階段，該方法根據(jù)相機(jī)姿勢(shì)來決定使用哪一個(gè) k×k 塊。

圖中第二行，即為該方法的最終渲染效果。可以看到，與第一行基線方法相比，紋理增強(qiáng)表面元素圖消除了很多偽影，更接近于第三行中的真實(shí)圖像。

為了處理諸如車輛之類的動(dòng)態(tài)對(duì)象，SurfelGAN還采用了Waymo開放數(shù)據(jù)集中的注釋。來自目標(biāo)對(duì)象的激光雷達(dá)掃描的數(shù)據(jù)會(huì)被積累下來，這樣，在模擬環(huán)境中，就可以在任意位置完成車輛、行人的重建。

通過SurfelGAN合成圖像

完成上面的步驟，模擬場(chǎng)景仍存在幾何形狀和紋理不完美的問題。

這時(shí)候，GAN模塊就上場(chǎng)了。

訓(xùn)練設(shè)置了兩個(gè)對(duì)稱的編碼-解碼生成器，從Sufel圖像到真實(shí)圖像的GS→I，以及反過來從真實(shí)圖像到Sufel圖像的GI→S。同樣也有兩個(gè)判別器，分別針對(duì)Sufel域和真實(shí)域。

上圖中，綠色的線代表有監(jiān)督重建損失，紅色的線代表對(duì)抗損失，藍(lán)線/黃線為周期一致性損失。

輸入數(shù)據(jù)包括配對(duì)數(shù)據(jù)和未配對(duì)數(shù)據(jù)。其中，未配對(duì)數(shù)據(jù)用來實(shí)現(xiàn)兩個(gè)目的：

• 提高判別器的泛化性能；
• 通過強(qiáng)制循環(huán)一致性來規(guī)范生成器。

另外，由于表面元素圖像的覆蓋范圍有限，渲染出的圖像中包含了大面積的未知區(qū)域，并且，相機(jī)和表面元素之間的距離也引入了另一個(gè)不確定因素，研究人員采用了距離加權(quán)損失來穩(wěn)定GAN的訓(xùn)練。

具體而言，在數(shù)據(jù)預(yù)處理過程中，先生成一個(gè)距離圖，然后利用距離信息作為加權(quán)稀疏，對(duì)重構(gòu)損失進(jìn)行調(diào)節(jié)。

實(shí)驗(yàn)結(jié)果

最后，效果如何，還是要看看實(shí)驗(yàn)結(jié)果。

研究人員們基于Waymo Open Dataset（WOD）進(jìn)行了實(shí)驗(yàn)。該數(shù)據(jù)集包括798個(gè)訓(xùn)練序列，和202個(gè)驗(yàn)證序列。每個(gè)序列包含20秒的攝像頭數(shù)據(jù)和激光雷達(dá)數(shù)據(jù)。此外，還包括WOD中真的對(duì)車輛、行人的注釋。

他們還從WOD中衍生出了一個(gè)新的數(shù)據(jù)集——Waymo Open Dataset-Novel View。在這個(gè)數(shù)據(jù)集中，根據(jù)相機(jī)擾動(dòng)姿勢(shì)，研究人員為原始數(shù)據(jù)集里的每一幀創(chuàng)建了新的表面元素渲染。

此外，還有9800個(gè)100幀短序列，用于真實(shí)圖像的無配對(duì)訓(xùn)練。以及雙攝像頭-姿勢(shì)數(shù)據(jù)集（DCP），用于測(cè)試模型的真實(shí)性。

可以看到，在檢測(cè)器的鑒定下，SurfelGAN生成的最高質(zhì)量圖像將AP@50從52.1%拉升到了62.0%，與真實(shí)圖像的61.9%持平。

Waymo認(rèn)為，這樣的結(jié)果為將來的動(dòng)態(tài)對(duì)象建模和視頻生成模擬系統(tǒng)奠定了堅(jiān)實(shí)的基礎(chǔ)。

華人一作

論文的第一作者，是Waymo的華人實(shí)習(xí)生Zhenpei Yang，他于2019年6月至8月間在Waymo完成了這項(xiàng)研究。

Zhenpei Yang本科畢業(yè)于清華大學(xué)自動(dòng)化系，目前在德州大學(xué)奧斯汀分校攻讀博士，研究方向是3D視覺和深度學(xué)習(xí)。

Waymo首席科學(xué)家Dragomir Anguelov，也是論文的作者之一。