近日，來自清華大學(xué)的學(xué)者提出了一套基于自動編碼器實現(xiàn)的新訓(xùn)練方法，使其能夠忽略輸入圖像中的無關(guān)特征，同時保留相關(guān)特征。與現(xiàn)有的端到端提取方法相比，該方法只需要圖像級標(biāo)簽，降低了標(biāo)記成本。

研究者發(fā)現(xiàn)，通過訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)（CNNs）模型來處理編碼器的輸出，并產(chǎn)生一個轉(zhuǎn)向角來控制車輛，可驗證了該方法的有效性。整個端到端的自動駕駛方法可以忽略不相關(guān)特征的影響，即使這些特征在訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的時候也不存在。

基于卷積神經(jīng)網(wǎng)絡(luò)的自動編碼器

論文作者列出了相應(yīng)算法的主要思想和基本過程：該系統(tǒng)由自動編碼器和自動編碼器組成如圖1所示。來自前置攝像頭的圖像作為輸入提供給自動編碼器。自動編碼器由編碼器和解碼器組成，編碼器的輸出作為CNN的輸入，CNN計算并輸出轉(zhuǎn)向角度來控制車輛。 

（圖1、完整系統(tǒng)的示意圖，該系統(tǒng)包含一個自動編碼器來消除圖像中的無關(guān)特征，以及一個產(chǎn)生控制命令的CNN）

自動編碼器是一種人工神經(jīng)網(wǎng)絡(luò)，它旨在以無監(jiān)督的方式學(xué)習(xí)高效的數(shù)據(jù)編碼。它學(xué)習(xí)如何有效地對數(shù)據(jù)進行編碼，并將數(shù)據(jù)從編碼后的表示重構(gòu)為盡可能接近原始數(shù)據(jù)的表示。自編碼器的兩個主要應(yīng)用是降維和信息檢索。雖然降維與我們的任務(wù)相似，但由于它們都需要從輸入中提取有用的特征，所以通常不會去除特征。

最近，自動編碼器被證明可應(yīng)用于不同的任務(wù)，如圖像處理方面，自動編碼器可以達成圖像壓縮和圖像去噪，然而這些任務(wù)對精準(zhǔn)的路側(cè)物體識別意義不大。

在圖形壓縮工作中，圖像被壓縮以降低存儲或傳輸?shù)某杀荆辉趫D像去噪任務(wù)中，噪聲圖像被傳輸?shù)皆紙D像中。噪聲圖像作為輸入，原始圖像作為標(biāo)簽來訓(xùn)練網(wǎng)絡(luò)。另外，噪聲圖像應(yīng)該與原始圖像完全相同。

從文中的例子來看，如果將不相關(guān)的物體作為噪聲處理，那么圖像去噪的方法似乎可以用來提取相關(guān)的特征。但是，在實際駕駛場景中，天空、樹木等不相關(guān)的物體是無法去除的，所以這種方法并不可行。

Auto-Encoder如何配合CNNs

研究者提出，算法的目的是在保留所有相關(guān)特征的同時，從圖像中去除所有與決策無關(guān)的特征。為了降低標(biāo)簽的成本，最好只使用圖像級標(biāo)簽訓(xùn)練網(wǎng)絡(luò)。

同時，為了滿足端到端方法的定義，特征提取過程的輸出應(yīng)該具有隱含意義。與CNNs相比，自動編碼器在這方面是一個更好的選擇：它不可能直接理解編碼器的輸出，而是將其轉(zhuǎn)換為原始輸入，因為它包含了和輸入一樣多的信息。

解碼器的輸出和原始輸入之間總是有一些錯誤。換句話說，總有一些信息丟失。在理想情況下，算法的目標(biāo)是確保任何丟失的信息只包含不相關(guān)的特征，同時保留想要保留的特征。為了實現(xiàn)這一點，網(wǎng)絡(luò)需要被教導(dǎo)哪些類型的特征應(yīng)該保留，哪些應(yīng)該消除。然后，經(jīng)過多次重復(fù)訓(xùn)練過程，網(wǎng)絡(luò)就具備了從輸入中提取所需特征的能力。

 那么，CNNs在其中的作用又是什么呢？我們系統(tǒng)的CNN體系結(jié)構(gòu)如圖1所示，它包括三個卷積層和四個全連通層，其中最后一層輸出控制命令(即方向盤角度)。

訓(xùn)練CNN時，自動編碼器的參數(shù)保持不變。在良好場景的專業(yè)駕駛測試過程中，訓(xùn)練圖像會包含很多正常狀態(tài)的圖像。不過，一旦車輛偏離了當(dāng)前車道的中心，CNN就可能無法做出正確的決定。

為了避免該問題，研究者采用如圖2所示的在線訓(xùn)練方法：由網(wǎng)絡(luò)控制車輛，同時由專家提供控制命令。訓(xùn)練過程中獲取的圖像將作為訓(xùn)練數(shù)據(jù)，而專家給出的命令作為標(biāo)簽，這些數(shù)據(jù)隨后被用來訓(xùn)練網(wǎng)絡(luò)。

由于網(wǎng)絡(luò)是隨機初始化的，在訓(xùn)練的早期，車輛經(jīng)常處于異常狀態(tài)，避免了正常圖像過多的問題。

（圖2、CNN培訓(xùn)過程。實線表示用于控制車輛的信息流，虛線表示用于訓(xùn)練模型的信息流）

利用仿真實現(xiàn)的模擬器和數(shù)據(jù)集描述（Dataset Description）

展示了仿真模擬器和數(shù)據(jù)收集過程，并將開發(fā)的系統(tǒng)與具有相同網(wǎng)絡(luò)結(jié)構(gòu)的基線模型的性能進行了比較。

仿真環(huán)境采用PreScan構(gòu)建，PreScan是智能車輛系統(tǒng)開發(fā)的仿真環(huán)境，用戶可以在其中設(shè)計逼真的交通場景。一旦特定的交通場景完成，該工具可以自動生成Simulink模型，用于測試自動駕駛算法。

為此，研究者制定了以下四個測試計劃。

1)測試方案一:算法在場景1-1進行訓(xùn)練，在場景1-3和場景1-4進行測試。

2)測試方案二:算法在場景1-2進行訓(xùn)練，在場景1-3和場景1-4進行測試。

3)測試方案三:算法在場景2-1進行訓(xùn)練，在場景2-3和場景2-4進行測試。

4)測試方案四:算法在場景2-2進行訓(xùn)練，在場景2-3和場景2-4進行測試。

（圖3、內(nèi)置PreScan的場景）

自動解碼器訓(xùn)練過程需要收集正、負樣本。在所構(gòu)建的場景中，道路和車道標(biāo)志是影響駕駛指令的主要因素，而樹木和天空則無關(guān)緊要。研究者先在模擬環(huán)境中隨機拍攝圖片，然后將每個圖像分配給一個數(shù)據(jù)集，如下所示。

如果圖像主要由道路特征組成，則將其歸類為陽性樣本。另一方面，如果圖像主要由樹木或天空特征組成，則將其歸類為負樣本。否則，如果相關(guān)特征和不相關(guān)特征的比例幾乎相同，則丟棄圖像。正、負樣本集如圖4所示。

在訓(xùn)練CNN的方法中，用于訓(xùn)練目的的數(shù)據(jù)是在訓(xùn)練過程中收集的。前置攝像頭拍攝的輸入圖像尺寸為240 × 320 × 3。由于任務(wù)是保持在車道上，標(biāo)簽即轉(zhuǎn)向角度可以通過跟蹤算法來確定，該算法可以控制車輛沿著車道的中心線行駛，且該跟蹤算法由PreScan環(huán)境提供。 

（圖4、部分?jǐn)?shù)據(jù)集用于訓(xùn)練自動編碼器 ）

綜合看來，該論文提出了一種新的訓(xùn)練方法，即允許自動編碼器從輸入圖像中提取有用的特征，并將其應(yīng)用到端到端自動駕駛方法中，以忽略不相關(guān)的路邊目標(biāo)。

從中我們可以得到一些結(jié)論：首先，在訓(xùn)練自動編碼器時采用正負交替采樣，編碼器可學(xué)會從輸入圖像中去除那些不相關(guān)的特征，從而保證輸出特征映射只包含相關(guān)特征。在解碼器輸出的圖像中，不相關(guān)的物體，如樹木和天空，實際上是無法區(qū)分的，而道路和車道標(biāo)記是清晰的。

同時，文中所提出的訓(xùn)練方法僅依賴圖像級標(biāo)記即可對自動編碼器進行訓(xùn)練。與現(xiàn)有的端到端多任務(wù)自動駕駛方法相比，該方法降低了標(biāo)簽成本。

另外，使用自動編碼器與CNN組成的端到端自動駕駛方法，即使訓(xùn)練數(shù)據(jù)中幾乎沒有不相關(guān)的物體，也不會受到路邊不相關(guān)物體的影響。由此提煉出的模型和基線模型不容易受到陰影的影響。當(dāng)陽光角度設(shè)置為45°，提出的模型仍然提供良好的性能，而基線模型無法保持車輛在車道上。

這種方法目前的一個限制是「簡單的場景」。為了擴大應(yīng)用范圍，可以有不同的無關(guān)對象，如建筑物和周圍的車輛。該模型中的CNN可以用強化學(xué)習(xí)算法代替來處理動態(tài)場景。也可以考慮有限范圍的道路測試。此外，為了處理如此復(fù)雜的圖像，決策網(wǎng)絡(luò)的架構(gòu)也將被擴展。

原文鏈接: 

Wang, T., Luo, Y., Liu, J., Chen, R., & Li, K. (2022). End-to-end self-driving approach independent of irrelevant roadside objects with auto-encoder. IEEE Transactions on Intelligent Transportation Systems, 23(1), 641-650. doi:http://dx.doi.org/10.1109/TITS.2020.3018473

主要作者信息:

Yugong Luo(IEEE成員)——分別在1996年和1999年分別獲得重慶大學(xué)科技學(xué)士和科學(xué)碩士學(xué)位。2003年獲得清華大學(xué)博士學(xué)位。現(xiàn)任清華大學(xué)汽車與交通學(xué)院教授。他撰寫了70多篇期刊文章，擁有31項專利。主要研究方向為智能互聯(lián)電動汽車動力學(xué)與控制、汽車噪聲控制。

Tinghan Wang——在2016年獲得了清華大學(xué)的科技學(xué)士學(xué)位，目前正在攻讀博士學(xué)位。他的研究興趣包括基于深度神經(jīng)網(wǎng)絡(luò)的端到端自動駕駛和深度強化學(xué)習(xí)。

Jinxin Liu——于2017年獲得合肥工業(yè)大學(xué)理工科學(xué)士學(xué)位。他目前在攻讀清華大學(xué)博士學(xué)位。主要研究方向為汽車意圖識別和行為規(guī)劃。