arXiv論文“Sim-to-Real Domain Adaptation for Lane Detection and Classification in Autonomous Driving“，2022年5月，加拿大滑鐵盧大學的工作。

雖然自主駕駛的監(jiān)督檢測和分類框架需要大型標注數(shù)據(jù)集，但光照真實模擬環(huán)境生成的合成數(shù)據(jù)推動的無監(jiān)督域適應（UDA，Unsupervised Domain Adaptation）方法則是低成本、耗時更少的解決方案。本文提出對抗性鑒別和生成（adversarial discriminative and generative）方法的UDA方案，用于自動駕駛的車道線檢測和分類應用。

還介紹Simulanes數(shù)據(jù)集生成器，利用CARLA的巨大交通場景和天氣條件，創(chuàng)建一個自然的合成數(shù)據(jù)集。提出的UDA框架將帶標簽的合成數(shù)據(jù)集作為源域，而目標域是未標記的真實數(shù)據(jù)。用對抗生成和特征鑒別器，調(diào)試學習模型，預測目標域的車道位置和類別。用真實數(shù)據(jù)集和合成數(shù)據(jù)集進行評估。

開源UDA框架在??githubcom??/anita-hu/sim2real-lane-detection，還有數(shù)據(jù)集生成器在github.com/anita-hu/simulanes。

現(xiàn)實世界中的駕駛具有多樣性，交通條件、天氣和周圍環(huán)境也各不相同。因此，模擬場景的多樣性對模型在現(xiàn)實世界中的良好適應性至關重要。有許多用于自動駕駛的開源模擬器，即CARLA和LGSVL。本文選擇CARLA來生成模擬數(shù)據(jù)集，除靈活的Python API外，CARLA還包含豐富的覆蓋城市、農(nóng)村和公路場景的預先繪制地圖內(nèi)容。

模擬數(shù)據(jù)生成器Simulanes在城市、農(nóng)村和公路環(huán)境中生成了各種模擬場景，包括15個車道類別和動態(tài)天氣。如圖顯示來自合成數(shù)據(jù)集的樣本。行人和車輛參與者隨機生成并放置在地圖上，通過遮擋增加數(shù)據(jù)集的難度。根據(jù)TuSimple和CULane數(shù)據(jù)集，將車輛附近的最大車道數(shù)限制為4條，并用行錨點為標簽。

由于CARLA模擬器不直接給出車道位置標簽，用CARLA的路點系統(tǒng)（waypoint system）生成標簽。CARLA路點是車輛autopilot要遵循的預定義位置，位于車道中心。為了獲得車道位置標簽，將當前車道的路點左右移動W/2，其中W是模擬器給定的車道寬度。然后將這些移動的路點投影到攝像頭坐標系，并采用樣條曲線擬合，以便沿預定的行錨點生成標簽。類標簽由模擬器給出，是15個類的一個。

為了生成具有N幀的數(shù)據(jù)集，將N均勻地劃分到所有可用的地圖上。從默認的CARLA地圖中，用城鎮(zhèn)1、3、4、5、7和10，而城鎮(zhèn)2和6由于提取的車道位置標簽與圖像的車道位置之間存在差異而未使用。對每個地圖，車輛參與者在隨機位置生成，并隨機移動。動態(tài)天氣通過將時間作為正弦函數(shù)平滑地改變太陽的位置并偶爾產(chǎn)生風暴來實現(xiàn)，風暴通過云量、水量和積水等變量影響環(huán)境的外觀。為了避免在同一位置保存多個幀，檢查車輛是否已從前一幀位置移動，如果這個車輛停止太長時間，則重新生成新的車輛。

當sim-to-real算法應用于車道檢測時，采用端到端的方法，并使用Ultra- Fast-Lane-Detection（UFLD）模型作為基礎網(wǎng)絡。之所以選擇UFLD，是因為其輕量級架構可以在相同輸入分辨率下實現(xiàn)300幀/秒速度，同時具有與最先進方法相當?shù)男阅?。UFLD將車道檢測任務表述為基于行的選擇法，其中每個車道由預定義行的一系列水平位置表示，即行錨點。對于每個行錨點，位置被劃分為w網(wǎng)格單元。對于第i條車道和第j行錨點，位置預測成為一個分類問題，其中模型輸出選擇（w+1）網(wǎng)格單元的概率Pi，j。輸出中的附加維度是無車道。

UFLD提出一個輔助分割分支，在多尺度上聚集特征來建模局部特征，這個只在訓練期間使用。隨UFLD方法，交叉熵損失用于分割損失Lseg。對于車道分類，添加一個全連接（FC）層的小分支，接收與車道位置預測的FC層相同的特征。車道分類損失Lcls也使用交叉熵損失。

為了緩解UDA設置的域漂移問題，采用了UNIT（“Unsupervised Image-to-Image Translation Networks“，NIPS，2017）& MUNIT（“Multimodal unsupervised image-to-image translation,” ECCV 2018）的對抗性生成方法，以及使用特征鑒別器的對抗性判別方法。如圖所示：提出了對抗性生成方法（A）和對抗性判別方法（B）。UNIT和MUNIT在（A）中表示，其中顯示用于圖像翻譯（image translation）的生成器輸入。MUNIT的附加風格輸入以藍色虛線顯示。為了簡單起見，省略了MUNIT風格的編碼器輸出，因為它不用于圖像翻譯。

實驗結果如下：

左：直接遷移法，右：對抗鑒別（ADA）方法