即將在6月舉行的CVPR 2019，是機(jī)器視覺(jué)方向最重要的學(xué)術(shù)會(huì)議。評(píng)選結(jié)果已經(jīng)宣布，今年論文量增加了56%，與無(wú)人駕駛相關(guān)的論文和項(xiàng)目也是扎堆亮相。其中的一大亮點(diǎn)，就是以自動(dòng)駕駛視覺(jué)為核心的CVPR WAD 挑戰(zhàn)賽。

今年的挑戰(zhàn)賽中，伯克利和滴滴將分別開(kāi)放了自家的超大規(guī)模駕駛視頻數(shù)據(jù)集BDD100K和D²-City，BDD100K包含10萬(wàn)個(gè)美國(guó)公開(kāi)駕駛視頻，D²-City提供中國(guó)幾大城市的超過(guò)10000個(gè)視頻記錄。這些數(shù)據(jù)集都被標(biāo)注了好了所有道路物體，以及天氣、道路和交通條件等關(guān)鍵對(duì)象和數(shù)據(jù)，以此催生能夠改變無(wú)人駕駛安全隱憂(yōu)的算法。 

按照伯克利的規(guī)劃，這次挑戰(zhàn)將集中在目標(biāo)檢測(cè)與目標(biāo)跟蹤任務(wù)的域適應(yīng)上，并能夠在中美的不同城市場(chǎng)景中實(shí)現(xiàn)自動(dòng)遷移。

那么，域適應(yīng)對(duì)自動(dòng)駕駛的安全問(wèn)題究竟有多重要?我們通過(guò)一篇文章來(lái)?yè)屜攘私庖幌隆?/p>

論自動(dòng)駕駛的倒掉與重生

在解釋“域適應(yīng)”之前，有必要先搞清楚，現(xiàn)在的自動(dòng)駕駛技術(shù)都在頭痛哪些問(wèn)題。

盡管無(wú)人駕駛測(cè)試車(chē)的上路里程和接管數(shù)據(jù)都越來(lái)越漂亮，但對(duì)于機(jī)器學(xué)習(xí)模型來(lái)說(shuō)，如何在新的、未知的環(huán)境中也能和測(cè)試道路上表現(xiàn)的一樣優(yōu)秀，這仍然是一個(gè)公開(kāi)的難題。

舉個(gè)例子，自動(dòng)駕駛汽車(chē)可以利用在硅谷的道路測(cè)試數(shù)據(jù)集訓(xùn)練出一個(gè)表現(xiàn)良好的無(wú)人車(chē)模型。然而，同樣的模型如果被部署在波士頓這樣多雪天氣的地區(qū)，就可能表現(xiàn)得很糟糕，因?yàn)闄C(jī)器以前從來(lái)沒(méi)有見(jiàn)過(guò)雪。如何在差異化的環(huán)境中進(jìn)行有效的自主操作，復(fù)用自己學(xué)到的經(jīng)驗(yàn)，這仍然是機(jī)器學(xué)習(xí)的一個(gè)難點(diǎn)。 

如果說(shuō)波士頓和硅谷，由于氣候和路況上的巨大差異，在一年的任何時(shí)候，都可以被系統(tǒng)標(biāo)記為不同的域，可以通過(guò)不同的模型來(lái)解決。那么面對(duì)高度相似域，比如同樣是城市街景，但北京和重慶卻有著不同的道路設(shè)計(jì)，難度于是再一次升級(jí)了。

以往的解決方案是“吃一塹，長(zhǎng)一智”。收集訓(xùn)練集(包括失敗范例)的數(shù)據(jù)，提取特征，然后讓機(jī)器依據(jù)經(jīng)驗(yàn)誤差最小準(zhǔn)則學(xué)習(xí)分類(lèi)器。但這樣容易產(chǎn)生三個(gè)問(wèn)題：

• 一是域之間的遷移效果不穩(wěn)定。如果訓(xùn)練集和測(cè)試集分布一致，則模型的遷移效果較好。如果分布不一致，在源域過(guò)擬合，目標(biāo)域上則表現(xiàn)并不讓人滿(mǎn)意。
• 二是有限的變化性。通過(guò)標(biāo)注好的訓(xùn)練數(shù)據(jù)集所學(xué)會(huì)的策略，往往只能應(yīng)對(duì)特定的環(huán)境和物理系統(tǒng)。而真實(shí)的世界常常會(huì)遇到動(dòng)態(tài)變化，比如異常光線、特殊氣候現(xiàn)象等等，這些都會(huì)改變域?qū)傩圆⒆専o(wú)人車(chē)不知所措。 

三是社會(huì)輿論的高風(fēng)險(xiǎn)性。要讓無(wú)人車(chē)系統(tǒng)從失敗中吸取經(jīng)驗(yàn)，首先，它要先犯錯(cuò)。但這在目前普通居民對(duì)無(wú)人車(chē)安全非常擔(dān)憂(yōu)的大環(huán)境下，無(wú)人車(chē)碰撞、剮蹭、識(shí)別太慢等問(wèn)題都會(huì)被拿出來(lái)質(zhì)疑，再采用依靠事故數(shù)據(jù)來(lái)學(xué)習(xí)如何避免錯(cuò)誤的方法無(wú)疑是災(zāi)難性的。

顯然，我們需要借助其他方法來(lái)調(diào)教無(wú)人車(chē)，來(lái)減少它在陌生環(huán)境中失敗的次數(shù)。“域自適應(yīng)”就是其中之一。

那么，到底什么是域自適應(yīng)學(xué)習(xí)?

先解釋兩個(gè)關(guān)鍵概念：

• 一是源域(source domain)表示與測(cè)試樣本不同的領(lǐng)域，但是有豐富的標(biāo)注數(shù)據(jù)。比如伯克利和滴滴的駕駛視頻數(shù)據(jù)集BDD100K，以及D²-City。
• 一個(gè)是目標(biāo)域(target domain)表示測(cè)試樣本所在的領(lǐng)域，無(wú)標(biāo)簽或者只有少量標(biāo)簽。當(dāng)一輛無(wú)人車(chē)測(cè)試車(chē)從硅谷變換到波士頓的道路上，它面對(duì)的就是一個(gè)全新的目標(biāo)域。

如何盡可能地復(fù)用它在源域數(shù)據(jù)集中得到的先驗(yàn)知識(shí)，盡可能準(zhǔn)確地對(duì)目標(biāo)域物體實(shí)現(xiàn)檢測(cè)、跟蹤等學(xué)習(xí)任務(wù)，就成為無(wú)人車(chē)模型要面臨的一大問(wèn)題。 

我們?cè)賹⑷蝿?wù)分門(mén)別類(lèi)梳理一下：

1.域適應(yīng)的可能性。

簡(jiǎn)單來(lái)說(shuō)，就是滿(mǎn)足哪些條件才有可能實(shí)現(xiàn)域自適應(yīng)學(xué)習(xí)。這對(duì)模型的學(xué)習(xí)能力(算法也有學(xué)霸和學(xué)渣之分)、源域和目標(biāo)域的相關(guān)性(比如硅谷和重慶的路面差異)、算法的誤差界分析(源域和目標(biāo)域必須同時(shí)滿(mǎn)足最小近似誤差)、學(xué)習(xí)任務(wù)的先驗(yàn)知識(shí)等，這四個(gè)問(wèn)題的妥善解決，才能有效幫助機(jī)器進(jìn)行域自適應(yīng)學(xué)習(xí)。

2.魯棒性。

在域自適應(yīng)學(xué)習(xí)中，訓(xùn)練樣本和測(cè)試樣本之間的分布不一致，因此導(dǎo)致源域上訓(xùn)練的模型往往不適用于目標(biāo)域的學(xué)習(xí)。而域自適應(yīng)學(xué)習(xí)的魯棒性則能夠度量算法對(duì)訓(xùn)練樣本改變的敏感程度，從而克服目標(biāo)域泛化誤差界的“擾動(dòng)”。簡(jiǎn)單來(lái)說(shuō)域自適應(yīng)學(xué)習(xí)模型就是一枚“暖男”，對(duì)誤差的包容性更強(qiáng)。

3.統(tǒng)計(jì)估計(jì)的一致性。

在確保模型可以對(duì)目標(biāo)域進(jìn)行學(xué)習(xí)之后，就需要解決域適應(yīng)學(xué)習(xí)有效性的問(wèn)題了。

這往往依賴(lài)于有效的源域和目標(biāo)域的概率分布判斷也就是最考驗(yàn)機(jī)器智商的一致性分析。使用盡可能少的樣本數(shù)，實(shí)現(xiàn)最小的誤差上界。好的域自適應(yīng)性學(xué)習(xí)算法是不允許“偏科”的，泛化能力得非常強(qiáng)才行。 

說(shuō)了這么多，不難看出域自適應(yīng)性學(xué)習(xí)本質(zhì)上和人類(lèi)的學(xué)習(xí)模式極為相似：在課堂上學(xué)習(xí)前人總結(jié)好的科學(xué)知識(shí)，然后在與現(xiàn)實(shí)的交流過(guò)程中不斷擴(kuò)充新的知識(shí)并進(jìn)行探索，完成對(duì)復(fù)雜事物的認(rèn)知，從而達(dá)到自主學(xué)習(xí)、適應(yīng)新科目的目的。

無(wú)人車(chē)的域自適應(yīng)性學(xué)習(xí)也是同樣的邏輯：先利用已有的標(biāo)注數(shù)據(jù)進(jìn)行初始化學(xué)習(xí)，然后在大量未標(biāo)注的數(shù)據(jù)中不斷依據(jù)先驗(yàn)知識(shí)進(jìn)行樣本挖掘，以增量地學(xué)習(xí)模型和適配未標(biāo)注數(shù)據(jù)，從而在陌生的道路環(huán)境中也能表現(xiàn)良好地完成學(xué)習(xí)任務(wù)。

目前看來(lái)，域自適應(yīng)性學(xué)習(xí)也是完成無(wú)人駕駛視覺(jué)任務(wù)成本效益較高的方式。

新的算法還在路上

既然“域適應(yīng)”對(duì)于無(wú)人駕駛來(lái)說(shuō)如此重要，那么目前究竟有哪些比較值得一覽的算法呢?

目前看來(lái)，由于無(wú)人駕駛?cè)蝿?wù)自身的復(fù)雜性，往往需要 從多數(shù)據(jù)源向目標(biāo)域進(jìn)行遷移學(xué)習(xí)，這就必須考慮兩個(gè)難題：

• 一是多種源域數(shù)據(jù)本身之間具有偏差，比如伯克利的數(shù)據(jù)集BDD100K覆蓋了不同的時(shí)間、光照、天氣和地理位置，甚至包含了GPS和IMU以及對(duì)應(yīng)的時(shí)間戳信息;
• 二是多種源域數(shù)據(jù)間類(lèi)別存在偏差。比如滴滴D²-City數(shù)據(jù)集中，將注釋了包圍框和跟蹤ID的道路對(duì)象分為12個(gè)不同的類(lèi)別，而伯克利的數(shù)據(jù)集BDD100K中的GT框標(biāo)簽則只有10個(gè)類(lèi)別。

這些都對(duì)算法性能提出了不少挑戰(zhàn)。在此，我們不妨列舉幾個(gè)具有代表性的算法，看看他們是如何解決無(wú)人駕駛相關(guān)技術(shù)難題的：

1.自適應(yīng)曝光算法。

前面提到，不同城市和路面環(huán)境的光線強(qiáng)弱都是不同的，為保證無(wú)人駕駛車(chē)輛在各種光線環(huán)境都能夠獲取可靠的道路信息，有研究人員提出了一種自適應(yīng)曝光算法。利用光學(xué)傳感器將采集圖像轉(zhuǎn)化為灰度值，并逐行進(jìn)行動(dòng)態(tài)閾值比對(duì)處理，快速獲取下一周期正確曝光點(diǎn)。在道路實(shí)際的測(cè)試中，該算法能夠快速并有效獲取道路信息，后續(xù)的邊界處理較為清晰。 

2.路面障礙物檢測(cè)。

原理是利用已有的先驗(yàn)知識(shí)，比如從源域圖像中學(xué)會(huì)辨識(shí)障礙物的顏色、邊緣、紋理特征等等，對(duì)目標(biāo)域道路上的不同車(chē)輛進(jìn)行分析并快速提取出障礙物。

這方面的算法很多，比如Zielke等人利用馬路邊緣的對(duì)稱(chēng)性與顯著性來(lái)提取馬路邊緣信息。Kuehnle等人基于圖像中車(chē)輪的對(duì)稱(chēng)性來(lái)識(shí)別車(chē)的后輪。Crisman等人利用視覺(jué)圖像中的顏色信息實(shí)現(xiàn)了馬路跟隨等等，都從不同程度提升了無(wú)人駕駛目標(biāo)檢測(cè)的性能。

3.多源域數(shù)據(jù)遷移算法。

商湯的研究人員提出了一種名為“雞尾酒”的網(wǎng)絡(luò)，以解決將知識(shí)從多源域的數(shù)據(jù)向目標(biāo)域遷移的問(wèn)題，來(lái)幫助無(wú)人車(chē)模型更有效地識(shí)別新環(huán)境。 

具體的做法是，利用共享特征網(wǎng)絡(luò)，對(duì)所有源域以及目標(biāo)域進(jìn)行特征建模，然后利用多路對(duì)抗域適應(yīng)技術(shù)(類(lèi)似于GAN生成器)，每個(gè)源域分別與目標(biāo)域進(jìn)行兩兩組合對(duì)抗，以此明確學(xué)習(xí)域的不變特征，極大程度地降低系統(tǒng)因數(shù)據(jù)偏差而對(duì)環(huán)境進(jìn)行誤判。

歸根結(jié)底，“域自適應(yīng)”方法不僅降低了訓(xùn)練風(fēng)險(xiǎn)，也有效地提升了系統(tǒng)的學(xué)習(xí)性能。從這個(gè)角度想，就更期待在CVPR 2019挑戰(zhàn)賽中見(jiàn)到新的黑馬了!

多說(shuō)一點(diǎn)

現(xiàn)在看到“無(wú)人駕駛”這四個(gè)字，絕大多數(shù)人會(huì)想到什么?圈內(nèi)人可能會(huì)覺(jué)得“涼”，而普通民眾則是“反感”。

2019第一季度剛剛過(guò)去，關(guān)于無(wú)人駕駛的負(fù)面新聞層出不窮：

去年創(chuàng)下融資紀(jì)錄的RoadStar.ai星行科技死于內(nèi)訌，成為第一家倒下的無(wú)人車(chē)公司;蘋(píng)果自動(dòng)駕駛部門(mén)裁員190人，無(wú)人車(chē)數(shù)量減少到62輛;有吳恩達(dá)背景的美國(guó)自動(dòng)駕駛創(chuàng)業(yè)公司Drive.ai上個(gè)月也傳出了“賣(mài)身”的消息。

產(chǎn)業(yè)之所以受挫，實(shí)在是因?yàn)闊o(wú)人車(chē)的安全性難以完全說(shuō)服民眾。

就在前兩天，有研究人員通過(guò)在路上貼貼紙之類(lèi)的“物理攻擊”就讓特斯拉的自動(dòng)駕駛汽車(chē)并入了反向車(chē)道，甚至還能在沒(méi)有車(chē)主授權(quán)的狀態(tài)下用Xbox 游戲手柄操控。

即便是在無(wú)人車(chē)最為成熟的灣區(qū)，也有不少當(dāng)?shù)鼐用裨サ脑ィ脴尩哪脴專(zhuān)屓藢?duì)無(wú)人駕駛的未來(lái)有點(diǎn)灰心。而當(dāng)前景變得不再明朗的時(shí)候，或許，追求技術(shù)才是最終的續(xù)命之道。

以往在計(jì)算機(jī)視覺(jué)、機(jī)器學(xué)習(xí)等領(lǐng)域的會(huì)議中，關(guān)于域適應(yīng)的研究都集中在圖像分類(lèi)和語(yǔ)義分割方面，很少看到實(shí)例級(jí)任務(wù)上的應(yīng)用，如目標(biāo)檢測(cè)及跟蹤，盡管它們對(duì)于無(wú)人駕駛來(lái)說(shuō)更加重要。

當(dāng)然，想要讓“域適應(yīng)”幫助無(wú)人車(chē)更有效的訓(xùn)練，只靠伯克利和滴滴在CVPR 2019中釋放的數(shù)據(jù)集或某一場(chǎng)比賽還遠(yuǎn)遠(yuǎn)不夠，還要為研究者提供更多元的支持，比如增強(qiáng)研究團(tuán)隊(duì)與車(chē)企的聯(lián)系，圍繞真實(shí)需求進(jìn)行配套研發(fā)等等。

在此之前，這項(xiàng)復(fù)雜的技術(shù)還是老老實(shí)實(shí)地待在實(shí)驗(yàn)室和測(cè)試道路上吧。