MIT團(tuán)隊最新研究,僅靠LiDAR和2D地圖實(shí)現(xiàn)端到端自動駕駛
提到自動駕駛,大家自然而然地就會想到「視覺算法」派和「激光雷達(dá)」派的爭論,前者依靠攝像頭的純視覺感知,后者則強(qiáng)調(diào)激光雷達(dá)(LiDAR)的精準(zhǔn)測距。據(jù)了解,2021年配有激光雷達(dá)的車型將會達(dá)到23款,但多數(shù)是作為高分辨率影像信息的一種補(bǔ)充。
最近, MIT 計算機(jī)科學(xué)與人工智能實(shí)驗室(CSAIL)團(tuán)隊成功展示了一種基于機(jī)器學(xué)習(xí)的自動駕駛系統(tǒng),該端到端框架僅使用 LiDAR獲取的原始 3D 點(diǎn)云數(shù)據(jù)和類似于手機(jī)上的低分辨率 GPS 地圖就能進(jìn)行自主導(dǎo)航,并且大大提升了魯棒性。對依靠 LiDAR 的自動駕駛技術(shù)來說,這項研究意義重大。
圖示:基于激光雷達(dá)的端到端導(dǎo)航。(來源:MIT CSAIL)
自動駕駛需要對車輛進(jìn)行實(shí)時控制,這就需要端到端學(xué)習(xí),可以直接從原始傳感器數(shù)據(jù)產(chǎn)生實(shí)時決策進(jìn)而自動控制。此外,現(xiàn)實(shí)世界中可部署的自動駕駛系統(tǒng)不僅需要準(zhǔn)確、高效,還需要魯棒性,而端到端模型對擾動有著較高的敏感性。
CSAIL 先前的工作表明,僅使用由攝像機(jī)的視覺數(shù)據(jù)生成的稀疏地形圖和粗略的定位即可執(zhí)行點(diǎn)對點(diǎn)導(dǎo)航。目前,計算機(jī)視覺還無法很好地應(yīng)對照明等環(huán)境變化產(chǎn)生的影響,相反, LiDAR 傳感器可以提供更準(zhǔn)確的距離(深度)信息。
然而, LiDAR 的一個缺點(diǎn)是三維數(shù)據(jù)所帶來的龐大數(shù)據(jù)量和計算量。例如,典型的64通道傳感器每秒可產(chǎn)生超過200萬個數(shù)據(jù)點(diǎn);推理 3D 模型所需的計算量是推理 2D 圖像的14倍。但是,將數(shù)據(jù)折疊為 2D 格式又會導(dǎo)致大量信息的丟失。
因此, MIT 團(tuán)隊基于稀疏卷積內(nèi)核和硬件感知模型設(shè)計了名為 Fast-LiDARNet 的神經(jīng)網(wǎng)絡(luò)。通過主動降低點(diǎn)云的采樣率,該神經(jīng)網(wǎng)絡(luò)能夠高效地在完整的 LiDAR 點(diǎn)云上學(xué)習(xí),做出實(shí)時控制決策。
在現(xiàn)實(shí)世界中,瞬時決策會因為傳感器的問題出現(xiàn)外分布(out-of-distribution)的情況。針對這一問題,MIT 團(tuán)隊提出「混合證據(jù)融合」(HybridEvidential Fusion)的方法,該方法通過證據(jù)深度學(xué)習(xí)簡單而直接地預(yù)測出決策的不確定性,再通過加權(quán)的方式智能地融合控制決策,實(shí)現(xiàn)可靠的轉(zhuǎn)向操作。
圖示:高效且強(qiáng)大的基于LiDAR的端到端導(dǎo)航框架。(來源:論文)
研究人員在全尺寸車輛上評估了他們基于激光雷達(dá)的端到端自動駕駛系統(tǒng),展示了出色的車道穩(wěn)定以及導(dǎo)航功能。該系統(tǒng)顯著提高了魯棒性,減少了因失控導(dǎo)致的人為接管次數(shù)。
多項技術(shù)保證自動化系統(tǒng)的優(yōu)勢
效率的提升保證了自動駕駛的精準(zhǔn)控制。論文的共同一作、 MIT 在讀博士生劉志健表示:「我們從算法和系統(tǒng)角度優(yōu)化了我們的解決方案,與現(xiàn)有的 3D 激光雷達(dá)方法相比,累計加速了9倍之多?!?/p>
速度的提升一方面歸功于端到端模型,另一方面歸功于稀疏卷積內(nèi)核。這個內(nèi)核是源于該團(tuán)隊先前提出的 3D 點(diǎn)云計算模塊稀疏點(diǎn)云-柵格卷積(SPVConv),通過在稀疏張量 (Sparse Tensor) 表示下利用三維稀疏卷積 (3D SparseConvolution) 來處理鄰點(diǎn)信息,即使在室外較大的場景中,也可以保留精細(xì)的細(xì)節(jié),同時大大減少了計算量,縮短了計算時間。
MIT 團(tuán)隊的目標(biāo)一直是「實(shí)現(xiàn)對新環(huán)境中的駕駛具有魯棒性的自主導(dǎo)航」。從2018年開發(fā)的允許無人駕駛汽車在沒有3D地圖的情況下在從未有過的道路上行駛的 MapLite ,到2019年的僅使用簡單的地圖和相機(jī)視覺數(shù)據(jù)使汽車在新的復(fù)雜環(huán)境中自動駕駛的端到端機(jī)器學(xué)習(xí)系統(tǒng),再到如今基于 LiDAR 數(shù)據(jù)的端到端自動駕駛系統(tǒng),該團(tuán)隊初步實(shí)現(xiàn)了他們的目標(biāo)。
圖示:基于機(jī)器學(xué)習(xí)的端到端自動駕駛系統(tǒng)架構(gòu)圖。(來源:論文)
魯棒性的提高保證了新系統(tǒng)在現(xiàn)實(shí)世界中是可行的。研究人員表明,有了新的混合證據(jù)融合策略,他們的系統(tǒng)減少了測試時駕駛員不得不接管汽車控制的頻率,甚至可以應(yīng)對嚴(yán)重的傳感器故障。MIT 教授 Daniela Rus 說:「通過基于模型不確定性的融合控制預(yù)測,該系統(tǒng)可以應(yīng)對突發(fā)事件。」
想象一下,當(dāng)你開車穿過隧道,在出隧道的那一瞬間,突然暴露在陽光下,由于眩光,視線可能會出現(xiàn)短暫丟失。自動駕駛汽車中的攝像頭以及天氣條件較差時的激光雷達(dá)傳感器也會出現(xiàn)類似的問題,而新系統(tǒng)就可以很好地解決這個問題。通過在做出決策時賦予該預(yù)測權(quán)重,即使出現(xiàn)傳感器數(shù)據(jù)不準(zhǔn)確的情況(例如,穿出隧道),系統(tǒng)也可以忽略這些不應(yīng)信任的預(yù)測。
圖示:僅用 LiDAR 的模型的真實(shí)評估,紅點(diǎn)出息為人為干預(yù)控制的情況。(來源:論文)
高級別自動駕駛的未來
未來的自動駕駛汽車將包括收集彩色數(shù)據(jù)的攝像機(jī)、用于高分辨率近場感知的 LiDAR和用于在惡劣天氣下進(jìn)行遠(yuǎn)距離感知的 RADAR 。在這套傳感器組成中,LiDAR 將是最有價值、最重要的。
要實(shí)現(xiàn)(L3以上)高級別自動駕駛技術(shù),最關(guān)鍵的零部件非「激光雷達(dá)」莫屬——這幾乎已經(jīng)成了一個自動駕駛工程界默認(rèn)的「公理」。3D 構(gòu)建能力與準(zhǔn)確的深度知覺,決定了激光雷達(dá)在工業(yè)勘測與自動駕駛界不可撼動的重要地位。
激光作為一種平行光,即便光線射出后遇到障礙物的阻擋,其傳播也會保持準(zhǔn)直。這也就意味著,無論是你近在眼前,還是100米開外,它都能聚焦到你身上。無數(shù)激光點(diǎn)根據(jù)物體距離的不同,在平面上打出深淺不一的線性陰影,形成了 3D 點(diǎn)云圖,很像鉛筆勾勒出的速寫畫。
由于激光雷達(dá)仍存在著一些尚未解決的問題,目前車載的激光雷達(dá)傳感器還未得到很好地應(yīng)用。但是, MIT 團(tuán)隊這項最新研究可以讓我們看到未來實(shí)際應(yīng)用的希望。無論是速度、準(zhǔn)確度,還是魯棒性,多項技術(shù)的融合展示了出色的自動駕駛能力,相信也能為從業(yè)人員提供一些應(yīng)用靈感。下一步,該團(tuán)隊計劃繼續(xù)擴(kuò)展其系統(tǒng),以增加現(xiàn)實(shí)世界中的復(fù)雜性,包括不利的天氣條件以及與其他車輛的動態(tài)交互。
論文鏈接:https://arxiv.org/abs/2105.09932