L4自動(dòng)駕駛漏洞:感知算法可能無法避開人造3D惡意障礙物
近日,一項(xiàng)研究顯示,L4自動(dòng)駕駛使用的多傳感器融合感知(Multi-Sensor Fusion based Perception)技術(shù)存在一個(gè)安全漏洞:攻擊者可以在道路中間放置一個(gè)3D打印的惡意障礙物,使自動(dòng)駕駛車輛的camera和LiDAR機(jī)器學(xué)習(xí)檢測(cè)模型都識(shí)別不到,并直接撞上去。
此項(xiàng)研究題為《對(duì)攝像頭和激光雷達(dá)都不可見:物理世界攻擊下的基于多傳感器融合的自動(dòng)駕駛感知安全》(Invisible for both Camera and LiDAR: Security of Multi-Sensor Fusion based Perception in Autonomous Driving Under Physical-World Attacks),已正式發(fā)表在計(jì)算機(jī)安全四大頂會(huì)之一IEEES&P2021。該研究團(tuán)隊(duì)來自加州大學(xué)爾灣分校(UCIrvine),專攻自動(dòng)駕駛和智能交通的研究。
在自動(dòng)駕駛系統(tǒng)里,實(shí)時(shí)感知周圍環(huán)境是所有重要駕駛決策的最基本前提。當(dāng)前,L4自動(dòng)駕駛系統(tǒng)逐漸商業(yè)化,百度已經(jīng)在北京、長(zhǎng)沙和滄州開始大規(guī)模測(cè)試無人駕駛出租車,Waymo已經(jīng)開始在美國(guó)鳳凰城測(cè)試不需要安全駕駛員的完全自動(dòng)駕駛出租車。
國(guó)際自動(dòng)機(jī)工程師學(xué)會(huì)將自動(dòng)駕駛從L1到L5分成了五個(gè)等級(jí),L5是最高級(jí)的全自動(dòng)化,L4級(jí)則是高度自動(dòng)化,由機(jī)器接管全部操作,人不需要對(duì)所有的系統(tǒng)請(qǐng)求做出回答。有個(gè)關(guān)于L4級(jí)自動(dòng)駕駛的戲說:看起來很像L5,但用戶手冊(cè)寫了一長(zhǎng)串免責(zé)聲明,核心思想是這也不行,那也不行。
L4自動(dòng)駕駛系統(tǒng)普遍采用多傳感器融合設(shè)計(jì),即融合如激光雷達(dá)(LiDAR)和攝像頭(camera)等不同的感知源,從而實(shí)現(xiàn)準(zhǔn)確并且魯棒的感知。
多傳感器融合算法有一項(xiàng)前提,所有感知源不會(huì)同時(shí)都被攻擊,或可以同時(shí)被攻擊。這個(gè)基本的安全設(shè)計(jì)假設(shè)一般都是成立的,因此多傳感器融合通常被認(rèn)為是針對(duì)現(xiàn)有無人車感知攻擊(單感知源攻擊)的有效防御策略。
來自加州大學(xué)爾灣分校(UCIrvine)的研究者證明了同時(shí)攻擊自動(dòng)駕駛多傳感器融合感知中所有感知源的可能性。他們發(fā)現(xiàn),在現(xiàn)實(shí)世界識(shí)別過程中,這種多傳感器融合的障礙物感知存在漏洞,會(huì)無法成功檢測(cè)研究者設(shè)置的障礙物并直接撞上去的情況。
具體而言,3D障礙物的不同形狀可以同時(shí)導(dǎo)致LiDAR點(diǎn)云中的點(diǎn)位置變化和camera圖像中的像素值變化,因此攻擊者可以利用形狀操作,同時(shí)向camera和LiDAR引入輸入擾動(dòng)。
生活中路面可能出現(xiàn)的形狀奇怪或破損的物體,可以研究者的物理世界攻擊向量模擬:可操縱形狀的對(duì)抗3D物體
為了評(píng)估這一漏洞的嚴(yán)重性,研究者設(shè)計(jì)了MSF-ADV攻擊,它可以在給定的基于多傳感器融合的無人車感知算法中自動(dòng)生成上述的惡意的3D障礙,研究者的這個(gè)設(shè)計(jì)可提升攻擊的有效性、魯棒性、隱蔽性和現(xiàn)實(shí)生活中的可實(shí)現(xiàn)性。
研究者選擇了3種障礙物類型(交通錐、玩具車和長(zhǎng)椅)進(jìn)行測(cè)試,并在真實(shí)世界的駕駛數(shù)據(jù)上進(jìn)行評(píng)估。他們的結(jié)果顯示,在不同的障礙物類型和多傳感器融合算法中,攻擊實(shí)現(xiàn)了>=91%的成功率。
為了了解攻擊在真實(shí)世界中的可實(shí)現(xiàn)性和嚴(yán)重性,研究者3D打印了生成的惡意障礙物,并在使用了多傳感器融合感知得真車上進(jìn)行評(píng)估。
研究者發(fā)現(xiàn)惡意的障礙物可以在總共108個(gè)傳感器幀中的107幀中(99.1%)成功躲過多傳感器融合的檢測(cè)。在一個(gè)微縮模型的實(shí)驗(yàn)環(huán)境中,研究者發(fā)現(xiàn)惡意的障礙物在不同的隨機(jī)抽樣位置有85-90%的成功率躲避多傳感器融合感知的檢測(cè),而且這種有效性可以轉(zhuǎn)移。
研究者認(rèn)為比較切實(shí)可行的防御手段是去融合更多的感知源,比如說更多的不同位置的camera和LiDAR,或者考慮加入RADAR。但是這不能從根本上防御,只能讓惡意攻擊更加困難
截至2021年5月18日,研究人員對(duì)31家開發(fā)或者測(cè)試無人車的公司進(jìn)行了漏洞報(bào)告,其中19家(約61%)已經(jīng)回復(fù)并表示目前正在調(diào)查其影響以及受到影響的程度。