本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

隨著人工智能技術(shù)的發(fā)展，人工智能在很多場景里正逐漸替代或協(xié)作著人類的各種勞動(dòng)，它們可以成為人類的眼睛、耳朵、手臂甚至大腦。其中，機(jī)器視覺作為AI時(shí)代的基礎(chǔ)技術(shù)，其背后的AI算法一直是各科技巨頭和創(chuàng)業(yè)公司共同追逐的熱點(diǎn)。然而，這些主流應(yīng)用場景的背后，往往也藏著由技術(shù)性缺陷導(dǎo)致的算法安全風(fēng)險(xiǎn)。

例如，在一些訓(xùn)練數(shù)據(jù)無法覆蓋到的極端場景中，自動(dòng)駕駛汽車可能出現(xiàn)匪夷所思的決策，導(dǎo)致乘車人安全風(fēng)險(xiǎn)。從2016年至今，Tesla、Uber等企業(yè)的輔助駕駛和自動(dòng)駕駛系統(tǒng)就都曾出現(xiàn)過類似致人死亡的嚴(yán)重事故。并且這類極端情形也可能被惡意制造并利用，發(fā)起“對(duì)抗樣本攻擊”，去年7月，百度等研究機(jī)構(gòu)就曾經(jīng)通過3D打印，能讓自動(dòng)駕駛“無視”的障礙物，使車輛有發(fā)生撞擊的風(fēng)險(xiǎn)，同樣威脅行駛安全。

之所以能攻擊成功，主要是機(jī)器視覺和人類視覺有著很大的差異。因此可以通過在圖像、物體等輸入信息上添加微小的擾動(dòng)改變（即上述故意干擾的“對(duì)抗樣本”），就能導(dǎo)致很大的算法誤差。此外，隨著AI的進(jìn)一步發(fā)展，將算法模型運(yùn)用于更多類似金融決策、醫(yī)療診斷等關(guān)鍵核心場景，這類AI“漏洞”的威脅將愈發(fā)凸顯出來。

近幾年來，包括清華大學(xué)人工智能研究院院長張鈸院士、前微軟全球執(zhí)行副總裁沈向洋等均提倡要發(fā)展安全、可靠、可信的人工智能以及負(fù)責(zé)任的人工智能，其中AI的安全應(yīng)用均是重點(diǎn)方向。

然而AI安全作為一個(gè)新興領(lǐng)域，盡管對(duì)抗樣本等攻擊手段日益變得復(fù)雜，在開源社區(qū)、工具包的加持下，高級(jí)攻擊方法快速增長，相關(guān)防御手段的普及和推廣卻難以跟上。在AI算法研發(fā)和應(yīng)用的過程中，對(duì)抗樣本等算法漏洞檢測存在較高的技術(shù)壁壘，目前市面上缺乏自動(dòng)化檢測工具，而大部分企業(yè)與組織不具備該領(lǐng)域的專業(yè)技能來妥善應(yīng)對(duì)日益增長的惡意攻擊。

一、從安全評(píng)測到防御升級(jí)，RealSafe讓AI更加安全可控

為了解決以上痛點(diǎn)，近日，清華大學(xué)AI研究院孵化企業(yè)RealAI（瑞萊智慧）正式推出首個(gè)針對(duì)AI在極端和對(duì)抗環(huán)境下的算法安全性檢測與加固的工具平臺(tái)——RealSafe人工智能安全平臺(tái)。

據(jù)了解，該平臺(tái)內(nèi)置領(lǐng)先的AI對(duì)抗攻防算法，提供從安全測評(píng)到防御加固整體解決方案，目前可用于發(fā)現(xiàn)包括人臉比對(duì)等在內(nèi)的常用AI算法可能出錯(cuò)的極端情形，也能預(yù)防潛在的對(duì)抗攻擊。

RealAI表示，就如網(wǎng)絡(luò)安全時(shí)代，網(wǎng)絡(luò)攻擊的大規(guī)模滲透誕生出殺毒軟件，發(fā)現(xiàn)計(jì)算機(jī)潛在病毒威脅，提供一鍵系統(tǒng)優(yōu)化、清理垃圾跟漏洞修復(fù)等功能，RealSafe研發(fā)團(tuán)隊(duì)希望通過RealSafe平臺(tái)打造出人工智能時(shí)代的“殺毒軟件”，為構(gòu)建人工智能系統(tǒng)防火墻提供支持，幫助企業(yè)有效應(yīng)對(duì)人工智能時(shí)代下算法漏洞孕育出的“新型病毒”。

RealSafe平臺(tái)目前主要支持兩大功能模塊：模型安全測評(píng)、防御解決方案。

其中，模型安全評(píng)測主要為用戶提供AI模型安全性評(píng)測服務(wù)。用戶只需接入所需測評(píng)模型的SDK或API接口，選擇平臺(tái)內(nèi)置或者自行上傳的數(shù)據(jù)集，平臺(tái)將基于多種算法生成對(duì)抗樣本模擬攻擊，并綜合在不同算法、迭代次數(shù)、擾動(dòng)量大小的攻擊下模型效果的變化，給出模型安全評(píng)分及詳細(xì)的測評(píng)報(bào)告（如下圖）。目前已支持黑盒查詢攻擊方法與黑盒遷移攻擊方法。

防御解決方案則是為用戶提供模型安全性升級(jí)服務(wù)，目前RealSafe平臺(tái)支持五種去除對(duì)抗噪聲的通用防御方法，可實(shí)現(xiàn)對(duì)輸入數(shù)據(jù)的自動(dòng)去噪處理，破壞攻擊者惡意添加的對(duì)抗噪聲。根據(jù)上述的模型安全評(píng)測結(jié)果，用戶可自行選擇合適的防御方案，一鍵提升模型安全性。另外防御效果上，根據(jù)實(shí)測來看，部分第三方的人臉比對(duì)API通過使用RealSafe平臺(tái)的防御方案加固后，安全性可提高40%以上。

隨著模型攻擊手段在不斷復(fù)雜擴(kuò)張的情況下，RealSafe平臺(tái)還持續(xù)提供廣泛且深入的AI防御手段，幫助用戶獲得實(shí)時(shí)且自動(dòng)化的漏洞檢測和修復(fù)能力。

二、“對(duì)抗樣本”成“AI病毒”，國外主流人臉識(shí)別算法相繼被“攻破”

站在人臉識(shí)別終端前，通過人臉識(shí)別攝像頭完成身份校驗(yàn)，類似的人臉識(shí)別身份認(rèn)證已經(jīng)覆蓋到刷臉支付、酒店入住登記、考試身份核驗(yàn)、人證比對(duì)等等生活場景中。

考慮到公眾對(duì)于對(duì)抗樣本這一概念可能比較模糊，RealSafe平臺(tái)選取了公眾最為熟知的人臉比對(duì)場景（人臉比對(duì)被廣泛用于上述的身份認(rèn)證場景中）提供在線體驗(yàn)。并且，為了深入研究“對(duì)抗樣本”對(duì)人臉比對(duì)系統(tǒng)識(shí)別效果的影響，RealAI 團(tuán)隊(duì)基于此功能在國外主流 AI 平臺(tái)的演示服務(wù)上進(jìn)行了測試。

選取一組不同的人臉圖片（如下圖），通過RealSafe平臺(tái)對(duì)其中一張圖片生成對(duì)抗樣本，但不影響肉眼判斷，添加“對(duì)抗樣本”前后分別輸入到第三方人臉比對(duì)平臺(tái)中查看相似度。

最終結(jié)果顯示，添加“噪聲”前，兩張圖片被 Azure、AWS 判定為不屬于同一個(gè)人，但添加“噪聲”后，以上兩個(gè)平臺(tái)的演示服務(wù)均給出了錯(cuò)誤的結(jié)果，認(rèn)為兩張圖片屬于同一個(gè)人，甚至 Azure 平臺(tái)的演示服務(wù)在添加“噪聲”前后相似度變化的幅度高達(dá)70%以上。

為了探究結(jié)果的普適性，RealAI團(tuán)隊(duì)又選取了國內(nèi)三家主流人臉比對(duì)平臺(tái)進(jìn)行測試，結(jié)果同樣顯示，添加擾動(dòng)之后，原本判定為“不同人臉”的圖片均被錯(cuò)誤識(shí)別為“相同人臉”，前后相似度的變化幅度可達(dá)到20%以上。而通過RealSafe防火墻“去噪”過濾后，這幾個(gè)人臉比對(duì)平臺(tái)的識(shí)別“誤差”獲得不同程度的糾正，識(shí)別效果得到穩(wěn)定提升。

RealAI團(tuán)隊(duì)已經(jīng)將這種潛在風(fēng)險(xiǎn)以及相關(guān)防御方法反饋給上述企業(yè)，以幫助降低風(fēng)險(xiǎn)。

實(shí)測證明，“對(duì)抗樣本”可以極大的干擾人臉比對(duì)系統(tǒng)的識(shí)別結(jié)果，據(jù)介紹，目前市面上很多中小型企業(yè)在落地人臉識(shí)別應(yīng)用時(shí)大多會(huì)選擇采用上文測試的這幾家互聯(lián)網(wǎng)公司開放的人臉比對(duì)SDK或者API接口，如果他們?nèi)四槺葘?duì)技術(shù)存在明顯的安全漏洞，意味著更廣泛的應(yīng)用場景將存在安全隱患。

除了人臉比對(duì)外，對(duì)抗樣本攻擊還可能出現(xiàn)在目標(biāo)檢測的應(yīng)用場景中，延伸來看，這可能會(huì)危害到工業(yè)、安防等領(lǐng)域的安全風(fēng)險(xiǎn)檢測。比如某電網(wǎng)的輸電塔的監(jiān)控系統(tǒng)，由于輸電塔的高安全性防護(hù)要求，防止吊車、塔吊、煙火破壞輸電線路，需要對(duì)輸電塔內(nèi)外進(jìn)行全天候的實(shí)時(shí)監(jiān)控，而這實(shí)時(shí)監(jiān)控系統(tǒng)背后就是基于目標(biāo)檢測的AI算法來提供保障。

而RealAI研究團(tuán)隊(duì)發(fā)現(xiàn)，只要通過RealSafe對(duì)其中的目標(biāo)檢測算法進(jìn)行一定的對(duì)抗樣本攻擊，就會(huì)造成監(jiān)控系統(tǒng)失效，導(dǎo)致其無法識(shí)別非常明顯的煙火情形，類似情形如果真實(shí)發(fā)生，將可能帶來難以估計(jì)的損失。

事實(shí)上，像以上提到的這些AI安全風(fēng)險(xiǎn)由于都是AI底層算法存在技術(shù)缺陷而導(dǎo)致，往往比較隱蔽，但牽一發(fā)動(dòng)全身，這些“難以預(yù)見”的風(fēng)險(xiǎn)漏洞最有可能成為被攻破的薄弱環(huán)節(jié)，而RealSafe平臺(tái)同步推出的防御解決方案則可以有效增強(qiáng)各應(yīng)用領(lǐng)域中AI算法的安全性。

三、“零編碼”+“可量化”，兩大優(yōu)勢高效應(yīng)對(duì)算法威脅

據(jù)介紹，RealAI此次推出的算法模型安全檢測平臺(tái)，除了可以幫助企業(yè)高效應(yīng)對(duì)算法威脅還具備以下兩大優(yōu)勢：

• 組件化、零編碼的在線測評(píng)：相較于ART、Foolbox等開源工具需要自行部署、編寫代碼，RealSafe平臺(tái)采用組件化、零編碼的功能設(shè)置，免去了重復(fù)造輪子的精力與時(shí)間消耗，用戶只需提供相應(yīng)的數(shù)據(jù)即可在線完成評(píng)估，極大降低了算法評(píng)測的技術(shù)難度，學(xué)習(xí)成本低，無需擁有專業(yè)算法能力也可以上手操作。比如上文中針對(duì)微軟、亞馬遜等第三方平臺(tái)的測試，整個(gè)流程按照步驟提示完成，只需幾分鐘就可以查看到測評(píng)結(jié)果。
• 可視化、可量化的評(píng)測結(jié)果：為了幫助用戶提高對(duì)模型安全性的概念，RealSafe平臺(tái)采用可量化的形式對(duì)安全評(píng)測結(jié)果進(jìn)行展示，根據(jù)模型在對(duì)抗樣本攻擊下的表現(xiàn)進(jìn)行評(píng)分，評(píng)分越高則模型安全性越高。此外，RealSafe平臺(tái)提供安全性變化展示，經(jīng)過防御處理后的安全評(píng)分變化以及模型效果變化一目了然。

四、落地安全周邊產(chǎn)品，為更多場景保駕護(hù)航

其實(shí)對(duì)抗樣本原本是機(jī)器學(xué)習(xí)模型的一個(gè)有趣現(xiàn)象，但經(jīng)過不斷的升級(jí)演化，“對(duì)抗樣本”已經(jīng)演變成一種新型攻擊手段，并從數(shù)字世界蔓延到物理世界：在路面上粘貼對(duì)抗樣本貼紙模仿合并條帶誤導(dǎo)自動(dòng)駕駛汽車拐進(jìn)逆行車道、胸前張貼一張對(duì)抗樣本貼紙?jiān)诒O(jiān)控設(shè)備下實(shí)現(xiàn)隱身……

所以，除了針對(duì)數(shù)字世界的算法模型推出安全評(píng)測平臺(tái)，RealAI團(tuán)隊(duì)也聯(lián)合清華大學(xué)AI研究院圍繞多年來積累的領(lǐng)先世界的研究成果落地了一系列AI攻防安全產(chǎn)品，旨在滿足更多場景的AI安全需求。

比如，攻擊技術(shù)方面，RealAI團(tuán)隊(duì)實(shí)現(xiàn)了世界首個(gè)通過“對(duì)抗樣本”技術(shù)實(shí)現(xiàn)破解商用手機(jī)刷臉解鎖，讓手機(jī)將佩戴“特制眼鏡”的黑客誤識(shí)為機(jī)主。

△ 圖：世界唯一通過AI對(duì)抗樣本技術(shù)攻破商用手機(jī)人臉解鎖案例

通過在目標(biāo)人服裝上張貼特制花紋使AI監(jiān)控?zé)o法檢測到該人物，實(shí)現(xiàn)“隱身”，以及通過在車輛上涂裝特殊花紋，躲避AI對(duì)車輛的檢測。

△ 圖：通過AI對(duì)抗樣本圖案躲避AI車輛檢測

在發(fā)現(xiàn)以上各種新型漏洞的同時(shí)，RealAI也推出相應(yīng)的防御技術(shù)，支持對(duì)主流AI算法中的安全漏洞進(jìn)行檢測，并提供AI安全防火墻對(duì)攻擊AI模型的行為進(jìn)行有效攔截。

人工智能的大潮滾滾而來，隨之而來的安全風(fēng)險(xiǎn)也將越來越多樣化，尤其近年來因AI技術(shù)不成熟導(dǎo)致的侵害風(fēng)險(xiǎn)也頻頻發(fā)生，可以說，算法漏洞已逐漸成為繼網(wǎng)絡(luò)安全、數(shù)據(jù)安全后又一大安全難題。

所幸的是，以RealAI為代表的這些頂尖AI團(tuán)隊(duì)早已開始了AI安全領(lǐng)域的征程，并開始以標(biāo)準(zhǔn)化的產(chǎn)品助力行業(yè)降低應(yīng)對(duì)安全風(fēng)險(xiǎn)的門檻與成本。此次上線RealSafe人工智能安全平臺(tái)是RealAI的一小步嘗試，但對(duì)于整個(gè)行業(yè)而言，這將是人工智能產(chǎn)業(yè)邁向健康可控發(fā)展之路的一大步。