本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

目前，AI技術(shù)在人臉支付、人臉安防、語(yǔ)音識(shí)別、機(jī)器翻譯等眾多場(chǎng)景得到了廣 泛的使用，AI系統(tǒng)的安全性問(wèn)題也引起了業(yè)界越來(lái)越多的關(guān)注。

針對(duì)AI模型的惡意攻擊可以給用戶帶來(lái)巨大的安全風(fēng)險(xiǎn)。

例如，攻擊者可能通過(guò)特制的攻擊貼紙來(lái)欺騙人臉識(shí) 別系統(tǒng)，從而帶來(lái)生命財(cái)產(chǎn)損失。

為了應(yīng)對(duì)AI模型各個(gè)環(huán)節(jié)可能存在的安全風(fēng)險(xiǎn)，并給出相應(yīng)的防 御建議，今天騰訊正式發(fā)布業(yè)內(nèi)首個(gè)AI安全攻擊矩陣。

該矩陣由騰訊兩大實(shí)驗(yàn)室騰訊AI lab和朱雀實(shí)驗(yàn)室聯(lián)合編纂，并借鑒了網(wǎng)絡(luò)攻防領(lǐng)域中較為成熟的ATT&CK開(kāi)源安全研究框架，全面分析了攻擊者視角下的戰(zhàn)術(shù)、技術(shù)和流程。

騰訊AI安全攻擊矩陣從以下7個(gè)維度展開(kāi)了21種AI安全攻擊與防御方法。

AI模型開(kāi)發(fā)前遇到的攻擊方式有：

環(huán)境依賴：依賴軟件攻擊、Docker惡意訪問(wèn)、硬件后門攻擊、供應(yīng)鏈攻擊

數(shù)據(jù)搜集整理：數(shù)據(jù)投毒、數(shù)據(jù)后門攻擊

模型訓(xùn)練：梯度中數(shù)據(jù)恢復(fù)、初始權(quán)重修改、代碼攻擊、訓(xùn)練后門攻擊、非集中式場(chǎng)景

模型部署：模型數(shù)據(jù)恢復(fù)、模型文件攻擊

模型使用：數(shù)字對(duì)抗攻擊、物理對(duì)抗攻擊、模型竊取、GPU/CPU溢出破壞

模型架構(gòu)：查詢式架構(gòu)竊取、側(cè)信道架構(gòu)竊取

結(jié)果影響：模型誤判、信息泄露

這份AI安全攻防矩陣包含：從AI模型開(kāi)發(fā)前的環(huán)境搭建，到模型的訓(xùn)練部署，以及后期的使用維護(hù)。囊括了整個(gè)AI產(chǎn)品生命周期中可能遇到的安全問(wèn)題，并給出相應(yīng)策略。

該矩陣能夠像字典一樣便捷使用。研究人員和開(kāi)發(fā)人員根據(jù)AI部署運(yùn)營(yíng)的基本情況，就可對(duì)照風(fēng)險(xiǎn)矩陣排查可能存在的安全問(wèn)題，并根據(jù)推薦的防御建議，降低已知的安全風(fēng)險(xiǎn)。

研究人員將各種攻擊方式標(biāo)記了較成熟、研究中、潛在威脅三種成熟度，AI開(kāi)發(fā)者可以直觀了解不同攻擊技術(shù)對(duì)AI模型的危險(xiǎn)程度。

據(jù)騰訊AI Lab介紹，矩陣編撰的核心難點(diǎn)在于如何選取和梳理AI系統(tǒng)安全問(wèn)題的分析角度。作為一種與其他軟硬件結(jié)合運(yùn)作的應(yīng)用程序，AI系統(tǒng)安全的分析切入角度與傳統(tǒng)互聯(lián)網(wǎng)產(chǎn)品并不完全一致。

經(jīng)過(guò)充分調(diào)研，團(tuán)隊(duì)最終選擇從AI研發(fā)部署生命周期的角度切入，總結(jié)歸納出AI系統(tǒng)在不同階段所面臨的安全風(fēng)險(xiǎn)，從全局視角來(lái)審視AI的自身安全。

除了聚焦機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別及自然語(yǔ)言處理等四大基礎(chǔ)研究領(lǐng)域外，騰訊AI Lab也在持續(xù)關(guān)注AI領(lǐng)域的安全性研究，助力可信的AI系統(tǒng)設(shè)計(jì)與部署。

騰訊朱雀實(shí)驗(yàn)室則專注于實(shí)戰(zhàn)攻擊技術(shù)研究和AI安全技術(shù)研究，以攻促防，守護(hù)騰訊業(yè)務(wù)及用戶安全。

此前朱雀實(shí)驗(yàn)室就曾模擬實(shí)戰(zhàn)中的黑客攻擊路徑，直接控制AI模型的神經(jīng)元，為模型“植入后門”，在幾乎無(wú)感的情況下，實(shí)現(xiàn)完整的攻擊驗(yàn)證，這也是業(yè)內(nèi)首個(gè)利用AI模型文件直接產(chǎn)生后門效果的攻擊研究。

目前，風(fēng)險(xiǎn)矩陣的完整版本可于騰訊AI Lab官網(wǎng)免費(fèi)下載。

附AI安全攻擊矩陣全文下載地址：
https://share.weiyun.com/8InYhaYZ