12月15日，歐盟網(wǎng)絡(luò)與信息安全局（ENISA）發(fā)布了題為《人工智能的網(wǎng)絡(luò)安全挑戰(zhàn)：人工智能威脅圖譜》（Artificial Intelligence Cybersecurity Challenges: Threat Landscape for Artificial Intelligence）的報告，報告對人工智能網(wǎng)絡(luò)安全生態(tài)系統(tǒng)及威脅圖譜進(jìn)行了描述，還強(qiáng)調(diào)了人工智能安全的相關(guān)挑戰(zhàn)。

ENISA發(fā)布人工智能網(wǎng)絡(luò)安全威脅圖譜

1.簡介

人工智能不斷影響著我們的生活，并通過自動化決策能力在數(shù)字化轉(zhuǎn)型中起著關(guān)鍵的作用。作為新興技術(shù)，人工智能帶來的優(yōu)勢是非常明顯的，但同時也帶來了潛在的風(fēng)險。比如，人工智能技術(shù)在自動駕駛汽車、智慧醫(yī)療等安全關(guān)鍵領(lǐng)域的應(yīng)用可能會給個人和企業(yè)帶來新的、有可能不可預(yù)測的風(fēng)險中，也可能會帶來新的攻擊方法和技術(shù)，并創(chuàng)建新的數(shù)據(jù)保護(hù)挑戰(zhàn)。

要確保人工智能本身的安全，那么需要：了解要確保什么的安全；了解相關(guān)的數(shù)據(jù)治理模型；在多方參與的生態(tài)系統(tǒng)中以一種綜合的方式管理威脅；開發(fā)特定的控制方式來確保人工智能本身是安全的。

人工智能和網(wǎng)絡(luò)安全具有多維關(guān)系，并且具有一系列的相互依賴性。

• 人工智能的網(wǎng)絡(luò)安全問題。人工智能模型和算法缺乏魯棒性，存在安全漏洞，比如對抗模型干擾和操縱，針對人工智能賦能的空間物理系統(tǒng)的攻擊、對人工智能系統(tǒng)使用的數(shù)據(jù)的攻擊等。
• 人工智能賦能網(wǎng)絡(luò)安全。人工智能作為一種工具，可以通過開發(fā)更有效的安全工具來創(chuàng)造更強(qiáng)的網(wǎng)絡(luò)安全能力；并利用人工智能來幫助執(zhí)法機(jī)構(gòu)等更好地應(yīng)對網(wǎng)絡(luò)犯罪，比如大數(shù)據(jù)分析調(diào)查取證、人工智能在犯罪活動中的應(yīng)用等。
• 人工智能的惡意使用。人工智能的惡意使用可以創(chuàng)建更復(fù)雜的攻擊，比如人工智能用于惡意軟件生成、高級社會工程、DDoS攻擊、深度生成模型生成虛假數(shù)據(jù)、口令破解等。這類使用既包括針對現(xiàn)有人工智能系統(tǒng)的攻擊，也包括人工智能應(yīng)用于攻擊活動中。

2.AI生命周期

人工智能系統(tǒng)的生命周期包括幾個相互依賴的階段，從設(shè)計和開發(fā)（包括需求分析、數(shù)據(jù)收集、培訓(xùn)、測試、集成等子階段）、安裝、部署、操作、維護(hù)和處置。

圖1 人工智能生命周期通用參考模型

2.1 數(shù)據(jù)

數(shù)據(jù)是人工智能中最有價值的資產(chǎn)之一，在人工智能生命周期中會不斷地進(jìn)行轉(zhuǎn)化。圖2是數(shù)據(jù)在人工智能生命周期內(nèi)不同階段的轉(zhuǎn)化過程：數(shù)據(jù)引入（Data Ingestion）、數(shù)據(jù)探索（Data Exploration）、數(shù)據(jù)預(yù)處理（Data Pre-processing）、特征重要性（Feature Importance，類似特征提?。?、培訓(xùn)、測試和評估（Training, Testing and Evaluation）。人工智能生命周期中的數(shù)據(jù)轉(zhuǎn)換涉及其他幾種類型的資產(chǎn)，如參與者、計算資源、軟件等，甚至包括一些非有形資產(chǎn)，如流程、文化等，參與者的經(jīng)驗和知識可能帶來潛在的非故意的威脅。

圖2 人工智能生命周期開發(fā)階段的數(shù)據(jù)轉(zhuǎn)化過程

2.2 人工智能生命周期的參與者

在完整的人工智能生命周期中有不同類型的參與者，其中包括人工智能系統(tǒng)設(shè)計和創(chuàng)建工程中的人工智能設(shè)計者和人工智能應(yīng)用開發(fā)者。此外，還有開發(fā)人工智能系統(tǒng)中所用的軟件和算法的人工智能開發(fā)者。他們的經(jīng)驗和能力在安全的人工智能系統(tǒng)開發(fā)中起著非常重要的作用。

人工智能開發(fā)者和設(shè)計者的工作與數(shù)據(jù)科學(xué)家聯(lián)系非常緊密。

• 數(shù)據(jù)科學(xué)家的工作包括幫助設(shè)計和開發(fā)人工智能模型。數(shù)據(jù)科學(xué)家還參與收集和翻譯數(shù)據(jù)的工作，主要是從數(shù)據(jù)中提取知識和觀點。
• 數(shù)據(jù)工程師主要是從不同的源中提取和收集數(shù)據(jù)，然后進(jìn)行轉(zhuǎn)化、清理、標(biāo)準(zhǔn)化并存儲。數(shù)據(jù)工程師主要是對數(shù)據(jù)流進(jìn)行設(shè)計、管理和優(yōu)化。

人工智能生命周期中其他的主要參與者還包括數(shù)據(jù)所有者。數(shù)據(jù)所有者是用于訓(xùn)練或驗證人工智能系統(tǒng)的數(shù)據(jù)集的所有者。數(shù)據(jù)所有者也可以是數(shù)據(jù)提供者或數(shù)據(jù)代理商。

人工智能生命周期的參與者還包括模型提供商，負(fù)責(zé)提供經(jīng)過訓(xùn)練或調(diào)整的模型。其中一些模型提供商是云提供者，以模型即服務(wù)的形式提供模型。也有第三方的提供者向開發(fā)者提供用于訓(xùn)練人工智能系統(tǒng)的第三方框架和庫。

最后是使用人工智能系統(tǒng)的終端用戶，也就是服務(wù)的消費者。

3. AI資產(chǎn)

威脅圖譜中非常重要的一個元素就是可能暴露給威脅的資產(chǎn)種類。除了數(shù)據(jù)、軟件、硬件、通信網(wǎng)絡(luò)等與ICT相關(guān)的通用資產(chǎn)外，人工智能還有模型、數(shù)據(jù)等特定的資產(chǎn)，具體包括以下6大類：數(shù)據(jù)；模型；參與者；過程；環(huán)境/工具；相關(guān)產(chǎn)物Artefacts。

3.1 數(shù)據(jù)

數(shù)據(jù)資產(chǎn)包括原始數(shù)據(jù)、標(biāo)記的數(shù)據(jù)集、公開數(shù)據(jù)集、訓(xùn)練數(shù)據(jù)、測試數(shù)據(jù)集、驗證數(shù)據(jù)集、評估數(shù)據(jù)、預(yù)處理數(shù)據(jù)集等。

3.2 模型

模型資產(chǎn)包括算法、數(shù)據(jù)預(yù)處理算法、特征選擇算法、模型、模型參數(shù)、模型性能、訓(xùn)練參數(shù)、超參數(shù)、訓(xùn)練后的模型、微調(diào)過的模型等。

3.3 參與者

參與者資產(chǎn)包括數(shù)據(jù)所有者、數(shù)據(jù)科學(xué)家、人工智能開發(fā)者、數(shù)據(jù)工程師、終端用戶、數(shù)據(jù)提供者/代理人、云服務(wù)提供者、模型提供者、服務(wù)消費者/模型用戶等。

3.4 過程

過程資產(chǎn)包括數(shù)據(jù)引入、數(shù)據(jù)存儲、數(shù)據(jù)探索/預(yù)處理、數(shù)據(jù)理解、數(shù)據(jù)標(biāo)記、數(shù)據(jù)收集、特征選擇、模型選擇/構(gòu)建、訓(xùn)練和測試、模型微調(diào)、模型適應(yīng)-遷移學(xué)習(xí)/模型部署、模型維護(hù)等。

3.5 環(huán)境/工具

環(huán)境/工具資產(chǎn)包括通信網(wǎng)絡(luò)、通信協(xié)議、云、數(shù)據(jù)引入平臺、數(shù)據(jù)探索平臺、DBMS（數(shù)據(jù)庫管理系統(tǒng)）、分布式文件系統(tǒng)、計算平臺、集成開發(fā)環(huán)境、庫、監(jiān)控工具、操作系統(tǒng)/軟件、優(yōu)化技術(shù)、機(jī)器學(xué)習(xí)平臺、處理器、可視化工具。

3.6 相關(guān)產(chǎn)物Artefacts

相關(guān)產(chǎn)物資產(chǎn)包括訪問控制列表、用例、數(shù)據(jù)管理、價值主張和商業(yè)模型、數(shù)據(jù)管理策略、描述性統(tǒng)計參數(shù)、模型框架、軟件、固件和硬件、高級測試用例、模型架構(gòu)、模型已經(jīng)按設(shè)計、數(shù)據(jù)和元數(shù)據(jù)方案、數(shù)據(jù)索引。

4. AI威脅

根據(jù)ENISA威脅分類方法，人工智能安全威脅主要可以分為以下幾類：

• 惡意活動/濫用（NAA）：指通過惡意行為，以竊取、更改或摧毀特定目標(biāo)為目的，針對ICT系統(tǒng)、基礎(chǔ)設(shè)施和網(wǎng)絡(luò)的蓄意行為。
• 竊聽/攔截/劫持（EIH）：在未經(jīng)用戶同意的情況下監(jiān)聽、攔截或控制第三方通信的行為。
• 物理攻擊（PA）：旨在摧毀、暴露、更改、禁用、竊取或獲得對基礎(chǔ)設(shè)施、硬件或互聯(lián)的物理資產(chǎn)的未經(jīng)授權(quán)訪問的行為。
• 非故意損害（UD）：造成財產(chǎn)或人員的破壞、傷害或傷害，并導(dǎo)致失效或降低效用的無意行為。
• 故障或故障（FM）：硬件或軟件等資產(chǎn)部分或全部功能失效。
• 停機(jī)（OUT）：服務(wù)意外中斷或質(zhì)量下降至要求水平以下。
• 災(zāi)害：造成重大損害或生命損失的突發(fā)事故或自然災(zāi)害。
• 法律（LEG）：第三方根據(jù)法律采取的行動進(jìn)行訴訟或賠償損失。

4.1 惡意活動/濫用（NAA）

• 對數(shù)據(jù)集和數(shù)據(jù)轉(zhuǎn)移過程的非授權(quán)訪問；
• 對數(shù)據(jù)集和數(shù)據(jù)轉(zhuǎn)移過程的操作；
• 對模型代碼的非授權(quán)訪問；
• 入侵和限制人工智能結(jié)果；
• 入侵人工智能干擾正確的數(shù)據(jù)；
• 入侵機(jī)器學(xué)習(xí)干擾正確的數(shù)據(jù)；
• 數(shù)據(jù)投毒；
• 數(shù)據(jù)修改；
• 權(quán)限提升；
• 內(nèi)部威脅；
• 優(yōu)化算法的操作；
• 基于對抗樣本的錯誤分類；
• 模型投毒；
• 對抗攻擊的轉(zhuǎn)移；
• 在線系統(tǒng)操縱；
• 白盒、定向或非定向攻擊；
• 標(biāo)記數(shù)據(jù)操縱；
• 針對訓(xùn)練數(shù)據(jù)集的后門插入攻擊；
• 入侵機(jī)器學(xué)習(xí)訓(xùn)練驗證數(shù)據(jù)；
• 對抗樣本；
• 降低數(shù)據(jù)準(zhǔn)確率；
• 機(jī)器學(xué)習(xí)模型完整性操縱；
• DDoS攻擊；
• 入侵機(jī)器學(xué)習(xí)預(yù)處理；
• 入侵模型框架；
• 數(shù)據(jù)索引破壞；
• 降低人工智能機(jī)器學(xué)習(xí)結(jié)果的有效性；
• 模型后門。

4.2 竊聽/攔截/劫持（EIH）

• 數(shù)據(jù)干擾；
• 數(shù)據(jù)竊取；
• 模型泄露；
• 弱加密。

4.3 物理攻擊（PA）

• 由于不可靠數(shù)據(jù)基礎(chǔ)設(shè)施引發(fā)的錯誤或限制；
• 模型破壞；
• 針對基礎(chǔ)設(shè)施系統(tǒng)的物理攻擊；
• 通信網(wǎng)絡(luò)攻擊；
• 其他蓄意破壞。

4.4 非故意損害（UD）

• 入侵或限制人工智能結(jié)果；
• 在數(shù)據(jù)操作過程中破壞隱私；
• 破壞特征選擇；
• 人工智能系統(tǒng)的操作配置或錯誤處理；
• 機(jī)器學(xué)習(xí)模型性能降級；
• 在線系統(tǒng)操縱；
• 數(shù)據(jù)缺乏充分的表示；
• 統(tǒng)計數(shù)據(jù)錯誤處理；
• 降低數(shù)據(jù)準(zhǔn)確率；
• 模型的錯誤配置；
• 數(shù)據(jù)所有者引入的偏見；
• 個人信息泄露；
• 模型框架破壞。

4.5 故障（FM）

• 由于不可靠數(shù)據(jù)基礎(chǔ)設(shè)施引發(fā)的錯誤；
• 第三方提供商故障；
• 機(jī)器學(xué)習(xí)模型性能降級；
• 數(shù)據(jù)質(zhì)量檢查缺失；
• 弱需求分析；
• 資源規(guī)劃不足；
• 弱數(shù)據(jù)管理策略；
• 數(shù)據(jù)索引破壞；
• 入侵機(jī)器學(xué)習(xí)預(yù)處理；
• 入侵模型框架。

4.6 停機(jī)（OUT）

• 基礎(chǔ)設(shè)置/系統(tǒng)停機(jī)；
• 通信網(wǎng)絡(luò)停機(jī)。

4.7 災(zāi)害

• 地震、洪水、火災(zāi)等自然災(zāi)害；
• 氣候變化等。

4.8 法律（LEG）

• 數(shù)據(jù)索引破壞；
• 廠商鎖定；
• 弱需求分析；
• 缺乏數(shù)據(jù)治理策略；
• 個人信息泄露。

5.結(jié)論

ENISA人工智能威脅圖譜是即將發(fā)布的網(wǎng)絡(luò)安全政策倡議和技術(shù)指導(dǎo)的基礎(chǔ)，還介紹了人工智能相關(guān)的挑戰(zhàn)。其中一個特別重要的領(lǐng)域是與人工智能相關(guān)的供應(yīng)鏈。因此，強(qiáng)調(diào)包括人工智能供應(yīng)鏈的所有要素在內(nèi)的歐盟生態(tài)系統(tǒng)對安全可靠人工智能是非常重要的。歐盟的安全人工智能生態(tài)系統(tǒng)應(yīng)將網(wǎng)絡(luò)安全和數(shù)據(jù)保護(hù)放在首位，并促進(jìn)相關(guān)的創(chuàng)新、能力建設(shè)、提高認(rèn)識和開展研發(fā)活動。