越來越多的企業(yè)組織開始應用人工智能（Artificial Intelligence，縮寫AI）和機器學習（Machine Learning，縮寫ML）項目，保護這些項目變得日益重要。IBM和Morning Consult聯(lián)合開展的一項調(diào)查顯示，在7500多家受訪跨國企業(yè)中，35%的企業(yè)已經(jīng)在使用AI，比去年增加了13%，另有42%的企業(yè)在研究可行性。然而近20%的公司表示在保護AI系統(tǒng)的數(shù)據(jù)方面存在困難，這減慢了采用AI的步伐。

保護AI和ML系統(tǒng)面臨重大挑戰(zhàn)，一些挑戰(zhàn)并不是AI技術本身造成的。比如說，AI和ML系統(tǒng)需要數(shù)據(jù)，如果數(shù)據(jù)包含敏感或隱私信息，就會成為攻擊者的目標。機器學習模型在網(wǎng)絡空間環(huán)境下存在受到對抗性攻擊的潛在風險, 可能成為防御體系中最為薄弱的環(huán)節(jié), 從而危害整個系統(tǒng)的安全。

什么是對抗性機器學習

對抗性機器學習并不是一種機器學習，而是攻擊者用來攻擊ML系統(tǒng)的一系列手段。對抗性機器學習利用了ML模型的漏洞和特殊性來實施攻擊。比如，對抗性機器學習可用于使ML交易算法做出錯誤的交易決策，使欺詐性操作更難被發(fā)現(xiàn)，并提供錯誤的操作建議，以及操縱基于情緒分析的報告。

對抗性機器學習攻擊分為中毒攻擊、逃避攻擊、提取攻擊和推理攻擊等四種方式。

1.中毒攻擊

在中毒攻擊中，攻擊者操縱訓練數(shù)據(jù)集。比如，故意使數(shù)據(jù)集有偏差，讓機器以錯誤的方式學習。例如，你家裝有基于AI的安全攝像頭。攻擊者可能每天凌晨3點路過你家，讓他的狗穿過草坪，從而觸發(fā)安全系統(tǒng)。最終，你關閉凌晨3點觸發(fā)的這些警報，以免被狗吵醒。那個遛狗的人實際上在提供訓練數(shù)據(jù)，讓安全系統(tǒng)知道每天凌晨3點發(fā)生的事是無害的。當系統(tǒng)被訓練以忽略凌晨3點發(fā)生的任何事情后，攻擊者就趁機發(fā)起攻擊。

2. 逃避攻擊

在逃避攻擊中，模型已經(jīng)過訓練，但攻擊者可以稍稍改變輸入以實施攻擊。一個例子是停車標志——當攻擊者貼上讓車標簽后，機器解釋為讓車標志，而不是停車標志。在上面遛狗例子中，竊賊可以穿上狗服闖入你家。逃避攻擊就像是機器的視錯覺。

3. 提取攻擊

在提取攻擊中，攻擊者獲得AI系統(tǒng)的副本。有時只需觀察模型的輸入和輸出，就可以提取模型，并試探一下模型，觀察其反應。如果可以多次試探模型，就能教自己的模型有同樣的行為方式。

比如在2019年，Proofpoint的電子郵件保護系統(tǒng)曝出漏洞，生成的郵件標頭附有一個分數(shù)，表明了郵件是垃圾郵件的可能性有多大。攻擊者使用這些分數(shù)，就可以構建模仿的垃圾郵件檢測引擎，以生成逃避檢測的垃圾郵件。

如果一家公司使用商業(yè)AI產(chǎn)品，攻擊者也可以通過購買或使用服務，獲得模型的副本。例如，攻擊者可以使用一些平臺，針對防病毒引擎測試其惡意軟件。在上面遛狗的例子中，攻擊者可以弄一副望遠鏡觀察安全攝像頭是什么品牌，然后買同一品牌的攝像頭，弄清楚如何繞過防御。

4. 推理攻擊

在推理攻擊中，攻擊者搞清楚用于訓練系統(tǒng)的數(shù)據(jù)集，然后利用數(shù)據(jù)中的漏洞或偏差實施攻擊。如果能搞清楚訓練數(shù)據(jù)，就可以使用常識或高明的手法來利用它。仍以遛狗的例子為例，攻擊者可能會監(jiān)視房子，以便摸清楚附近路人車輛情況。當攻擊者注意到每天凌晨3點有遛狗者經(jīng)過，安全系統(tǒng)會忽視遛狗者，就有可能利用這一漏洞實施攻擊。

將來，攻擊者還可能同樣利用智能化的機器學習技術來攻擊正規(guī)的機器學習應用。比如，一種新型AI生成式對抗系統(tǒng)。這種系統(tǒng)常用于創(chuàng)建深度偽造（deep fake）內(nèi)容，即高度逼真的照片或視頻，讓人誤以為真。攻擊者常常將它們用于在線詐騙，但也可以運用同樣的原理生成無法檢測出來的惡意軟件。

在生成式對抗網(wǎng)絡中，一方稱為判別器，另一方稱為生成器，它們相互攻擊。比如，防病毒AI可能嘗試查明某個對象是不是惡意軟件。生成惡意軟件的AI可能會嘗試創(chuàng)建第一個系統(tǒng)無法揪出來的惡意軟件。通過兩個系統(tǒng)的反復對抗，最終結果可能是生成幾乎不可能被發(fā)現(xiàn)的惡意軟件。

如何防御對抗性機器學習

網(wǎng)絡空間中廣泛存在的對抗使得機器學習的應用面臨嚴峻挑戰(zhàn)，為了防御對抗性機器學習攻擊的威脅，安全研究人員已經(jīng)開始了對抗性機器學習的安全研究，提高機器學習算法在實際應用中的魯棒性，保障機器學習相關算法的應用安全。

研究機構Gartner建議，如果企業(yè)有AI和ML系統(tǒng)需要保護，應采取針對性的安全措施。首先，為了保護AI模型的完整性，企業(yè)應采用可信賴AI的原則，并對模型進行驗證檢查；其次，為了保護AI訓練數(shù)據(jù)的完整性，應使用數(shù)據(jù)中毒檢測技術；此外，很多傳統(tǒng)安全措施也可以被應用到AI系統(tǒng)保護中。比如，保護數(shù)據(jù)不被訪問或破壞的解決方還可以保護訓練數(shù)據(jù)集不被篡改。

MITRE公司以標準化的ATT&CK對抗性策略和技術框架而聞名，它也為AI系統(tǒng)創(chuàng)建了一套名為對抗性機器學習威脅矩陣（Adversarial Machine Learning Threat Matrix）的攻擊框架，該框架后目前被稱為人工智能系統(tǒng)的對抗性威脅環(huán)境（Adversarial Threat Landscape for Artificial-Intelligence Systems，縮寫ATLAS），涵蓋攻擊ML系統(tǒng)的12個階段。

此外，一些廠商已開始發(fā)布安全工具，幫助用戶保護AI系統(tǒng)并防御對抗性機器學習。微軟在2021年5月發(fā)布了Counterfit，這款開源自動化工具用于對AI系統(tǒng)進行安全測試。Counterfit起初是專門針對單個AI模型編寫的攻擊腳本庫，后來變成了一款通用自動化工具，用于大規(guī)模攻擊多個AI系統(tǒng)。該工具可用于使MITRE的ATLAS攻擊框架中的技術實現(xiàn)自動化，但也可用于AI開發(fā)階段，提早發(fā)現(xiàn)漏洞，以免漏洞進入生產(chǎn)環(huán)境。

IBM也有一款名為Adversarial Robustness Toolbox的開源對抗性機器學習防御工具，它現(xiàn)在是Linux基金會旗下的一個項目。該項目支持所有流行的ML框架，包括39個攻擊模塊，分為逃避、中毒、提取和推理四大類。

針對機器學習在網(wǎng)絡空間防御中可能遭受的攻擊，企業(yè)還應該盡早引入機器學習攻擊者模型，目的是科學評估其在特定威脅場景下的安全屬性。同時組織應充分了解對抗性機器學習算法如何在測試階段發(fā)動規(guī)避攻擊、在訓練階段發(fā)動投毒攻擊、在機器學習全階段發(fā)動隱私竊取的常見方法，設計并部署在網(wǎng)絡空間實際對抗環(huán)境中，能夠有效強化機器學習模型安全性的防御方法。

參考鏈接：

https://www.csoonline.com/article/3664748/adversarial-machine-learning-explained-how-attackers-disrupt-ai-and-ml-systems.html