譯者 | 李睿

審校 | 重樓

人工智能正在徹底改變軟件即服務(wù)(SaaS)應(yīng)用程序的工作方式，使它們比以往任何時(shí)候都更加高效和自動化。然而，這種快速發(fā)展也打開了新的安全威脅的潘多拉魔盒。從對數(shù)據(jù)的惡意操縱到人工智能模型的逐漸退化，這些漏洞是人工智能驅(qū)動的SaaS所獨(dú)有的，需要人們高度關(guān)注。本文將深入研究這些風(fēng)險(xiǎn)，查看現(xiàn)實(shí)世界的示例，并討論保護(hù)這些人工智能驅(qū)動的解決方案的實(shí)用方法。

本文將重點(diǎn)關(guān)注：

• 數(shù)據(jù)中毒：操縱訓(xùn)練數(shù)據(jù)以損害人工智能模型行為，例如微軟Tay聊天機(jī)器人事件。
• 利用人工智能模型中的漏洞：針對人工智能模型弱點(diǎn)的對抗性攻擊，例如面部識別和自動駕駛汽車的研究。
• 訪問控制和數(shù)據(jù)泄露：由于安全措施不足，未經(jīng)授權(quán)訪問或泄露敏感用戶數(shù)據(jù)，例如Equifax數(shù)據(jù)泄露和谷歌的GDPR罰款。
• 供應(yīng)鏈攻擊：利用第三方軟件組件的漏洞滲透系統(tǒng)，例如破壞性的SolarWinds攻擊。
• 模型漂移：由于真實(shí)世界數(shù)據(jù)的變化，人工智能模型準(zhǔn)確性隨著時(shí)間的推移而下降，這一點(diǎn)在新冠疫情期間面臨的挑戰(zhàn)中得到了突出體現(xiàn)。

1.數(shù)據(jù)中毒

數(shù)據(jù)中毒指的是對訓(xùn)練數(shù)據(jù)的惡意操縱，以損害人工智能模型的完整性和功能。通過注入精心制作的虛假或誤導(dǎo)性信息，網(wǎng)絡(luò)攻擊者可以潛移默化地影響模型的行為，導(dǎo)致不準(zhǔn)確的預(yù)測、錯(cuò)誤的決策，甚至泄露敏感數(shù)據(jù)。

現(xiàn)實(shí)示例

2016年，微軟公司的人工智能聊天機(jī)器人“Tay”為數(shù)據(jù)中毒的危險(xiǎn)提供了一個(gè)鮮明的例證。

Tay的設(shè)計(jì)初衷是在推特（Twitter）上進(jìn)行隨意的對話，但卻被惡意行為者操縱，他們采用攻擊性和煽動性的信息轟炸Tay。這些攻擊者利用Tay的“跟我說”功能及其學(xué)習(xí)能力，有效地毒害了這種聊天機(jī)器人的訓(xùn)練數(shù)據(jù)，使其鸚鵡學(xué)舌地模仿仇恨言論和歧視性言論。在上線幾個(gè)小時(shí)后，Tay的推文變得令人反感，以至于微軟被迫將其下線。這一事件為數(shù)據(jù)中毒的潛在后果敲響了警鐘，凸顯出必須采取強(qiáng)有力的防范措施，以防止對人工智能模型的惡意操縱。

緩解策略

• 穩(wěn)健的數(shù)據(jù)驗(yàn)證：實(shí)施嚴(yán)格的數(shù)據(jù)驗(yàn)證技術(shù)（例如異常檢測算法），可以幫助識別和刪除可疑的數(shù)據(jù)點(diǎn)，以免它們污染訓(xùn)練過程。
• 數(shù)據(jù)來源跟蹤：維護(hù)數(shù)據(jù)源和任何修改的詳細(xì)記錄可以幫助追蹤潛在中毒企圖的來源，并在必要時(shí)恢復(fù)到干凈的備份數(shù)據(jù)。
• 對抗性訓(xùn)練：在訓(xùn)練期間將人工智能模型暴露于各種潛在的攻擊場景中，可以增強(qiáng)其對數(shù)據(jù)中毒嘗試的抵御能力。
• 人工循環(huán)審查：定期審查模型輸出并尋求人工反饋可以幫助發(fā)現(xiàn)和糾正由數(shù)據(jù)中毒引起的任何意外偏差或錯(cuò)誤。

2.利用人工智能模型中的漏洞

對抗性攻擊專門針對這些模型中的漏洞，旨在欺騙它們泄露敏感信息、執(zhí)行意外操作或繞過安全措施。網(wǎng)絡(luò)攻擊者通過精心設(shè)計(jì)輸入來實(shí)現(xiàn)這一點(diǎn)，這些輸入利用了模型邏輯和決策過程中的弱點(diǎn)。

現(xiàn)實(shí)示例

考慮在以安全為重點(diǎn)的SaaS應(yīng)用程序中用于身份驗(yàn)證的面部識別軟件。惡意行為者可以創(chuàng)建對抗性圖像（例如具有難以察覺的變化的圖像），從而欺騙人工智能模型錯(cuò)誤識別個(gè)體。Sharif等人在2024年發(fā)表的研究報(bào)告(https://arxiv.org/pdf/2404.17760)展示了如何通過添加幾乎不可見的眼鏡等細(xì)微元素來欺騙此類系統(tǒng)。這一漏洞可能導(dǎo)致未經(jīng)授權(quán)的訪問和潛在的數(shù)據(jù)泄露。

另一個(gè)示例

在2018年的一項(xiàng)研究中，Eykholt等人(https://arxiv.org/abs/1707.08945)通過在停車標(biāo)志中添加細(xì)微的擾動，暴露了自動駕駛汽車系統(tǒng)的漏洞，導(dǎo)致人工智能將其誤解為限速標(biāo)志。這樣的攻擊可能會在現(xiàn)實(shí)世界中造成可怕的后果，凸顯了解決這些漏洞的迫切需要。

緩解策略

• 對抗性訓(xùn)練：通過在訓(xùn)練期間將人工智能模型暴露于各種對抗性示例中，開發(fā)人員可以增強(qiáng)其識別和抵抗此類攻擊的能力。這種“疫苗接種”方法可以顯著提高模型的魯棒性。
• 持續(xù)監(jiān)測：對人工智能模型在現(xiàn)實(shí)場景中的表現(xiàn)進(jìn)行持續(xù)監(jiān)測至關(guān)重要。檢測異常或意外行為可以發(fā)出攻擊成功的信號，從而允許及時(shí)調(diào)查和緩解攻擊。
• 輸入驗(yàn)證：實(shí)現(xiàn)健壯的輸入驗(yàn)證技術(shù)可以在人工智能模型到達(dá)之前過濾掉潛在的有害或?qū)剐暂斎搿?/span>
• 防御層：采用多層防御，例如將基于人工智能的檢測與基于規(guī)則的系統(tǒng)相結(jié)合，可以創(chuàng)建更具彈性的安全框架。

3.訪問控制和數(shù)據(jù)泄漏

人工智能驅(qū)動的SaaS應(yīng)用程序通常依賴于大量的用戶數(shù)據(jù)才能有效運(yùn)行。然而，不充分的訪問控制或平臺內(nèi)的漏洞可能會使這些敏感數(shù)據(jù)暴露給未經(jīng)授權(quán)的訪問、盜竊或泄漏，從而對用戶隱私和安全構(gòu)成重大威脅。

現(xiàn)實(shí)示例

想象一下，將人工智能營銷工具集成到SaaS平臺中。為了提供個(gè)性化的建議和見解，該工具可能需要訪問大量的客戶數(shù)據(jù)，包括購買歷史記錄、人口統(tǒng)計(jì)數(shù)據(jù)和瀏覽行為。如果訪問控制較弱或配置錯(cuò)誤，網(wǎng)絡(luò)攻擊者可能會利用這些漏洞獲得對該數(shù)據(jù)的未經(jīng)授權(quán)的訪問。這樣的漏洞可能導(dǎo)致身份盜竊，有針對性的網(wǎng)絡(luò)釣魚詐騙，甚至在暗網(wǎng)上出售這些數(shù)據(jù)。2017年發(fā)生的Equifax數(shù)據(jù)泄露事件泄露了數(shù)百萬美國人的個(gè)人信息，這清楚地提醒人們訪問控制不足的潛在后果。

另一個(gè)示例

2019年，根據(jù)歐盟的《通用數(shù)據(jù)保護(hù)條例》(GDPR)，谷歌公司由于為廣告?zhèn)€性化收集的用戶數(shù)據(jù)缺乏透明度和控制而被罰款5000萬歐元。這強(qiáng)調(diào)了健壯的訪問控制和以用戶為中心的數(shù)據(jù)管理實(shí)踐的重要性。

緩解策略

• 最小權(quán)限原則(PoLP)：實(shí)現(xiàn)PoLP確保用戶只被授予執(zhí)行其特定任務(wù)所需的最低級別的訪問權(quán)限。如果網(wǎng)絡(luò)攻擊者破壞了用戶的憑據(jù)，這將最大限度地減少潛在的損害。
• 強(qiáng)身份驗(yàn)證：采用多因素身份驗(yàn)證(MFA)增加了額外的安全層，要求用戶提供多種形式的驗(yàn)證來訪問敏感數(shù)據(jù)或功能。
• 數(shù)據(jù)加密：對靜態(tài)(存儲在服務(wù)器上)和傳輸(通過網(wǎng)絡(luò)傳輸)的數(shù)據(jù)進(jìn)行加密，即使網(wǎng)絡(luò)攻擊者設(shè)法破壞系統(tǒng)，也很難破譯。
• 定期審計(jì)和監(jiān)控：對訪問日志進(jìn)行定期安全審計(jì)和持續(xù)監(jiān)控，有助于在可疑活動或潛在漏洞被利用之前識別它們。
• 數(shù)據(jù)最小化：將用戶數(shù)據(jù)的收集和存儲限制在應(yīng)用程序功能所必需的范圍內(nèi)，以降低數(shù)據(jù)泄露的風(fēng)險(xiǎn)。

4.供應(yīng)鏈攻擊

人工智能驅(qū)動的SaaS應(yīng)用程序通常依賴于外部軟件組件、庫和依賴關(guān)系的復(fù)雜網(wǎng)絡(luò)。如果這些依賴關(guān)系被破壞，可能會成為攻擊者的切入點(diǎn)，使他們能夠滲透到SaaS平臺，操縱人工智能模型的行為，甚至訪問敏感的用戶數(shù)據(jù)。

現(xiàn)實(shí)示例

2020年SolarWinds公司遭受的網(wǎng)絡(luò)攻擊是供應(yīng)鏈漏洞破壞性影響的一個(gè)令人不寒而栗的例子。在這次復(fù)雜的網(wǎng)絡(luò)攻擊活動中，攻擊者滲透到網(wǎng)絡(luò)管理軟件供應(yīng)商SolarWinds系統(tǒng)中，并將惡意代碼注入其Orion平臺更新中。這些更新隨后在不知情的情況下分發(fā)給數(shù)千名SolarWinds客戶，其中包括政府機(jī)構(gòu)和財(cái)富500強(qiáng)公司。

網(wǎng)絡(luò)攻擊者利用這種后門訪問來竊取敏感數(shù)據(jù)，安裝額外的惡意軟件，并在受損的網(wǎng)絡(luò)中橫向移動。幾個(gè)月來，這次攻擊一直未被發(fā)現(xiàn)，造成了廣泛的破壞，并引發(fā)了人們對軟件供應(yīng)鏈安全的嚴(yán)重?fù)?dān)憂。這一事件凸顯了攻擊者利用可信軟件中的漏洞訪問龐大的互聯(lián)系統(tǒng)網(wǎng)絡(luò)的可能性，從而放大了漏洞的不良影響。

緩解策略

軟件物料清單(SBOM)：維護(hù)所有軟件組件的全面清單，包括它們的版本和依賴關(guān)系，使組織能夠在發(fā)現(xiàn)漏洞時(shí)快速識別和修補(bǔ)漏洞。

• 對第三方供應(yīng)商進(jìn)行嚴(yán)格的安全審計(jì)：對任何將其軟件集成到SaaS平臺中的第三方供應(yīng)商進(jìn)行徹底的安全評估至關(guān)重要。這有助于確保這些外部組件滿足與核心應(yīng)用程序相同的安全標(biāo)準(zhǔn)。
• 依賴項(xiàng)掃描：利用自動化工具掃描依賴項(xiàng)中的已知漏洞，可以提供潛在風(fēng)險(xiǎn)的早期預(yù)警信號。
• 安全的軟件開發(fā)實(shí)踐：采用安全的編碼實(shí)踐遵守行業(yè)標(biāo)準(zhǔn)可以幫助降低引入軟件供應(yīng)鏈的漏洞風(fēng)險(xiǎn)。
• 零信任架構(gòu)：實(shí)現(xiàn)零信任安全模型，該模型假設(shè)沒有隱含信任，需要持續(xù)驗(yàn)證，可以通過限制系統(tǒng)內(nèi)的橫向移動來限制供應(yīng)鏈攻擊的潛在損害。

5.模型漂移

現(xiàn)實(shí)世界的動態(tài)性對部署在SaaS應(yīng)用程序中的人工智能模型提出了重大挑戰(zhàn)。隨著時(shí)間的推移，這些模型訓(xùn)練的數(shù)據(jù)分布和模式可能會與現(xiàn)實(shí)世界的數(shù)據(jù)產(chǎn)生偏差。這種被稱為模型漂移的現(xiàn)象會削弱人工智能模型的準(zhǔn)確性和有效性，可能會使理解這些差異的攻擊者利用它們進(jìn)行攻擊。

現(xiàn)實(shí)示例

新冠疫情清楚地說明了模型漂移帶來的挑戰(zhàn)。2020年初，隨著新冠病毒在全球迅速傳播，消費(fèi)者行為發(fā)生了巨大變化?？只判再徺I導(dǎo)致衛(wèi)生紙和洗手液等必需品囤積，而封鎖導(dǎo)致在線快遞服務(wù)和家庭娛樂需求激增。這些突然的變化打亂了許多人工智能需求預(yù)測模型從歷史數(shù)據(jù)中學(xué)到的模式，導(dǎo)致其預(yù)測出現(xiàn)嚴(yán)重不準(zhǔn)確。

例如，依靠人工智能來預(yù)測庫存水平的零售商發(fā)現(xiàn)，他們面臨著高需求商品的短缺和不受歡迎的產(chǎn)品的庫存過剩。同樣，使用人工智能進(jìn)行欺詐檢測的金融機(jī)構(gòu)也在努力適應(yīng)新冠疫情之后出現(xiàn)的新的欺詐活動模式。這凸顯了持續(xù)監(jiān)測和再培訓(xùn)人工智能模型的重要性，以確保它們在面對意外中斷和不斷變化的現(xiàn)實(shí)世界條件時(shí)的相關(guān)性和準(zhǔn)確性。

緩解策略

• 持續(xù)再訓(xùn)練：使用新鮮的、有代表性的數(shù)據(jù)對人工智能模型進(jìn)行定期再訓(xùn)練，對于保持其準(zhǔn)確性和相關(guān)性至關(guān)重要。通過結(jié)合最新的數(shù)據(jù)趨勢和模式，模型可以適應(yīng)不斷變化的現(xiàn)實(shí)世界。
• 性能監(jiān)控：采用強(qiáng)大的監(jiān)控系統(tǒng)實(shí)時(shí)跟蹤模型的性能，以便及早發(fā)現(xiàn)精度下降或意外行為。這些信號可以觸發(fā)調(diào)查和潛在的再訓(xùn)練，以減輕模型漂移。
• 概念漂移檢測：利用技術(shù)來明確識別底層數(shù)據(jù)分布的變化(概念漂移)，可以為模型更新和改進(jìn)提供有價(jià)值的見解。
• 模型集成：利用在不同數(shù)據(jù)集上訓(xùn)練具有不同優(yōu)勢的多個(gè)人工智能模型，可以幫助彌補(bǔ)單個(gè)模型的弱點(diǎn)，并提高對漂移的整體彈性。

進(jìn)一步閱讀

• NIST AI Risk Management Framework

原文標(biāo)題：Security Challenges in AI-Powered Applications，作者：Mayank Singhi