最近，我國Deepseek火爆全球，是繼Chatgpt之后在人工智能領(lǐng)域掀起的一次新熱浪。國內(nèi)外在宣傳人工智能之利的過程中，也有很多人參與其害。當(dāng)然，也涉及人工智能本身被攻擊的問題，IBM的專家就此方面做了探討。

人工智能 (AI) 現(xiàn)已成為信息安全的前線。然而，當(dāng)技術(shù)創(chuàng)新步伐非常快時(shí)，安全往往成為次要考慮因素。這一點(diǎn)從許多實(shí)施的臨時(shí)性中越來越明顯，組織缺乏明確的負(fù)責(zé)任的 AI 使用策略。

攻擊面的擴(kuò)大不僅因?yàn)槿斯ぶ悄苣Ｐ捅旧泶嬖陲L(fēng)險(xiǎn)和漏洞，還因?yàn)橹С诌@些模型的底層基礎(chǔ)設(shè)施存在風(fēng)險(xiǎn)和漏洞。許多基礎(chǔ)模型以及用于訓(xùn)練它們的數(shù)據(jù)集都是開源的，開發(fā)人員和攻擊者都可以輕松獲取。

人工智能模型的獨(dú)特風(fēng)險(xiǎn)

IBM CNE 能力開發(fā)主管 Ruben Boonen 表示：“一個問題是，這些模型托管在大型開源數(shù)據(jù)存儲中。你不知道是誰創(chuàng)建的，也不知道它們是如何被修改的，因此這里可能會出現(xiàn)許多問題。例如，假設(shè)你使用 PyTorch 加載托管在其中一個數(shù)據(jù)存儲中的模型，但該模型已被以不受歡迎的方式更改。這可能很難判斷，因?yàn)樵撃Ｐ驮?99% 的情況下可能表現(xiàn)正常?！?/span>

最近，研究人員在最大的開源生成式 AI模型和訓(xùn)練數(shù)據(jù)集存儲庫之一Hugging Face 上發(fā)現(xiàn)了數(shù)千個惡意文件。其中包括大約一百個能夠?qū)阂獯a注入用戶機(jī)器的惡意模型。在一個案例中，黑客建立了一個偽裝成基因檢測初創(chuàng)公司 23AndMe 的虛假個人資料，誘騙用戶下載一個能夠竊取 AWS 密碼的受感染模型。該模型被下載了數(shù)千次，最終被舉報(bào)并刪除。

在另一個近期案例中，紅隊(duì)研究人員發(fā)現(xiàn)了ChatGPT API 中的漏洞，其中一個 HTTP 請求引發(fā)了兩個響應(yīng)，表明存在異常代碼路徑，如果不加以解決，理論上可能會被利用。這反過來可能導(dǎo)致數(shù)據(jù)泄露、拒絕服務(wù)攻擊甚至權(quán)限提升。該團(tuán)隊(duì)還發(fā)現(xiàn)了 ChatGPT 插件中的漏洞，可能導(dǎo)致帳戶被接管。

雖然開源許可和云計(jì)算是人工智能領(lǐng)域創(chuàng)新的關(guān)鍵驅(qū)動力，但它們也是風(fēng)險(xiǎn)的來源。除了這些特定于人工智能的風(fēng)險(xiǎn)領(lǐng)域之外，一般基礎(chǔ)設(shè)施安全問題也適用，例如云配置中的漏洞或不良的監(jiān)控和日志記錄流程。

人工智能模型是知識產(chǎn)權(quán)盜竊的新前沿

想象一下，投入大量財(cái)力和人力資源來構(gòu)建專有的 AI 模型，結(jié)果卻被盜用或被逆向工程。不幸的是，模型盜竊問題日益嚴(yán)重，尤其是因?yàn)?AI 模型通常包含敏感信息，如果落入不法之徒之手，可能會泄露組織的機(jī)密。

最常見的模型竊取機(jī)制之一是模型提取，攻擊者通過 API 漏洞訪問和利用模型。這可能會讓他們獲得黑盒模型（如 ChatGPT）的訪問權(quán)限，然后他們可以策略性地查詢模型以收集足夠的數(shù)據(jù)來對其進(jìn)行逆向工程。

在大多數(shù)情況下，AI 系統(tǒng)運(yùn)行在云架構(gòu)上，而不是本地機(jī)器上。畢竟，云提供了輕松、便捷地運(yùn)行 AI 模型所需的可擴(kuò)展數(shù)據(jù)存儲和處理能力。然而，這種可訪問性也增加了攻擊面，使攻擊者能夠利用訪問權(quán)限配置錯誤等漏洞。

“當(dāng)公司提供這些模型時(shí)，通常會有面向客戶的應(yīng)用程序向最終用戶提供服務(wù)，例如 AI 聊天機(jī)器人。如果有一個 API 告訴它要使用哪個模型，攻擊者可能會嘗試?yán)盟鼇碓L問未發(fā)布的模型，”Boonen 說。

紅隊(duì)保障 AI 模型的安全

防止模型盜竊和逆向工程需要采取多管齊下的方法，結(jié)合傳統(tǒng)安全措施（如安全容器化實(shí)踐和訪問控制）以及攻擊性安全措施。

后者正是紅隊(duì)發(fā)揮作用的地方。紅隊(duì)可以主動解決人工智能模型盜竊的幾個方面，例如：

• API 攻擊：通過以與對手相同的方式系統(tǒng)地查詢黑盒模型，紅隊(duì)可以識別諸如次優(yōu)速率限制或響應(yīng)過濾不足等漏洞。
• 旁道攻擊：紅隊(duì)還可以進(jìn)行旁道分析，通過監(jiān)視 CPU 和內(nèi)存使用情況等指標(biāo)，試圖收集有關(guān)模型大小、架構(gòu)或參數(shù)的信息。
• 容器和編排攻擊：通過評估框架、庫、模型和應(yīng)用程序等容器化的 AI 依賴項(xiàng)，紅隊(duì)可以識別編排漏洞，例如配置錯誤的權(quán)限和未經(jīng)授權(quán)的容器訪問。
• 供應(yīng)鏈攻擊：紅隊(duì)可以探測跨越不同環(huán)境中托管的多個依賴關(guān)系的整個 AI 供應(yīng)鏈，以確保僅使用插件和第三方集成等受信任的組件。

全面的紅隊(duì)策略可以模擬現(xiàn)實(shí)世界中針對人工智能基礎(chǔ)設(shè)施的攻擊的全部范圍，以揭示可能導(dǎo)致模型盜竊的安全和事件響應(yīng)計(jì)劃中的漏洞。

緩解人工智能系統(tǒng)中的過度代理問題

大多數(shù)人工智能系統(tǒng)在如何與不同系統(tǒng)交互以及響應(yīng)提示方面都具有一定程度的自主性。畢竟，這就是它們有用的原因。然而，如果系統(tǒng)擁有過多的自主性、功能或權(quán)限（OWASP 稱之為“過度代理”），它們最終可能會觸發(fā)有害或不可預(yù)測的輸出和流程，或留下安全漏洞。

Boonen 警告說，多模式系統(tǒng)依賴于處理輸入的組件，例如 PDF 文件和圖像的光學(xué)字符識別 (OCR)，“如果沒有得到適當(dāng)?shù)谋Ｗo(hù)，可能會引入漏洞”。

賦予 AI 系統(tǒng)過多的代理權(quán)也會不必要地?cái)U(kuò)大攻擊面，從而為對手提供更多的潛在切入點(diǎn)。通常，為企業(yè)使用而設(shè)計(jì)的 AI 系統(tǒng)會集成到更廣泛的環(huán)境中，涵蓋多個基礎(chǔ)設(shè)施、插件、數(shù)據(jù)源和 API。當(dāng)這些集成導(dǎo)致安全性和功能性之間出現(xiàn)不可接受的權(quán)衡時(shí)，就會發(fā)生過多的代理權(quán)。

讓我們考慮一個例子，其中人工智能個人助理可以直接訪問存儲在 OneDrive for Business 中的個人 Microsoft Teams 會議記錄，目的是以易于訪問的書面格式總結(jié)這些會議的內(nèi)容。但是，讓我們想象一下，該插件不僅能夠讀取會議記錄，還能讀取用戶 OneDrive 帳戶中存儲的所有其他內(nèi)容，其中還存儲了許多機(jī)密信息資產(chǎn)。也許該插件甚至具有寫入功能，在這種情況下，安全漏洞可能會為攻擊者提供一條上傳惡意內(nèi)容的捷徑。

再次強(qiáng)調(diào)，紅隊(duì)測試可以幫助識別 AI 集成中的缺陷，尤其是在使用許多不同插件和 API 的環(huán)境中。他們的模擬攻擊和全面分析將能夠識別訪問權(quán)限中的漏洞和不一致之處，以及訪問權(quán)限不必要地松懈的情況。即使他們沒有發(fā)現(xiàn)任何安全漏洞，他們?nèi)匀荒軌蛱峁┯嘘P(guān)如何減少攻擊面的見解。