從提示注入到模型盜竊，OWASP 已經(jīng)確定了基于大語(yǔ)言模型 (LLM) 的 AI 應(yīng)用中最常見(jiàn)和影響最大的漏洞。

全球開(kāi)放應(yīng)用安全項(xiàng)目組(OWASP)列出了大語(yǔ)言模型應(yīng)用中常見(jiàn)的十大關(guān)鍵漏洞。提示注入、被污染的訓(xùn)練數(shù)據(jù)、數(shù)據(jù)泄漏和過(guò)度依賴 LLM 生成的內(nèi)容依然在名單上，而新增的威脅包括模型拒絕服務(wù)、供應(yīng)鏈漏洞、模型盜竊以及過(guò)度自主性。

該名單旨在教育開(kāi)發(fā)人員、設(shè)計(jì)人員、架構(gòu)師、管理人員和企業(yè)在部署和管理 LLM 時(shí)，了解潛在的安全風(fēng)險(xiǎn)，提高對(duì)漏洞的認(rèn)識(shí)，提出補(bǔ)救策略，并改善 LLM 應(yīng)用的安全狀況。

SANS Institute 的首席研究員兼教職負(fù)責(zé)人 Rob T. Lee 表示：“考慮部署GenAI 技術(shù)的企業(yè)需要關(guān)注與之相關(guān)的風(fēng)險(xiǎn)。OWASP 的前十名單很好地列出了當(dāng)前 LLM 可能存在或被利用的漏洞。”他補(bǔ)充道，這份前十名單是討論 LLM 漏洞及如何保障這些 AI 安全的良好開(kāi)端。

“我們才剛剛開(kāi)始探索如何設(shè)置適當(dāng)?shù)目刂拼胧?、配置和部署指南，以隱私和安全為中心，最佳地保護(hù)數(shù)據(jù)。OWASP 前十名單是一個(gè)很好的起點(diǎn)，但這個(gè)話題遠(yuǎn)未結(jié)束?！?/p>

以下是 OWASP 列出的影響 LLM 應(yīng)用的十大關(guān)鍵漏洞：

1. 提示注入

提示注入是指攻擊者通過(guò)精心設(shè)計(jì)的輸入操縱大語(yǔ)言模型，使其在不知情的情況下執(zhí)行攻擊者的意圖，這可以通過(guò)直接“破解”系統(tǒng)提示或通過(guò)操控的外部輸入間接實(shí)現(xiàn)，可能導(dǎo)致數(shù)據(jù)外泄、社會(huì)攻擊等問(wèn)題。

成功的提示注入攻擊可能帶來(lái)多種結(jié)果——從獲取敏感信息到在正常操作的偽裝下影響關(guān)鍵決策過(guò)程，OWASP 指出。

例如，用戶可以編寫(xiě)一個(gè)巧妙的提示，使公司的聊天機(jī)器人泄露用戶通常無(wú)法訪問(wèn)的專有信息，或在上傳的簡(jiǎn)歷中埋入指示系統(tǒng)推薦該候選人的隱秘指令。

防范此漏洞的措施包括：

? 對(duì) LLM 訪問(wèn)后端系統(tǒng)的權(quán)限進(jìn)行控制。為 LLM 提供獨(dú)立的 API 令牌以擴(kuò)展功能，并遵循最小權(quán)限原則，將 LLM 的訪問(wèn)權(quán)限限制在其預(yù)期操作所需的最低水平。

? 對(duì)于最敏感的操作，引入人為干預(yù)，要求額外的審批步驟，以減少未授權(quán)行為的機(jī)會(huì)。

2. 不安全的輸出處理

不安全的輸出處理是指在將大語(yǔ)言模型生成的輸出傳遞給其他組件和系統(tǒng)之前，未能充分驗(yàn)證、清理和處理這些輸出。由于 LLM 生成的內(nèi)容可以通過(guò)提示輸入控制，這種行為類(lèi)似于為用戶間接提供對(duì)額外功能的訪問(wèn)。

例如，如果 LLM 的輸出直接發(fā)送到系統(tǒng) shell 或類(lèi)似功能中，可能導(dǎo)致遠(yuǎn)程代碼執(zhí)行。如果 LLM 生成 JavaScript 或 markdown 代碼并將其發(fā)送到用戶的瀏覽器，瀏覽器可能會(huì)運(yùn)行該代碼，進(jìn)而引發(fā)跨站腳本攻擊。

防范此漏洞的措施包括：

? 將模型視為其他用戶，采用零信任策略，并對(duì)從模型返回的響應(yīng)進(jìn)行適當(dāng)?shù)妮斎腧?yàn)證，以防止對(duì)后端功能的攻擊。

? 遵循 OWASP ASVS(應(yīng)用安全驗(yàn)證標(biāo)準(zhǔn))指南，確保有效的輸入驗(yàn)證和清理，并對(duì)輸出進(jìn)行編碼，以降低意外代碼執(zhí)行的風(fēng)險(xiǎn)。

3. 訓(xùn)練數(shù)據(jù)投毒

訓(xùn)練數(shù)據(jù)投毒是指對(duì)預(yù)訓(xùn)練數(shù)據(jù)或在微調(diào)或嵌入過(guò)程中涉及的數(shù)據(jù)進(jìn)行操控，從而引入漏洞、后門(mén)或偏見(jiàn)，這可能會(huì)損害模型的完整性，OWASP 解釋道。

例如，惡意攻擊者或擁有內(nèi)部權(quán)限的人獲得訓(xùn)練數(shù)據(jù)集的訪問(wèn)權(quán)限后，可以更改數(shù)據(jù)，使模型提供錯(cuò)誤的指示或建議，從而對(duì)公司造成損害或使攻擊者獲利。從外部來(lái)源獲取的損壞的訓(xùn)練數(shù)據(jù)集也可能屬于供應(yīng)鏈漏洞的范疇。

防范此漏洞的措施包括：

? 驗(yàn)證訓(xùn)練數(shù)據(jù)的供應(yīng)鏈，尤其是當(dāng)數(shù)據(jù)來(lái)自外部時(shí)。

? 通過(guò)不同的訓(xùn)練數(shù)據(jù)或微調(diào)為不同的使用場(chǎng)景創(chuàng)建不同的模型，以生成更細(xì)粒度且準(zhǔn)確的GenAI 輸出。

? 確保充足的沙箱環(huán)境，防止模型抓取不當(dāng)?shù)臄?shù)據(jù)來(lái)源。

? 對(duì)特定的訓(xùn)練數(shù)據(jù)或數(shù)據(jù)源類(lèi)別進(jìn)行嚴(yán)格的審查或輸入過(guò)濾，以控制偽造數(shù)據(jù)的數(shù)量。

? 通過(guò)分析模型在特定測(cè)試輸入上的行為，檢測(cè)投毒攻擊的跡象，并在偏差響應(yīng)超出閾值時(shí)進(jìn)行監(jiān)控和警報(bào)。

? 通過(guò)人為審核和審計(jì)，參與循環(huán)中的審查。

4. 模型拒絕服務(wù)

在模型拒絕服務(wù)攻擊中，攻擊者通過(guò)與 LLM 進(jìn)行交互，消耗大量資源，導(dǎo)致服務(wù)質(zhì)量下降，影響自己和其他用戶，甚至可能導(dǎo)致高昂的資源成本。隨著 LLM 在各種應(yīng)用中的使用不斷增加、資源密集型使用、用戶輸入的不可預(yù)測(cè)性以及開(kāi)發(fā)人員對(duì)這一漏洞的普遍認(rèn)識(shí)不足，OWASP 指出，該問(wèn)題變得日益嚴(yán)重。

例如，攻擊者可能會(huì)使用自動(dòng)化工具向公司的聊天機(jī)器人發(fā)送大量復(fù)雜查詢，每個(gè)查詢都需要時(shí)間來(lái)回答，且會(huì)產(chǎn)生費(fèi)用。

防范此漏洞的措施包括：

? 實(shí)施輸入驗(yàn)證和清理，確保用戶輸入符合定義的限制，并過(guò)濾掉任何惡意內(nèi)容。

? 限制每個(gè)請(qǐng)求或步驟的資源使用量，使涉及復(fù)雜部分的請(qǐng)求執(zhí)行得更慢，對(duì)每個(gè)用戶或 IP 地址實(shí)施 API 速率限制，或限制系統(tǒng)響應(yīng) LLM 輸出的排隊(duì)操作和總操作數(shù)量。

? 持續(xù)監(jiān)控 LLM 的資源使用情況，識(shí)別可能指示拒絕服務(wù)攻擊的異常峰值或模式。

5. 供應(yīng)鏈漏洞

LLM 供應(yīng)鏈在多個(gè)環(huán)節(jié)存在漏洞，尤其是當(dāng)公司使用開(kāi)源、第三方組件、受污染或過(guò)時(shí)的預(yù)訓(xùn)練模型，或損壞的訓(xùn)練數(shù)據(jù)集時(shí)。此漏洞還涵蓋了原始模型創(chuàng)建者未對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行充分審核的情況，導(dǎo)致隱私或版權(quán)違規(guī)。根據(jù) OWASP，這可能導(dǎo)致偏見(jiàn)結(jié)果、安全漏洞，甚至系統(tǒng)完全崩潰。

防范此漏洞的措施包括：

? 嚴(yán)格審核數(shù)據(jù)來(lái)源和供應(yīng)商。

? 僅使用信譽(yù)良好的插件，并確保它們已針對(duì)應(yīng)用需求進(jìn)行測(cè)試，在使用外部模型和供應(yīng)商時(shí)，采用模型和代碼簽名。

? 使用漏洞掃描、管理和補(bǔ)丁程序來(lái)降低受漏洞影響或過(guò)時(shí)組件的風(fēng)險(xiǎn)，并保持這些組件的最新清單，以便快速識(shí)別新漏洞。

? 掃描環(huán)境中未授權(quán)的插件和過(guò)時(shí)組件，包括模型及其工件，并制定補(bǔ)丁策略以解決問(wèn)題。

6. 敏感信息泄露

大語(yǔ)言模型可能通過(guò)其輸出泄露敏感信息、專有算法或其他機(jī)密細(xì)節(jié)，這可能導(dǎo)致未經(jīng)授權(quán)訪問(wèn)敏感數(shù)據(jù)、知識(shí)產(chǎn)權(quán)、隱私侵犯以及其他安全漏洞。

敏感數(shù)據(jù)可能在初始訓(xùn)練、微調(diào)、RAG 嵌入過(guò)程中進(jìn)入 LLM，或由用戶通過(guò)粘貼方式輸入提示。

一旦模型獲得這些信息，其他未授權(quán)的用戶就有可能看到它。例如，客戶可能會(huì)看到其他客戶的私人信息，或者用戶能夠提取公司專有信息。

防范此漏洞的措施包括：

? 使用數(shù)據(jù)清理和擦除技術(shù)，防止 LLM 在訓(xùn)練或推理(即模型使用時(shí))過(guò)程中訪問(wèn)敏感數(shù)據(jù)。

? 對(duì)用戶輸入應(yīng)用過(guò)濾器，防止上傳敏感數(shù)據(jù)。

? 當(dāng) LLM 在推理過(guò)程中需要訪問(wèn)數(shù)據(jù)源時(shí)，使用嚴(yán)格的訪問(wèn)控制并遵循最小權(quán)限原則。

7. 不安全的插件設(shè)計(jì)

LLM 插件是模型在用戶交互過(guò)程中自動(dòng)調(diào)用的擴(kuò)展功能，這些插件由模型驅(qū)動(dòng)，應(yīng)用程序無(wú)法控制其執(zhí)行，通常也沒(méi)有對(duì)輸入進(jìn)行驗(yàn)證或類(lèi)型檢查。

這使得潛在攻擊者能夠構(gòu)造惡意請(qǐng)求對(duì)插件進(jìn)行攻擊，可能導(dǎo)致各種不良行為，甚至包括數(shù)據(jù)外泄、遠(yuǎn)程代碼執(zhí)行和權(quán)限提升，OWASP 警告道。

防范此漏洞的措施包括：

? 實(shí)施嚴(yán)格的輸入控制，包括類(lèi)型和范圍檢查，并遵循 OWASP 在 ASVS(應(yīng)用安全驗(yàn)證標(biāo)準(zhǔn))中的建議，確保有效的輸入驗(yàn)證和清理。

? 使用適當(dāng)?shù)纳矸蒡?yàn)證機(jī)制，例如反映插件路由而非默認(rèn)用戶的 OAuth2 和 API 密鑰。

? 在部署前進(jìn)行檢查和測(cè)試。

? 插件應(yīng)遵循最小權(quán)限原則，并只暴露盡可能少的功能，同時(shí)仍能完成其預(yù)期的任務(wù)。

? 對(duì)于敏感操作，要求額外的人工授權(quán)。

8. 過(guò)度自主性

隨著 LLM 越來(lái)越智能，公司希望賦予它們更多的能力，使其能夠訪問(wèn)更多系統(tǒng)并自主執(zhí)行操作。過(guò)度自主性指的是 LLM 獲得了過(guò)多的權(quán)限或被允許執(zhí)行錯(cuò)誤操作。當(dāng) LLM 出現(xiàn)幻覺(jué)、受到提示注入攻擊、使用惡意插件、提示寫(xiě)得不好，或者只是模型性能不佳時(shí)，可能會(huì)執(zhí)行破壞性操作，OWASP 解釋道。

根據(jù) LLM 獲得的訪問(wèn)權(quán)限和操作權(quán)的不同，可能會(huì)引發(fā)各種問(wèn)題。例如，如果 LLM 獲得了訪問(wèn)某個(gè)插件的權(quán)限，該插件允許它讀取存儲(chǔ)庫(kù)中的文檔以進(jìn)行總結(jié)，但插件同時(shí)也允許它修改或刪除文檔，那么一個(gè)錯(cuò)誤的提示可能會(huì)導(dǎo)致意外地更改或刪除內(nèi)容。

如果一家公司創(chuàng)建了一個(gè) LLM 個(gè)人助理，用于為員工總結(jié)電子郵件，但該助理同時(shí)也有權(quán)發(fā)送電子郵件，那么該助理可能會(huì)開(kāi)始發(fā)送垃圾郵件，無(wú)論是意外的還是惡意的。

防范此漏洞的措施包括：

? 限制 LLM 允許調(diào)用的插件和工具，以及這些插件和工具中實(shí)現(xiàn)的功能，僅保留最低必要的功能。

? 避免使用如運(yùn)行 shell 命令或獲取 URL 等開(kāi)放式功能，使用具有更細(xì)粒度功能的操作。

? 將 LLM、插件和工具對(duì)其他系統(tǒng)的權(quán)限限制在最低必要范圍內(nèi)。

? 跟蹤用戶授權(quán)和安全范圍，確保在下游系統(tǒng)上代表用戶執(zhí)行的操作是在該特定用戶的上下文中進(jìn)行，并且使用最低的必要權(quán)限。

9. 過(guò)度依賴

當(dāng) LLM 生成錯(cuò)誤信息并以權(quán)威的方式提供時(shí)，可能會(huì)導(dǎo)致過(guò)度依賴。盡管 LLM 能生成有創(chuàng)意和信息豐富的內(nèi)容，但它也可能生成事實(shí)錯(cuò)誤、不適當(dāng)或不安全的內(nèi)容。這被稱為幻覺(jué)或虛構(gòu)。當(dāng)人們或系統(tǒng)在沒(méi)有監(jiān)督或確認(rèn)的情況下信任這些信息時(shí)，可能導(dǎo)致安全漏洞、誤導(dǎo)信息、溝通失誤、法律問(wèn)題以及聲譽(yù)損害。

例如，如果一家公司依賴 LLM 生成安全報(bào)告和分析，而 LLM 生成的報(bào)告包含錯(cuò)誤數(shù)據(jù)，并且公司基于此做出關(guān)鍵安全決策，依賴于不準(zhǔn)確的 LLM 內(nèi)容可能帶來(lái)嚴(yán)重后果。

Omdia 的資深首席網(wǎng)絡(luò)安全分析師 Rik Turner 稱此現(xiàn)象為 LLM 幻覺(jué)?！叭绻?LLM 生成的內(nèi)容明顯是胡說(shuō)八道，分析師可以輕松識(shí)別并糾正它，幫助進(jìn)一步訓(xùn)練算法，但如果這種幻覺(jué)非常合理，看起來(lái)像是真的呢?”

防范此漏洞的措施包括：

? 定期監(jiān)控和審查 LLM 輸出。

? 將 LLM 的輸出與可信的外部來(lái)源進(jìn)行交叉檢查，或者實(shí)施自動(dòng)驗(yàn)證機(jī)制，將生成的輸出與已知的事實(shí)或數(shù)據(jù)進(jìn)行比對(duì)。

? 通過(guò)微調(diào)或嵌入來(lái)提升模型輸出質(zhì)量。

? 傳達(dá)使用 LLM 的相關(guān)風(fēng)險(xiǎn)和限制，并構(gòu)建鼓勵(lì)負(fù)責(zé)任和安全使用 LLM 的 API 和用戶界面。

10. 模型盜竊

模型盜竊是指惡意行為者獲取并竊取整個(gè) LLM 模型或其權(quán)重和參數(shù)，從而創(chuàng)建他們自己的版本，這可能導(dǎo)致經(jīng)濟(jì)或品牌聲譽(yù)的損失、競(jìng)爭(zhēng)優(yōu)勢(shì)的削弱、模型的未授權(quán)使用，或?qū)δＰ椭邪拿舾行畔⒌奈词跈?quán)訪問(wèn)。

例如，攻擊者可能通過(guò)網(wǎng)絡(luò)或應(yīng)用程序安全設(shè)置中的配置錯(cuò)誤訪問(wèn) LLM 模型存儲(chǔ)庫(kù)，或不滿的員工可能會(huì)泄露模型。攻擊者還可以通過(guò)向 LLM 提交大量問(wèn)題和答案對(duì)來(lái)創(chuàng)建自己的“影子”克隆模型，或者利用這些回答對(duì)他們的模型進(jìn)行微調(diào)。根據(jù) OWASP 的說(shuō)法，雖然通過(guò)這種模型提取技術(shù)無(wú)法 100% 復(fù)制 LLM，但可以非常接近。

攻擊者可以利用這個(gè)新模型的功能，或者將其作為測(cè)試提示注入技術(shù)的試驗(yàn)場(chǎng)，進(jìn)而用這些技術(shù)攻擊原始模型。隨著大語(yǔ)言模型的普及和廣泛應(yīng)用，LLM 盜竊將成為一個(gè)重要的安全隱患，OWASP 指出。

防范此漏洞的措施包括：

? 采用強(qiáng)大的訪問(wèn)控制，例如基于角色的訪問(wèn)控制和最小權(quán)限原則，以限制對(duì)模型存儲(chǔ)庫(kù)和訓(xùn)練環(huán)境的訪問(wèn)，例如通過(guò)設(shè)置集中化的模型注冊(cè)表。

? 定期監(jiān)控和審計(jì)訪問(wèn)日志和活動(dòng)，及時(shí)發(fā)現(xiàn)任何可疑或未授權(quán)行為。

? 對(duì) API 調(diào)用實(shí)施輸入過(guò)濾和速率限制，以降低模型克隆的風(fēng)險(xiǎn)。

安全負(fù)責(zé)人或團(tuán)隊(duì)及其企業(yè)有責(zé)任確保安全使用采用 LLM 的GenAI 聊天界面。

Tovie AI 的 CEO Joshua Kaiser 早前向記者表示，AI 驅(qū)動(dòng)的聊天機(jī)器人需要定期更新以有效應(yīng)對(duì)威脅，并且人類(lèi)監(jiān)督對(duì)于確保 LLM 正常運(yùn)行至關(guān)重要?！按送?，LLM 需要具備上下文理解能力，才能提供準(zhǔn)確的回應(yīng)并發(fā)現(xiàn)任何安全問(wèn)題，應(yīng)該定期測(cè)試和評(píng)估以識(shí)別潛在的弱點(diǎn)或漏洞。”