發(fā)現(xiàn)風(fēng)險(xiǎn)清單的五大變化

“OWASP大語言模型（LLM）應(yīng)用十大風(fēng)險(xiǎn)” 項(xiàng)目始于2023年，是一項(xiàng)社區(qū)驅(qū)動的工作，旨在指導(dǎo)開發(fā)人員、安全專業(yè)人員和組織優(yōu)先識別和緩解關(guān)鍵的生成式AI應(yīng)用風(fēng)險(xiǎn)。從某種角度來說，OWASP大語言模型應(yīng)用十大風(fēng)險(xiǎn)可謂大模型安全態(tài)勢的風(fēng)向標(biāo)。

圖片

2025年十大風(fēng)險(xiǎn)是對2023年8月發(fā)布的OWASP LLM十大風(fēng)險(xiǎn)1.0版本的更新，這些風(fēng)險(xiǎn)按重要程度進(jìn)行排序，每個(gè)風(fēng)險(xiǎn)都包含定義、示例、攻擊場景和預(yù)防措施。

通過對比2023年版的“十大風(fēng)險(xiǎn)”，可以有效分析當(dāng)前LLM的安全態(tài)勢。安全牛分析發(fā)現(xiàn)，這些關(guān)鍵發(fā)現(xiàn)主要有以下五點(diǎn)：

其一，"提示注入"仍是首要風(fēng)險(xiǎn)，保持在第一位置不變。提示注入涉及用戶通過提示操縱LLM行為或輸出，繞過安全措施，生成有害內(nèi)容和啟用未經(jīng)授權(quán)訪問等后果。

其二，"敏感信息泄露"問題更加突出，從2023年版本的第六位上升至第二位。根據(jù)OWASP的報(bào)告，隨著AI應(yīng)用的激增，通過大語言模型(LLM)和生成式AI泄露敏感信息已成為一個(gè)更為關(guān)鍵的風(fēng)險(xiǎn)。這涉及LLM在與員工和客戶互動過程中可能泄露組織持有的敏感數(shù)據(jù)的風(fēng)險(xiǎn)，包括個(gè)人身份信息和知識產(chǎn)權(quán)。開發(fā)人員經(jīng)常假設(shè)LLM會自動保護(hù)私密數(shù)據(jù)，但多起事件表明，敏感信息通過模型輸出或系統(tǒng)漏洞被無意泄露。

其三，“供應(yīng)鏈安全”風(fēng)險(xiǎn)上升，從第五位上升到第三位。OWASP強(qiáng)調(diào)，LLM供應(yīng)鏈容易受到各種漏洞的影響，這可能影響訓(xùn)練數(shù)據(jù)、模型和部署平臺的完整性，導(dǎo)致有偏見的輸出、安全漏洞或系統(tǒng)故障。OWASP項(xiàng)目負(fù)責(zé)人Steve Wilson指出，OWASP發(fā)布第一版清單時(shí)，供應(yīng)鏈漏洞風(fēng)險(xiǎn)主要還是理論性的；而現(xiàn)在，開發(fā)人員和組織必須對他們使用的開源AI技術(shù)的集成保持警惕。

其四，新增"系統(tǒng)提示泄露"，排在第七位。"系統(tǒng)提示泄露"指的是用于引導(dǎo)模型行為的系統(tǒng)提示或指令可能包含不打算被發(fā)現(xiàn)的敏感信息的風(fēng)險(xiǎn)。系統(tǒng)提示旨在根據(jù)應(yīng)用程序的要求指導(dǎo)模型的輸出，但可能無意中包含可用于促進(jìn)其他攻擊的機(jī)密。最近的事件表明開發(fā)人員不能安全地假設(shè)這些提示中的信息保持機(jī)密后，社區(qū)強(qiáng)烈要求加入這一風(fēng)險(xiǎn)。

其五，“向量和嵌入漏洞”帶來新的威脅，排在第八位。這涉及向量和嵌入的生成、存儲或檢索方面的弱點(diǎn)如何被惡意行為利用來注入有害內(nèi)容、操縱模型輸出或訪問敏感信息。這是對社區(qū)要求就檢索增強(qiáng)生成(RAG)和其他基于嵌入方法的安全指導(dǎo)的回應(yīng)，這些現(xiàn)在是模型輸出基礎(chǔ)的核心實(shí)踐。某種形式的RAG現(xiàn)在已成為企業(yè)LLM應(yīng)用的默認(rèn)架構(gòu)。

這些特性還反映了業(yè)界對現(xiàn)有風(fēng)險(xiǎn)的更深入理解，以及LLM在實(shí)際應(yīng)用中使用方式的演變。值得注意的是，盡管存在這些風(fēng)險(xiǎn)，但AI/LLM安全商業(yè)生態(tài)系統(tǒng)在過去一年半時(shí)間里已經(jīng)取得了顯著發(fā)展，從最初的少數(shù)開源工具發(fā)展到現(xiàn)在形成了一個(gè)健康且不斷增長的安全工具生態(tài)系統(tǒng)。

LLM應(yīng)用十大風(fēng)險(xiǎn)

從排名第一的提示注入到新增的系統(tǒng)提示泄露，“OWASP大語言模型（LLM）應(yīng)用十大風(fēng)險(xiǎn)”涵蓋了從模型安全、數(shù)據(jù)保護(hù)到資源消耗等多個(gè)維度的風(fēng)險(xiǎn)。

LLM01提示注入

提示注入漏洞是指用戶的提示以非預(yù)期方式改變LLM的行為或輸出。即使這些輸入對人類來說是不可感知的，只要模型能夠解析內(nèi)容，就可能產(chǎn)生提示注入。

提示注入漏洞存在于模型處理提示的方式中，攻擊者可能強(qiáng)制模型將提示數(shù)據(jù)錯(cuò)誤傳遞到其他部分，導(dǎo)致違反指導(dǎo)原則、生成有害內(nèi)容、啟用未授權(quán)訪問或影響關(guān)鍵決策。雖然檢索增強(qiáng)生成(RAG)和微調(diào)等技術(shù)旨在使LLM輸出更加相關(guān)和準(zhǔn)確，但研究表明它們并不能完全緩解提示注入漏洞。

提示注入和越獄在LLM安全中是相關(guān)概念，它們經(jīng)常被交替使用。提示注入涉及通過特定輸入操縱模型響應(yīng)以改變其行為，這可能包括繞過安全措施。越獄是一種提示注入形式，攻擊者提供的輸入導(dǎo)致模型完全無視其安全協(xié)議。開發(fā)人員可以在系統(tǒng)提示和輸入處理中構(gòu)建安全防護(hù)來幫助緩解提示注入攻擊，但有效防止越獄需要持續(xù)更新模型的訓(xùn)練和安全機(jī)制。

LLM02敏感信息泄露

敏感信息會影響LLM及其應(yīng)用場景。這包括個(gè)人身份信息(PII)、財(cái)務(wù)細(xì)節(jié)、健康記錄、機(jī)密業(yè)務(wù)數(shù)據(jù)、安全憑證和法律文件。專有模型的訓(xùn)練方法和源代碼等也被視為敏感信息，特別是在封閉或基礎(chǔ)模型中。

LLM存在通過輸出暴露敏感數(shù)據(jù)的風(fēng)險(xiǎn)，可能導(dǎo)致未經(jīng)授權(quán)的數(shù)據(jù)訪問、隱私侵犯和知識產(chǎn)權(quán)泄露。消費(fèi)者應(yīng)該了解如何安全地與LLM互動。他們需要理解無意中提供敏感數(shù)據(jù)的風(fēng)險(xiǎn)，這些數(shù)據(jù)后續(xù)可能在模型的輸出中被泄露。

為降低這一風(fēng)險(xiǎn)，LLM應(yīng)用程序應(yīng)執(zhí)行充分的數(shù)據(jù)凈化，以防止用戶數(shù)據(jù)進(jìn)入訓(xùn)練模型。應(yīng)用程序所有者還應(yīng)提供明確的使用條款政策，允許用戶選擇不將其數(shù)據(jù)包含在訓(xùn)練模型中。在系統(tǒng)提示中添加對于LLM應(yīng)返回的數(shù)據(jù)類型的限制，可以緩解敏感信息泄露。但是，這些限制可能并不總是被遵守，并可能通過提示注入或其他方法被繞過。

LLM03供應(yīng)鏈安全

LLM供應(yīng)鏈容易受到各種漏洞的影響，這些漏洞可能影響訓(xùn)練數(shù)據(jù)、模型和部署平臺的完整性。這些風(fēng)險(xiǎn)可能導(dǎo)致有偏見的輸出、安全漏洞或系統(tǒng)故障。雖然傳統(tǒng)軟件漏洞關(guān)注代碼缺陷和依賴性等問題，但在機(jī)器學(xué)習(xí)中，風(fēng)險(xiǎn)還擴(kuò)展到第三方預(yù)訓(xùn)練模型和數(shù)據(jù)。這些外部元素可能通過篡改或投毒攻擊被操縱。

創(chuàng)建LLM是一項(xiàng)專業(yè)任務(wù)，通常依賴于第三方模型。開放訪問LLM的興起和新的微調(diào)方法(如"LoRA"低秩適應(yīng)和"PEFT"參數(shù)高效微調(diào))，特別是在Hugging Face等平臺上，引入了新的供應(yīng)鏈風(fēng)險(xiǎn)。此外，設(shè)備端LLM的出現(xiàn)增加了LLM應(yīng)用程序的攻擊面和供應(yīng)鏈風(fēng)險(xiǎn)。

LLM04數(shù)據(jù)和模型投毒

數(shù)據(jù)投毒發(fā)生在預(yù)訓(xùn)練、微調(diào)或嵌入數(shù)據(jù)被操縱以引入漏洞、后門或偏見時(shí)。這種操縱可能會損害模型的安全性、性能或道德行為，導(dǎo)致有害輸出或能力受損。常見風(fēng)險(xiǎn)包括模型性能下降、有偏見或有害的內(nèi)容，以及下游系統(tǒng)被利用。

數(shù)據(jù)投毒可以針對LLM生命周期的不同階段，包括預(yù)訓(xùn)練（從通用數(shù)據(jù)學(xué)習(xí)）、微調(diào)（使模型適應(yīng)特定任務(wù)）和嵌入（將文本轉(zhuǎn)換為數(shù)值向量）。理解這些階段有助于識別漏洞可能的來源。數(shù)據(jù)投毒被視為一種完整性攻擊，因?yàn)榇鄹挠?xùn)練數(shù)據(jù)會影響模型做出準(zhǔn)確預(yù)測的能力。使用外部數(shù)據(jù)源的風(fēng)險(xiǎn)特別高，因?yàn)樗鼈兛赡馨唇?jīng)驗(yàn)證或惡意的內(nèi)容。

此外，通過共享存儲庫或開源平臺分發(fā)的模型可能帶來超出數(shù)據(jù)投毒的風(fēng)險(xiǎn)，例如通過惡意序列化等技術(shù)嵌入的惡意軟件，這些軟件在加載模型時(shí)可能執(zhí)行有害代碼。同時(shí)還要考慮，數(shù)據(jù)投毒可能導(dǎo)致后門的植入。這種后門可能使模型的行為保持不變，直到某個(gè)觸發(fā)器導(dǎo)致其改變。這可能使此類更改難以測試和檢測，實(shí)際上為模型成為潛伏特工創(chuàng)造了機(jī)會。

LLM05不當(dāng)輸出處理

不當(dāng)輸出處理特指在將大語言模型生成的輸出傳遞給下游組件和系統(tǒng)之前，對其進(jìn)行不充分的驗(yàn)證、凈化和處理。由于LLM生成的內(nèi)容可以通過提示輸入來控制，這種行為類似于為用戶提供對附加功能的間接訪問。

不當(dāng)輸出處理與過度依賴的區(qū)別在于，它處理LLM生成的輸出在傳遞到下游之前的問題，而過度依賴則關(guān)注對LLM輸出的準(zhǔn)確性和適當(dāng)性過度依賴的更廣泛問題。成功利用不當(dāng)輸出處理漏洞可能導(dǎo)致Web瀏覽器中的XSS和CSRF，以及后端系統(tǒng)上的SSRF、權(quán)限提升或遠(yuǎn)程代碼執(zhí)行。

以下條件可能增加此漏洞的影響:

1. 應(yīng)用程序授予LLM超出最終用戶預(yù)期的權(quán)限，從而能夠?qū)崿F(xiàn)權(quán)限提升或遠(yuǎn)程代碼執(zhí)行；
2. 應(yīng)用程序容易受到間接提示注入攻擊，這可能允許攻擊者獲得對目標(biāo)用戶環(huán)境的特權(quán)訪問；
3. 第三方擴(kuò)展沒有充分驗(yàn)證輸入；
4. 缺乏針對不同上下文的適當(dāng)輸出編碼；
5. 對LLM輸出的監(jiān)控和日志記錄不足；
6. 缺乏對LLM使用的速率限制或異常檢測。

LLM06過度代理權(quán)限

LLM系統(tǒng)通常被開發(fā)者授予一定程度的代理權(quán)限，即通過擴(kuò)展調(diào)用函數(shù)或與其他系統(tǒng)交互的能力，以響應(yīng)提示并采取行動。對調(diào)用哪個(gè)擴(kuò)展的決定，也可能委托給LLM"代理"根據(jù)輸入提示或LLM輸出動態(tài)來確定。基于代理的系統(tǒng)通常會使用先前調(diào)用的輸出來指導(dǎo)和引導(dǎo)后續(xù)調(diào)用，并反復(fù)調(diào)用LLM。

過度代理權(quán)限是一種漏洞，它使系統(tǒng)能夠響應(yīng)來自LLM的意外、模糊或被操縱的輸出而執(zhí)行有害操作，不管是什么導(dǎo)致LLM出現(xiàn)故障。

常見觸發(fā)因素包括:

1. 由設(shè)計(jì)不當(dāng)?shù)牧夹蕴崾净蛐阅懿患训哪Ｐ蛯?dǎo)致的幻覺/虛構(gòu)；
2. 來自惡意用戶、早期調(diào)用惡意/受損擴(kuò)展或(在多代理/協(xié)作系統(tǒng)中)惡意/受損對等代理的直接/間接提示注入。

過度代理權(quán)限的根本原因通常是功能過度、權(quán)限過度和自主權(quán)過度，可能導(dǎo)致機(jī)密性、完整性和可用性方面的廣泛影響，這取決于基于LLM的應(yīng)用程序能夠與哪些系統(tǒng)進(jìn)行交互。

LLM07系統(tǒng)提示泄露

提示泄露漏洞指的是用于引導(dǎo)模型行為的系統(tǒng)提示或指令可能包含敏感信息的風(fēng)險(xiǎn)。系統(tǒng)提示旨在根據(jù)應(yīng)用程序的要求指導(dǎo)模型的輸出，但可能無意中包含機(jī)密信息，這些信息可能被用來促進(jìn)其他攻擊。因此，系統(tǒng)提示語言中不應(yīng)包含憑證、連接字符串等敏感數(shù)據(jù)。

同樣，如果系統(tǒng)提示中包含描述不同角色和權(quán)限的信息，或者像連接字符串或密碼這樣的敏感數(shù)據(jù)，雖然披露這些信息可能有幫助，但根本的安全風(fēng)險(xiǎn)不是這些信息被披露，而是應(yīng)用程序通過將這些委托給LLM而允許繞過強(qiáng)大的會話管理和授權(quán)檢查，以及敏感數(shù)據(jù)被存儲在不應(yīng)該存儲的地方。

LLM08向量和嵌入漏洞

在使用檢索增強(qiáng)生成(RAG)的大語言模型(LLM)系統(tǒng)中，向量和嵌入漏洞帶來重大安全風(fēng)險(xiǎn)。向量和嵌入的生成、存儲或檢索方面的弱點(diǎn)可能被惡意行為(有意或無意)利用，從而注入有害內(nèi)容、操縱模型輸出或訪問敏感信息。

檢索增強(qiáng)生成(RAG)是一種模型適應(yīng)技術(shù)，通過將預(yù)訓(xùn)練語言模型與外部知識源結(jié)合，來提高LLM應(yīng)用程序響應(yīng)的性能和上下文相關(guān)性。檢索增強(qiáng)使用向量機(jī)制和嵌入。

LLM09錯(cuò)誤信息

錯(cuò)誤信息發(fā)生在LLM產(chǎn)生看似可信但實(shí)際是虛假或誤導(dǎo)性的信息時(shí)。這種漏洞可能導(dǎo)致安全漏洞、聲譽(yù)損害和法律責(zé)任。

錯(cuò)誤信息的主要原因之一是幻覺：LLM生成看似準(zhǔn)確但實(shí)際是虛構(gòu)的內(nèi)容。當(dāng)LLM使用統(tǒng)計(jì)模式填補(bǔ)訓(xùn)練數(shù)據(jù)中的空白而不真正理解內(nèi)容時(shí)，就會出現(xiàn)幻覺。因此，模型可能產(chǎn)生聽起來正確但完全沒有根據(jù)的答案。雖然幻覺是錯(cuò)誤信息的主要來源，但它們不是唯一的原因；訓(xùn)練數(shù)據(jù)引入的偏見和不完整的信息也可能造成影響。

一個(gè)相關(guān)的問題是過度依賴。過度依賴發(fā)生在用戶過分信任LLM生成的內(nèi)容，未能驗(yàn)證其準(zhǔn)確性時(shí)。這種過度依賴加劇了錯(cuò)誤信息的影響，因?yàn)橛脩艨赡茉跊]有充分審查的情況下將錯(cuò)誤數(shù)據(jù)整合到關(guān)鍵決策或流程中。

LLM10無界消耗

無界消耗風(fēng)險(xiǎn)指的是LLM應(yīng)用在缺乏合理限制的情況下，可能被攻擊者利用進(jìn)行過度推理，導(dǎo)致資源耗盡、服務(wù)中斷甚至模型被竊取的安全隱患。

推理是LLM的關(guān)鍵功能，涉及應(yīng)用學(xué)習(xí)到的模式和知識來產(chǎn)生相關(guān)的響應(yīng)或預(yù)測。成功實(shí)施旨在破壞服務(wù)、耗盡目標(biāo)財(cái)務(wù)資源，甚至通過克隆模型行為來竊取知識產(chǎn)權(quán)的攻擊，都依賴于一類常見的安全漏洞。

無界消耗發(fā)生在LLM應(yīng)用程序允許用戶進(jìn)行過度和不受控制的推理時(shí)，導(dǎo)致拒絕服務(wù)(DoS)、經(jīng)濟(jì)損失、模型盜竊和服務(wù)降級等風(fēng)險(xiǎn)。LLM的高計(jì)算需求，特別是在云環(huán)境中，使其容易受到資源利用和未授權(quán)使用的影響。

OWASP項(xiàng)目負(fù)責(zé)人Steve Wilson最后指出，隨著AI技術(shù)快速發(fā)展，攻擊者也開始利用AI來發(fā)動更復(fù)雜的攻擊，企業(yè)必須與時(shí)俱進(jìn)，采用新型安全工具來保護(hù)自己的AI應(yīng)用系統(tǒng)。