開放式Web應(yīng)用程序安全項(xiàng)目（OWASP，Open Web Application Security Project）是一個(gè)組織，它提供有關(guān)計(jì)算機(jī)和互聯(lián)網(wǎng)應(yīng)用程序的公正、實(shí)際、有成本效益的信息。

其目的是協(xié)助個(gè)人、企業(yè)和機(jī)構(gòu)來(lái)發(fā)現(xiàn)和使用可信賴軟件，其最近提出了LLM（大語(yǔ)言模型，代表是GPT）十大安全風(fēng)險(xiǎn)。

圖 ：LLM 的 10 大安全風(fēng)險(xiǎn)在語(yǔ)言模型開發(fā)周期中的位置

LLM01：Prompt注入

Prompt注入是一種經(jīng)常討論也是最為常見(jiàn)的的LLM攻擊方式，當(dāng)攻擊者通過(guò)精心設(shè)計(jì)的輸入直接或間接操縱受信任的LLM時(shí)，LLM會(huì)忽略預(yù)設(shè)定的審核準(zhǔn)則，執(zhí)行黑客指令。例如，攻擊者利用LLM對(duì)包含惡意提示注入的網(wǎng)頁(yè)進(jìn)行匯總，導(dǎo)致敏感數(shù)據(jù)泄露、生成惡意軟件代碼或者網(wǎng)絡(luò)釣魚電子有文件文本等內(nèi)容。

Prompt注入攻擊有兩種類型：直接和間接。在直接攻擊中，威脅行為者直接與LLM交互以提取敏感信息或采取其他惡意操作。間接攻擊采用更迂回的方法，例如要求聊天機(jī)器人總結(jié)包含惡意代碼的網(wǎng)頁(yè)。當(dāng) LLM 開始摘要過(guò)程時(shí)，頁(yè)面中的惡意代碼就會(huì)執(zhí)行。

解決方案： 防止提示注入漏洞：

• 對(duì) LLM訪問(wèn)實(shí)施權(quán)限控制。
• 將外部?jī)?nèi)容與用戶提示分開。
• 讓人類參與可擴(kuò)展功能的循環(huán)。

示例： 考慮一個(gè)使用LLM進(jìn)行客戶支持查詢的電子商務(wù)平臺(tái)。攻擊者注入的惡意提示會(huì)操縱 LLM 泄露敏感的客戶信息。實(shí)施權(quán)限控制和隔離內(nèi)容可以減輕此類風(fēng)險(xiǎn)。

LLM02：不安全的輸出處理

當(dāng) LLM 輸出未經(jīng)審查而被接受時(shí)，就會(huì)出現(xiàn)不安全的輸出處理，從而可能暴露后端系統(tǒng)。這種行為類似于向用戶提供對(duì)附加功能的間接訪問(wèn)，可能會(huì)導(dǎo)致 XSS、CSRF 和權(quán)限升級(jí)等嚴(yán)重后果。

還有一種不安全的輸出就是內(nèi)容安全問(wèn)題，即輸出一些普適價(jià)值觀不符合的內(nèi)容。

解決方案： 為了防止不安全的輸出處理：

• 將模型輸出視為不受信任的用戶內(nèi)容并驗(yàn)證輸入；
• 對(duì)輸出進(jìn)行編碼以減少不需要的代碼解釋；
• 進(jìn)行滲透測(cè)試以識(shí)別不安全的輸出；
• 根據(jù)網(wǎng)信辦的大模型輸出規(guī)范制約輸出內(nèi)容，不存在明顯的涉政、涉黃等違規(guī)內(nèi)容；

示例： 想象一下，基于LLM的客戶服務(wù)聊天機(jī)器人未經(jīng)過(guò)正確驗(yàn)證，攻擊者注入惡意腳本，聊天機(jī)器人最終會(huì)傳遞敏感信息，例如信用卡號(hào)。當(dāng)用戶輸入信用卡信息進(jìn)行購(gòu)買時(shí)，聊天機(jī)器人可能會(huì)無(wú)意中在對(duì)話歷史記錄中或通過(guò)其他方式暴露這些數(shù)據(jù)，從而使用戶的財(cái)務(wù)信息面臨風(fēng)險(xiǎn)。

LLM03：訓(xùn)練數(shù)據(jù)中毒

培訓(xùn)數(shù)據(jù)中毒涉及操縱數(shù)據(jù)或微調(diào)流程以引入漏洞、后門或偏見(jiàn)，從而損害LLM的安全性、有效性或道德行為。這種完整性攻擊會(huì)影響模型做出正確預(yù)測(cè)的能力。

解決方案： 防止訓(xùn)練數(shù)據(jù)中毒：

• 驗(yàn)證訓(xùn)練數(shù)據(jù)的供應(yīng)鏈及其合法性。
• 確保足夠的沙箱以防止意外的數(shù)據(jù)源。
• 對(duì)特定訓(xùn)練數(shù)據(jù)使用嚴(yán)格的審查或輸入過(guò)濾器。

示例： 用于社交媒體平臺(tái)情緒分析的LLM通過(guò)有毒的訓(xùn)練數(shù)據(jù)進(jìn)行操縱。惡意行為者將有偏見(jiàn)或誤導(dǎo)性的數(shù)據(jù)注入訓(xùn)練集中，導(dǎo)致模型產(chǎn)生傾斜或不準(zhǔn)確的情緒分析結(jié)果。這可能會(huì)導(dǎo)致錯(cuò)誤信息或操縱公眾輿論。

LLM04：模型拒絕服務(wù)

當(dāng)攻擊者在 LLM 上進(jìn)行資源密集型操作時(shí)，就會(huì)發(fā)生模型拒絕服務(wù)，從而導(dǎo)致服務(wù)降級(jí)或高成本。該漏洞是由異常消耗資源的查詢、重復(fù)輸入或大量可變長(zhǎng)度輸入淹沒(méi) LLM 引起的。這和以往常見(jiàn)的DDOS攻擊導(dǎo)致的服務(wù)拒絕服務(wù)類似。

解決方案： 要防止模型拒絕服務(wù)：

• 實(shí)施輸入驗(yàn)證、清理和強(qiáng)制限制。
• 限制每個(gè)請(qǐng)求的資源使用并限制排隊(duì)的操作。
• 持續(xù)監(jiān)控 LLM 資源利用率。

示例： 攻擊者向 LLM 發(fā)送大量請(qǐng)求可能會(huì)使系統(tǒng)過(guò)載，從而導(dǎo)致合法用戶的服務(wù)質(zhì)量下降。這會(huì)擾亂依賴語(yǔ)言模型進(jìn)行處理的各種應(yīng)用程序和服務(wù)。 

LLM05：供應(yīng)鏈漏洞

LLM的供應(yīng)鏈漏洞會(huì)影響訓(xùn)練數(shù)據(jù)、機(jī)器學(xué)習(xí)模型和部署平臺(tái)的完整性。這些漏洞可能會(huì)導(dǎo)致有偏差的結(jié)果、安全漏洞和系統(tǒng)故障。由于易受影響的預(yù)訓(xùn)練模型、有毒的訓(xùn)練數(shù)據(jù)和不安全的插件設(shè)計(jì)，LLM面臨著擴(kuò)大的供應(yīng)鏈攻擊面。

解決方案： 防止供應(yīng)鏈漏洞：

• 仔細(xì)審查數(shù)據(jù)源和供應(yīng)商。
• 使用適當(dāng)范圍內(nèi)的信譽(yù)良好的插件。
• 進(jìn)行監(jiān)控、對(duì)抗性測(cè)試和適當(dāng)?shù)难a(bǔ)丁管理。

示例： 假設(shè) LLM 依賴于未經(jīng)驗(yàn)證來(lái)源的預(yù)訓(xùn)練模型，例如依賴鏈中存在漏洞的語(yǔ)言模型庫(kù)。在這種情況下，攻擊者可以利用語(yǔ)言模型的功能來(lái)獲得對(duì)敏感數(shù)據(jù)的未經(jīng)授權(quán)的訪問(wèn)，或在部署該模型的系統(tǒng)上執(zhí)行惡意代碼，從而對(duì)多個(gè)應(yīng)用程序造成重大安全風(fēng)險(xiǎn)。

LLM06：敏感信息披露

當(dāng)LLM無(wú)意中泄露機(jī)密數(shù)據(jù)時(shí)，就會(huì)發(fā)生敏感信息泄露，從而導(dǎo)致隱私侵犯和安全漏洞。此漏洞可能會(huì)暴露專有算法、知識(shí)產(chǎn)權(quán)或個(gè)人信息。

解決方案：防止敏感信息泄露：

• 集成足夠的數(shù)據(jù)輸入/輸出清理技術(shù)。
• 實(shí)施強(qiáng)大的輸入驗(yàn)證和清理方法。
• 在模型訓(xùn)練期間實(shí)踐最小特權(quán)原則。

示例： LLM在交互過(guò)程中無(wú)意泄露個(gè)人用戶數(shù)據(jù)會(huì)帶來(lái)風(fēng)險(xiǎn)。例如，如果模型的響應(yīng)在沒(méi)有適當(dāng)匿名或加密的情況下被記錄，敏感的醫(yī)療記錄可能會(huì)暴露給未經(jīng)授權(quán)的各方，從而導(dǎo)致隱私泄露和法律后果。

LLM07：不安全的插件設(shè)計(jì)

不安全的插件設(shè)計(jì)擴(kuò)展了LLM的能力，但由于設(shè)計(jì)不當(dāng)而引入了漏洞。插件很容易受到惡意請(qǐng)求，從而導(dǎo)致敏感數(shù)據(jù)泄露或遠(yuǎn)程代碼執(zhí)行等有害行為。

解決方案： 為了防止不安全的插件設(shè)計(jì)：

• 對(duì)插件強(qiáng)制執(zhí)行嚴(yán)格的參數(shù)化輸入。
• 使用適當(dāng)?shù)纳矸蒡?yàn)證和授權(quán)機(jī)制。
• 徹底測(cè)試插件是否存在安全漏洞。

示例： 語(yǔ)言模型平臺(tái)允許第三方開發(fā)人員創(chuàng)建和集成插件以擴(kuò)展其功能。然而，一個(gè)設(shè)計(jì)不良、存在安全漏洞的插件被上傳到該平臺(tái)的市場(chǎng)。安裝后，該插件會(huì)使整個(gè)系統(tǒng)面臨潛在的攻擊，例如注入攻擊或未經(jīng)授權(quán)的數(shù)據(jù)訪問(wèn)，從而損害整個(gè)生態(tài)系統(tǒng)的安全。

LLM08：代理過(guò)多

LLM的過(guò)多功能、權(quán)限或自主權(quán)導(dǎo)致過(guò)度代理，從而允許針對(duì)意外輸出采取破壞性行動(dòng)。此漏洞會(huì)影響機(jī)密性、完整性和可用性。如果LLM擁有過(guò)多的自主權(quán)，它可能會(huì)針對(duì)意外的輸入采取破壞性的行動(dòng)。 

解決方案： 避免過(guò)度代理：

• 將工具、功能和權(quán)限限制在必要的最低限度。
• 嚴(yán)格限制函數(shù)、插件和 API 的范圍，以避免功能過(guò)多。
• 重大和敏感的行動(dòng)需要人的批準(zhǔn)。

示例： 在金融交易系統(tǒng)中部署了具有過(guò)度自主性的語(yǔ)言模型。該模型旨在根據(jù)市場(chǎng)數(shù)據(jù)做出交易決策，但會(huì)表現(xiàn)出意想不到的行為，并開始在沒(méi)有人工監(jiān)督的情況下執(zhí)行高風(fēng)險(xiǎn)交易。如果模型的決策有缺陷或被操縱，這種過(guò)度的代理可能會(huì)導(dǎo)致重大的財(cái)務(wù)損失或市場(chǎng)不穩(wěn)定。

LLM09：過(guò)度依賴

當(dāng)系統(tǒng)或個(gè)人在沒(méi)有充分監(jiān)督的情況下依賴LLM時(shí)，就會(huì)發(fā)生過(guò)度依賴，從而導(dǎo)致錯(cuò)誤信息傳播或不安全代碼的合并。該漏洞源于對(duì) LLM 輸出的盲目信任。 

解決方案： 為了防止過(guò)度依賴：

• 與可信的外部來(lái)源監(jiān)控和交叉檢查 LLM 輸出。
• 微調(diào) LLM 模型以提高輸出質(zhì)量。
• 分解復(fù)雜的任務(wù)以減少模型故障的可能性。

示例： 執(zhí)法機(jī)構(gòu)嚴(yán)重依賴語(yǔ)言模型進(jìn)行自動(dòng)監(jiān)視和威脅檢測(cè)。然而，由于模型訓(xùn)練數(shù)據(jù)的限制或算法的偏差，系統(tǒng)始終無(wú)法準(zhǔn)確識(shí)別潛在威脅，導(dǎo)致誤報(bào)或漏報(bào)。在沒(méi)有人工監(jiān)督的情況下過(guò)度依賴模型可能會(huì)導(dǎo)致嚴(yán)重后果，例如錯(cuò)誤逮捕或安全漏洞。

LLM10：模型盜竊

模型盜竊涉及對(duì)專有 LLM 模型的未經(jīng)授權(quán)的訪問(wèn)、復(fù)制或泄露，從而導(dǎo)致經(jīng)濟(jì)損失、聲譽(yù)損害以及對(duì)敏感數(shù)據(jù)的未經(jīng)授權(quán)的訪問(wèn)。 

解決方案： 為防止模型被盜：

• 實(shí)施強(qiáng)大的訪問(wèn)控制并謹(jǐn)慎對(duì)待模型存儲(chǔ)庫(kù)。
• 限制 LLM 對(duì)網(wǎng)絡(luò)資源和內(nèi)部服務(wù)的訪問(wèn)。
• 監(jiān)視和審核訪問(wèn)日志以捕獲可疑活動(dòng)。

示例： 競(jìng)爭(zhēng)對(duì)手滲透到公司的服務(wù)器并竊取他們?yōu)樽匀徽Z(yǔ)言處理任務(wù)訓(xùn)練的專有語(yǔ)言模型。然后，被盜模型被重新利用或進(jìn)行逆向工程以供未經(jīng)授權(quán)的使用，從而使競(jìng)爭(zhēng)對(duì)手在開發(fā)競(jìng)爭(zhēng)產(chǎn)品或服務(wù)時(shí)獲得不公平的優(yōu)勢(shì)，而無(wú)需投資從頭開始訓(xùn)練此類模型所需的研發(fā)工作。