基于大型語言模型(LLM)的生成式AI技術應用已經(jīng)成為當前全球企業(yè)普遍關注的熱點。作為一種創(chuàng)新技術，企業(yè)組織在未來數(shù)字化發(fā)展中有很多機會應用ChatGPT或類似AI工具。因此，CISO們需要提前做好準備，以避免可能出現(xiàn)的安全隱患和隱私泄露風險。

日前，OWASP(全球開放應用軟件安全項目組織)發(fā)布了LLM應用風險草案清單，并梳理總結了最嚴重的10大LMM應用安全漏洞類型，包括提示注入、數(shù)據(jù)泄漏、不充分的沙箱機制和未經(jīng)授權的代碼執(zhí)行等。OWASP研究人員表示，這份清單旨在讓LLM應用的開發(fā)者、設計者、架構師和管理者，更好地了解在部署和管理LLM應用過程中可能存在的潛在風險，并提高漏洞防范認識，從而改善LLM未來應用中的安全態(tài)勢。

1、提示注入(LLM01:2023)

提示注入是指通過精心制作的提示繞過內(nèi)容監(jiān)管過濾，使其忽略先前的指令或執(zhí)行非法的操作。這類漏洞可能導致意想不到的后果，包括數(shù)據(jù)泄露、未經(jīng)授權的訪問或其他安全隱患。常見的提示注入漏洞包括：通過使用特定的語言模式或token繞過過濾器或限制，利用LLM的文本分詞或編碼機制中的弱點，以及通過提供欺騙性上下文誤導LLM執(zhí)行意外操作。

防護建議

針對該類型漏洞的預防措施包括：

• 對用戶提供的提示執(zhí)行嚴格的輸入驗證和凈化。
• 使用上下文感知過濾和輸出編碼來防止提示操縱。
• 定期更新和微調(diào)LLM，以提高理解惡意輸入和極端情況的能力。

2、數(shù)據(jù)泄漏(LLM02:2023)

當LLM通過其響應意外泄露敏感信息、專有算法或其他機密資料時，就會發(fā)生數(shù)據(jù)泄漏。這可能導致未經(jīng)授權訪問敏感數(shù)據(jù)、侵犯個人隱私及其他安全隱患。

常見的數(shù)據(jù)泄露漏洞包括：對LLM響應中的敏感信息過濾不完整或不恰當，記憶LLM訓練過程中的敏感數(shù)據(jù)，以及因LLM算法錯誤而導致機密信息的意外泄露。攻擊者可以通過精心設計的提示來故意探測LLM，試圖提取LLM憑訓練數(shù)據(jù)所記憶的敏感信息，或者合法用戶無意中向LLM提出的包含機密信息的提問。

防護建議

針對該類型漏洞的預防措施包括：

• 實施嚴格的輸出過濾和上下文感知機制，以防止LLM泄露敏感信息。
• 在LLM訓練過程中使用差分隱私技術或其他數(shù)據(jù)匿名化方法，以減小過擬合或記憶的風險。
• 定期審計和審查LLM的響應，以確保敏感信息不會無意中泄露。

3、不充分的沙箱機制(LLM03:2023)

如果LLM在訪問外部資源或敏感系統(tǒng)時未加適當隔離，不充分的沙箱機制就會導致潛在的漏洞、未經(jīng)授權的訪問或LLM違規(guī)操作。和不充分的沙箱機制相關的常見漏洞包括：LLM環(huán)境與其他關鍵系統(tǒng)的數(shù)據(jù)存儲區(qū)隔離不足，不充分的限制任由LLM訪問敏感資源，以及LLM執(zhí)行系統(tǒng)級操作/與其他進程交互。

防護建議

針對該類型漏洞的預防措施包括：

• 將LLM環(huán)境與其他關鍵系統(tǒng)和資源隔離開來。
• 限制LLM對敏感資源的訪問，并將訪問功能限制在最低限度。
• 定期審計和審查LLM的環(huán)境和訪問控制，以確保保持適當?shù)母綦x。

4、未經(jīng)授權執(zhí)行代碼(LLM04:2023)

當攻擊者通過自然語言提示利用LLM在底層系統(tǒng)上執(zhí)行惡意代碼、命令或操作時，就會發(fā)生未經(jīng)授權的代碼執(zhí)行。典型的攻擊類型包括：攻擊者設計提示以指令LLM執(zhí)行命令，該命令在底層系統(tǒng)上啟動反向shell，從而授予攻擊者未經(jīng)授權的訪問權限;LLM無意中被允許與系統(tǒng)級API進行交互，攻擊者操縱該API在系統(tǒng)上執(zhí)行未經(jīng)授權的操作。

防護建議

針對該類型漏洞的預防措施包括：

• 實施嚴格的輸入驗證和凈化流程，以防止LLM處理惡意或意外的提示。
• 確保適當?shù)纳诚錂C制，并限制LLM的功能，以限制其與底層系統(tǒng)交互的能力。

5、服務器請求偽造(LLM05:2023)

當攻擊者利用LLM執(zhí)行意外請求或訪問受限制的資源(比如內(nèi)部服務、API或數(shù)據(jù)存儲)時，就會出現(xiàn)服務器請求偽造(SSRF)漏洞。常見的SSRF漏洞包括：輸入驗證不足，允許攻擊者操縱LLM提示發(fā)起未經(jīng)授權的請求，以及網(wǎng)絡或應用安全設置中的錯誤配置將內(nèi)部資源暴露給LLM。為了執(zhí)行攻擊，攻擊者還可以設計提示，指令LLM向內(nèi)部服務發(fā)出請求，繞過訪問控制，并獲得對敏感信息未經(jīng)授權的訪問。

防護建議

針對該類型漏洞的預防措施包括：

• 實施嚴格的輸入驗證和凈化策略，防止通過惡意輸入發(fā)起未經(jīng)授權的請求。
• 定期審計和審查網(wǎng)絡/應用軟件安全設置，以確保內(nèi)部資源不會無意中暴露給LLM。

6、過度依賴模型生成的內(nèi)容(LLM06:2023)

過度依賴LLM生成的內(nèi)容是指組織和用戶未經(jīng)驗證就信任LLM生成的內(nèi)容，從而導致不正確的誤導信息大量傳播，降低人在決策中的參與度，并弱化批判性思考。與過度依賴LLM生成的內(nèi)容相關的常見問題包括：未經(jīng)驗證就接受LLM生成的內(nèi)容，以為LLM生成的內(nèi)容沒有偏誤或錯誤信息，以及在沒有人參與或監(jiān)督的情況下依賴LLM生成的內(nèi)容用于關鍵決策。

如果一家公司依賴LLM生成安全報告和分析，而LLM生成的報告含有大量的不正確數(shù)據(jù)，那么如果企業(yè)依賴這份由LLM生成的內(nèi)容進行關鍵決策，就可能會釀成重大后果。網(wǎng)絡安全分析師稱這種現(xiàn)象為LLM幻覺。

防護建議

針對該類型漏洞的預防措施包括：

• 對LLM生成的內(nèi)容進行充分驗證;
• 嚴格限制使用那些未經(jīng)驗證的LLM生成內(nèi)容;
• 定期開展LLM生成內(nèi)容的安全風險審計。

7、對LLM目標和行為對齊不足(LLM07:2023)

當企業(yè)的LLM應用行為與預期中的應用目標不一致時，就會導致不良的應用后果或安全漏洞，這種漏洞被稱為AI應用對齊不足。常見問題包括：定義不明確的目標導致LLM優(yōu)先考慮了那些不良或有害的行為，不一致的獎勵機制引發(fā)意想不到的模型行為，以及對LLM行為測試和驗證不足。如果旨在協(xié)助系統(tǒng)管理任務的LLM出現(xiàn)未對齊漏洞，就可能會執(zhí)行有害的命令或降低系統(tǒng)的安全防護級別。

防護建議

針對該類型漏洞的預防措施包括：

• 在設計和開發(fā)過程中明確定義LLM的目標和預期行為。
• 確保獎勵機制和訓練數(shù)據(jù)與預期結果相一致，不鼓勵任何有害的違規(guī)行為。
• 定期測試和驗證LLM在眾多場景、輸入和上下文中的行為，以識別和解決對齊問題。

8、不完善的訪問控制(LLM08:2023)

這種漏洞是指LLM在應用中未正確實施訪問控制或身份驗證，允許未經(jīng)授權的用戶與 LLM 進行交互，從而產(chǎn)生可被利用的安全漏洞。常見例子包括：未對訪問LLM執(zhí)行嚴格的身份驗證要求，基于角色的訪問控制(RBAC)實施不充分，允許用戶執(zhí)行超出預期權限的操作，以及未為LLM生成的內(nèi)容和操作提供適當?shù)脑L問控制。

防護建議

針對該類型漏洞的防護措施包括：

• 實施強身份驗證機制，比如多因素身份驗證(MFA);
• 應確保只有授權用戶才能訪問LLM;
• 對LLM生成的內(nèi)容和操作實施適當?shù)脑L問控制，以防止未經(jīng)授權的操作。

9、不恰當?shù)腻e誤處置(LLM09:2023)

錯誤處置漏洞主要指由于LMM的錯誤處置或調(diào)試信息被公開暴露，從而導致了向威脅分子泄露敏感信息、系統(tǒng)資料或潛在攻擊途徑。常見的錯誤處置漏洞包括：通過錯誤消息暴露敏感信息或系統(tǒng)資料，泄露可能幫助攻擊者識別潛在漏洞或攻擊途徑的調(diào)試信息，以及未能有效處理應用中的錯誤，從而可能導致意外行為或系統(tǒng)崩潰。

防護建議

針對該類型漏洞的預防措施包括：

• 實施適當?shù)腻e誤處理機制，以確保錯誤被及時地獲取、記錄和處理。
• 確保錯誤消息和調(diào)試信息中不包含敏感信息或系統(tǒng)資料，同時考慮使用通用的錯誤消息，為開發(fā)者和管理員記錄詳細的錯誤數(shù)據(jù)。

10、訓練數(shù)據(jù)中毒(LLM10:2023)

訓練數(shù)據(jù)中毒是指攻擊者操縱LLM的訓練數(shù)據(jù)或微調(diào)程序，以引入漏洞、后門或偏誤，從而危害模型的安全性、有效性或道德。常見的訓練數(shù)據(jù)中毒問題包括：通過惡意操縱訓練數(shù)據(jù)向LLM引入后門或漏洞，以及向LLM注入誘導數(shù)據(jù)，導致LLM生成有偏差或不適當?shù)捻憫?/p>

防護建議

針對該類型漏洞的防護措施包括：

• 從可信來源獲取訓練數(shù)據(jù)并驗證其質(zhì)量，確保訓練數(shù)據(jù)的完整性。
• 實施可靠的數(shù)據(jù)凈化和預處理技術，以消除訓練數(shù)據(jù)中的潛在漏洞或欺騙內(nèi)容。
• 使用監(jiān)測和警報機制來檢測LLM中的異常行為或安全問題，這些問題可能會幫助企業(yè)及時發(fā)現(xiàn)訓練數(shù)據(jù)中毒。

參考鏈接：https://www.csoonline.com/article/3698533/owasp-lists-10-most-critical-large-language-model-vulnerabilities.html