雖然大語言模型(LLM)應(yīng)用正在全球快速普及，但企業(yè)對(duì)大語言模型的威脅態(tài)勢(shì)仍然缺乏全面了解。面對(duì)大語言模型風(fēng)險(xiǎn)的不確定性，企業(yè)希望在保障其安全性的基礎(chǔ)上加快

應(yīng)用腳步，用人工智能提升企業(yè)核心競(jìng)爭(zhēng)力，這意味著企業(yè)的CISO面臨著理解和應(yīng)對(duì)新興人工智能威脅的巨大壓力。

人工智能威脅態(tài)勢(shì)每天都在變化，企業(yè)安全團(tuán)隊(duì)?wèi)?yīng)當(dāng)優(yōu)先關(guān)注和處理那些對(duì)企業(yè)運(yùn)營(yíng)構(gòu)成重大風(fēng)險(xiǎn)的大語言模型漏洞。如果網(wǎng)絡(luò)安全團(tuán)隊(duì)能夠深入了解這些漏洞及其緩解措施，企業(yè)就可以大膽放手一搏，利用大語言模型加速創(chuàng)新，而無需過度擔(dān)心風(fēng)險(xiǎn)。

以下，我們將簡(jiǎn)要介紹四類大語言模型重大風(fēng)險(xiǎn)及其緩解措施：

一、提示注入攻擊和數(shù)據(jù)泄露

對(duì)于大語言模型來說，數(shù)據(jù)泄露是最受關(guān)注的重大風(fēng)險(xiǎn)。大語言模型可能會(huì)被“誘騙”披露敏感的企業(yè)或用戶信息，從而導(dǎo)致一系列隱私和安全問題。提示泄漏是另一個(gè)大問題，如果惡意用戶訪問系統(tǒng)提示，公司的知識(shí)產(chǎn)權(quán)可能會(huì)受到損害。

這兩個(gè)漏洞都與提示注入有關(guān)，直接和間接提示注入攻擊如今都變得越來越普遍，并且會(huì)帶來嚴(yán)重的后果。

成功的提示注入攻擊可能會(huì)導(dǎo)致跨插件請(qǐng)求偽造、跨站點(diǎn)腳本編寫和訓(xùn)練數(shù)據(jù)提取，這些都會(huì)使公司機(jī)密、個(gè)人用戶數(shù)據(jù)和重要訓(xùn)練數(shù)據(jù)面臨風(fēng)險(xiǎn)。

因此，企業(yè)需要在整個(gè)人工智能應(yīng)用開發(fā)生命周期中實(shí)施檢查系統(tǒng)。從采購(gòu)和處理數(shù)據(jù)到選擇和訓(xùn)練應(yīng)用程序，每一步都應(yīng)該受到限制，以降低違規(guī)風(fēng)險(xiǎn)。與大語言模型打交道時(shí)，沙箱、白名單和API網(wǎng)關(guān)等常規(guī)安全實(shí)踐同樣有價(jià)值(如果不是更有價(jià)值的話)。除此之外，在將插件與大語言模型應(yīng)用程序集成之前，安全團(tuán)隊(duì)?wèi)?yīng)仔細(xì)審查所有插件，并人工審核批準(zhǔn)所有高權(quán)限任務(wù)，這一點(diǎn)至關(guān)重要。

二、模型數(shù)據(jù)中毒攻擊

人工智能模型的有效性取決于數(shù)據(jù)質(zhì)量。但在整個(gè)模型開發(fā)過程中——從預(yù)訓(xùn)練到微調(diào)和嵌入——訓(xùn)練數(shù)據(jù)集很容易受到黑客的攻擊。

大多數(shù)企業(yè)利用第三方模型，由未知人員管理數(shù)據(jù)，網(wǎng)絡(luò)團(tuán)隊(duì)不能盲目相信數(shù)據(jù)沒有被篡改。無論使用第三方還是自有模型，總會(huì)存在不良行為者帶來“數(shù)據(jù)中毒”的風(fēng)險(xiǎn)，這可能會(huì)對(duì)模型性能產(chǎn)生重大影響，從而損害品牌聲譽(yù)。

開源AutoPoison框架(https://github.com/azshue/AutoPoison/blob/main/assets/intro.png)清楚地描述了數(shù)據(jù)中毒攻擊如何在指令調(diào)整過程中影響模型。此外，以下是網(wǎng)絡(luò)安全團(tuán)隊(duì)可以實(shí)施的一系列風(fēng)險(xiǎn)環(huán)節(jié)策略，可以以降低風(fēng)險(xiǎn)并最大限度地提高人工智能模型的性能：

供應(yīng)鏈審查：通過嚴(yán)密的安全措施審查供應(yīng)鏈，以驗(yàn)證數(shù)據(jù)源是否干凈。提出諸如“數(shù)據(jù)是如何收集的?”之類的問題。以及“是否征得用戶同意和并符合道德規(guī)則?”此外，還需要詢問數(shù)據(jù)標(biāo)注者的身份、他們的資格以及標(biāo)簽中是否存在任何偏差或不一致。此外，解決數(shù)據(jù)所有權(quán)和許可問題，包括誰擁有數(shù)據(jù)以及許可條款和條件。

數(shù)據(jù)清理和清理：在數(shù)據(jù)進(jìn)入模型之前，請(qǐng)務(wù)必檢查所有數(shù)據(jù)和來源。例如，PII在放入模型之前必須進(jìn)行編輯。

紅隊(duì)演習(xí)：在模型生命周期的測(cè)試階段進(jìn)行以大語言模型為重點(diǎn)的紅隊(duì)演習(xí)。具體包括：優(yōu)先考慮涉及操縱訓(xùn)練數(shù)據(jù)以注入惡意代碼、偏見或有害內(nèi)容的測(cè)試場(chǎng)景，并采用各種攻擊方法，包括對(duì)抗性輸入、中毒攻擊和模型提取技術(shù)。

三、互聯(lián)系統(tǒng)的API風(fēng)險(xiǎn)

GPT-4等高級(jí)模型經(jīng)常會(huì)被集成到與其他應(yīng)用程序通信的系統(tǒng)中。但只要涉及API，下游系統(tǒng)就會(huì)面臨風(fēng)險(xiǎn)，一個(gè)惡意提示就可能會(huì)對(duì)互連系統(tǒng)產(chǎn)生多米諾骨牌效應(yīng)。為了降低這種風(fēng)險(xiǎn)，請(qǐng)考慮以下事項(xiàng)：

如果允許大語言模型調(diào)用外部API，請(qǐng)?jiān)趫?zhí)行潛在破壞性操作之前請(qǐng)求用戶確認(rèn)。

在不同系統(tǒng)互連之前審查大語言模型輸出。檢查它們是否存在可能導(dǎo)致遠(yuǎn)程代碼執(zhí)行(RCE)等風(fēng)險(xiǎn)的潛在漏洞。

請(qǐng)?zhí)貏e注意這些輸出促進(jìn)不同計(jì)算機(jī)系統(tǒng)之間交互的場(chǎng)景。

為互連系統(tǒng)中涉及的所有API實(shí)施強(qiáng)大的安全措施。

使用強(qiáng)大的身份驗(yàn)證和授權(quán)協(xié)議來防止未經(jīng)授權(quán)的訪問和數(shù)據(jù)泄露。

監(jiān)控API活動(dòng)是否存在異常和可疑行為跡象，例如異常請(qǐng)求模式或嘗試?yán)寐┒础?/p>

四、大模型DoS攻擊

網(wǎng)絡(luò)帶寬飽和漏洞可能被攻擊者利用實(shí)施拒絕服務(wù)(DoS)攻擊，可導(dǎo)致大語言模型使用成本飆升。

在模型拒絕服務(wù)攻擊中，攻擊者以過度消耗資源(例如帶寬或系統(tǒng)處理能力)的方式使用模型，最終損害目標(biāo)系統(tǒng)的可用性。反過來，此類攻擊可導(dǎo)致大模型服務(wù)質(zhì)量下降和天價(jià)賬單。由于DoS攻擊對(duì)于網(wǎng)絡(luò)安全領(lǐng)域來說并不新鮮，因此可以采用多種策略來防御模型拒絕服務(wù)攻擊并降低成本快速上升的風(fēng)險(xiǎn)：

速率限制：實(shí)施速率限制以防止系統(tǒng)因過多請(qǐng)求而不堪重負(fù)。確定應(yīng)用程序的正確速率限制取決于模型大小和復(fù)雜性、硬件和基礎(chǔ)設(shè)施以及平均請(qǐng)求數(shù)和峰值使用時(shí)間。

字符限制：對(duì)用戶可以在查詢中包含的字符數(shù)設(shè)置限制，以米便大模型的API資源耗盡。

框架提供商的方法：利用框架提供商提供的方法來加強(qiáng)對(duì)攻擊的防御。例如，如果您使用LangChain，請(qǐng)考慮使用max_iterations參數(shù)。

保護(hù)大語言模型需要采取多種方法，涵蓋數(shù)據(jù)處理、模型訓(xùn)練、系統(tǒng)集成和資源使用。通過實(shí)施以上建議策略并保持警惕，企業(yè)無需因噎廢食，在充分利用大語言模型能力的同時(shí)，最大限度地降低相關(guān)風(fēng)險(xiǎn)。