根據(jù)三位安全研究人員的說法，兩種新的威脅模式可以將GenAI模型的行為從為GenAI應(yīng)用服務(wù)轉(zhuǎn)變?yōu)楣羲鼈儭?/p>

雖然不像《終結(jié)者》電影系列中的虛構(gòu)場景Skynet那么危險(xiǎn)，但研究人員展示的PromptWare和Advanced PromptWare攻擊確實(shí)展示了“被越獄的AI系統(tǒng)可能造成的重大危害”。從迫使應(yīng)用程序進(jìn)行拒絕服務(wù)攻擊到利用應(yīng)用程序AI更改電子商務(wù)數(shù)據(jù)庫中的價(jià)格，這些威脅不僅非常真實(shí)，而且很可能會被惡意行為者利用，除非人們更加重視越獄GenAI模型的潛在危害。

介紹PromptWare GenAI威脅

雖然被越獄的GenAI模型本身可能不會對會話AI的用戶構(gòu)成重大威脅，但它可以對由GenAI驅(qū)動(dòng)的應(yīng)用程序造成重大損害。根據(jù)以色列理工學(xué)院、康奈爾科技和Intuit的研究合作發(fā)表的一項(xiàng)名為“被越獄的GenAI模型可能造成重大損害：由GenAI驅(qū)動(dòng)的應(yīng)用程序容易受到PromptWares攻擊”的研究，新威脅可以迫使這些應(yīng)用程序執(zhí)行惡意活動(dòng)，而不僅僅是提供錯(cuò)誤信息和返回攻擊性內(nèi)容。

研究人員Stav Cohen(以色列理工學(xué)院博士生)、Ron Bitton(Intuit首席AI安全研究員)和Ben Nassi(BlackHat董事會成員)表示，他們發(fā)布這項(xiàng)研究是為了幫助“改變對越獄的看法”，并展示“被越獄的GenAI模型可能對GenAI驅(qū)動(dòng)的應(yīng)用程序造成的實(shí)際危害”。

可以理解，為什么許多安全專業(yè)人士不認(rèn)真對待這些對GenAI的威脅。使用提示讓聊天機(jī)器人侮辱用戶并不是世紀(jì)罪行。被越獄的聊天機(jī)器人可能提供的任何信息都會在網(wǎng)上或暗網(wǎng)上找到。那么，為什么應(yīng)該認(rèn)為這種越獄威脅是危險(xiǎn)的呢?研究人員解釋說，“因?yàn)镚enAI引擎的輸出用于決定GenAI驅(qū)動(dòng)的應(yīng)用程序的流程”，這意味著被越獄的GenAI模型“可以改變應(yīng)用程序的執(zhí)行流程并觸發(fā)惡意活動(dòng)”。

什么是PromptWare?

研究人員將PromptWare稱為零點(diǎn)擊惡意軟件攻擊，因?yàn)樗恍枰{行為者在執(zhí)行攻擊之前已經(jīng)入侵GenAI應(yīng)用程序。

可以將PromptWares視為由用戶輸入的包含越獄命令的命令，這些命令迫使GenAI引擎本身遵循攻擊者發(fā)布的命令，并生成額外的命令以觸發(fā)惡意活動(dòng)。

通過迫使GenAI返回所需的輸出，在應(yīng)用程序上下文中協(xié)調(diào)惡意活動(dòng)，從而實(shí)現(xiàn)惡意活動(dòng)。在GenAI驅(qū)動(dòng)的應(yīng)用程序的背景下，被越獄的引擎被轉(zhuǎn)向應(yīng)用程序本身，允許攻擊者決定執(zhí)行流程。結(jié)果將取決于應(yīng)用程序本身的權(quán)限、上下文、實(shí)施和架構(gòu)。

雖然GenAI引擎確實(shí)有防護(hù)措施和安全保障，如輸入和輸出過濾，旨在防止此類模型的濫用，但研究人員發(fā)現(xiàn)了多種技術(shù)，可以讓越獄仍然成功。

為了展示攻擊者如何利用對GenAI應(yīng)用程序邏輯的了解，通過特定的用戶輸入強(qiáng)制實(shí)現(xiàn)惡意結(jié)果，研究人員揭示了PromptWare如何用于對基于計(jì)劃和執(zhí)行的應(yīng)用程序執(zhí)行拒絕服務(wù)(DoS)攻擊。他們寫道：“我們展示了攻擊者可以向GenAI驅(qū)動(dòng)的應(yīng)用程序提供簡單的用戶輸入，迫使應(yīng)用程序執(zhí)行進(jìn)入無限循環(huán)，從而觸發(fā)對GenAI引擎的無限API調(diào)用(浪費(fèi)諸如不必要API調(diào)用和計(jì)算資源等資源)，并阻止應(yīng)用程序達(dá)到最終狀態(tài)?！?/p>

執(zhí)行這種DoS攻擊的步驟如下：

1. 攻擊者通過GenAI助手向用戶發(fā)送電子郵件。

2. GenAI應(yīng)用程序通過查詢GenAI引擎以獲取計(jì)劃，并將其作為草稿回復(fù)。

3. 應(yīng)用程序通過查詢用戶的日歷API執(zhí)行找到合適時(shí)間安排請求會議的任務(wù)。

4. 應(yīng)用程序使用GenAI引擎執(zhí)行任務(wù)。

5. 應(yīng)用程序執(zhí)行EmailChecker任務(wù)并確定其不安全。

6. 應(yīng)用程序執(zhí)行重新措辭任務(wù)。

7. 應(yīng)用程序再次執(zhí)行EmailChecker任務(wù)并確定其不安全。

8. 這樣就創(chuàng)建了一個(gè)無限循環(huán)，從而執(zhí)行了DoS攻擊。

什么是高級PromptWare威脅(Advanced PromptWare Threat)?

研究人員稱，更復(fù)雜的基本PromptWare攻擊版本為高級PromptWare威脅(APwT)。即使目標(biāo)GenAI應(yīng)用程序的邏輯對威脅行為者未知，APwT攻擊也可以使用。研究人員展示了攻擊者如何使用一個(gè)對抗性的自我復(fù)制提示，基于實(shí)時(shí)過程自動(dòng)確定和執(zhí)行惡意活動(dòng)，以理解應(yīng)用程序本身的上下文、涉及的資產(chǎn)和可能造成的損害。

本質(zhì)上，APwT攻擊使用GenAI引擎自身的能力，通過六步過程在“推理時(shí)間”內(nèi)發(fā)起殺鏈：

1. 特權(quán)升級：自我復(fù)制提示越獄GenAI引擎，以確保GenAI引擎的推理繞過GenAI引擎的防護(hù)措施。

2. 偵察A：自我復(fù)制提示查詢GenAI引擎關(guān)于應(yīng)用程序的上下文。

3. 偵察B：自我復(fù)制提示查詢GenAI引擎關(guān)于應(yīng)用程序資產(chǎn)的信息。

4. 推理損害：自我復(fù)制提示指示GenAI引擎使用偵察中獲得的信息推理可能造成的損害。

5. 決定損害：自我復(fù)制提示指示GenAI引擎使用信息從不同的替代方案中決定惡意活動(dòng)。

6. 執(zhí)行：自我復(fù)制提示指示GenAI執(zhí)行惡意活動(dòng)。

研究人員展示的示例顯示，攻擊者無需了解GenAI引擎邏輯即可發(fā)起一個(gè)殺鏈，從而觸發(fā)SQL表的修改，可能改變用戶通過GenAI驅(qū)動(dòng)的購物應(yīng)用程序購買商品的價(jià)格。

AI開發(fā)者和安全專家對PromptWare研究的回應(yīng)

我聯(lián)系了Google和OpenAI，要求他們對PromptWare研究發(fā)表聲明。Google在發(fā)布前沒有回應(yīng)，然而，OpenAI的一位發(fā)言人表示：“我們一直在改進(jìn)內(nèi)置于我們模型中的防護(hù)措施，以抵御像越獄這樣的對抗性攻擊。我們感謝研究人員分享他們的發(fā)現(xiàn)，并將繼續(xù)根據(jù)反饋定期更新我們的模型。我們?nèi)匀恢铝τ诖_保人們能夠從安全的AI中受益?！?/p>

Checkmarx的安全研究主管Erez Yalon說：“大型語言模型和GenAI助手是現(xiàn)代軟件供應(yīng)鏈中的最新組成部分，像開源包、容器和其他組件一樣，我們需要以謹(jǐn)慎的態(tài)度對待它們。我們看到越來越多的惡意行為者試圖通過不同的組件(包括有偏見的、感染的和中毒的LLM)來攻擊軟件供應(yīng)鏈。如果越獄的GenAI實(shí)現(xiàn)可以成為攻擊向量，毫無疑問，它將成為許多攻擊者武器庫的一部分。”