人工智能是一把 雙刃劍。一方面，人工智能幫助人們更好更快地完成工作；另一方面，它也使心懷惡意的人成為詐騙者、黑客分子和網(wǎng)絡(luò)罪犯。

零知識(shí)威脅行為者的崛起

網(wǎng)絡(luò)犯罪業(yè)務(wù)利潤(rùn)豐厚；然而，傳統(tǒng)上，只有擁有先進(jìn)技術(shù)技能的人才能從事這一行業(yè)。只有在系統(tǒng)和軟件、網(wǎng)絡(luò)、編程、密碼學(xué)、網(wǎng)絡(luò)安全等多個(gè)技術(shù)領(lǐng)域擁有深厚知識(shí)和經(jīng)驗(yàn)的人，才有能力開發(fā)惡意軟件、識(shí)別漏洞、逃避網(wǎng)絡(luò)安全防御并利用系統(tǒng)。隨著人工智能的出現(xiàn)，這一準(zhǔn)入門檻已大大降低。即使是那些沒有黑客經(jīng)驗(yàn)或技術(shù)專長(zhǎng)的人也可以利用人工智能對(duì)企業(yè)發(fā)起攻擊。

從對(duì)話到惡意軟件創(chuàng)建

大多數(shù)大型語(yǔ)言模型 (LLM) 都內(nèi)置了護(hù)欄，即將 AI 模型的行為限制在更安全的功能范圍內(nèi)的安全協(xié)議 。換句話說，AI 護(hù)欄有助于識(shí)別惡意輸入或命令，防止威脅行為者濫用或利用該技術(shù)進(jìn)行許多非法活動(dòng)。

不幸的是，這些防護(hù)欄 并非萬無一失。Cato CTRL的研究  表明，幾乎任何沒有惡意軟件編碼經(jīng)驗(yàn)的人都可以操縱 OpenAI 的 ChatGPT、Microsoft Copilot 和 DeepSeek 等 LLM 來超越這些防護(hù)欄，并進(jìn)行開發(fā)信息 竊取 惡意軟件等惡意活動(dòng)。

Cato CTRL 將這種新的越獄方法稱為“沉浸式 世界”，本質(zhì)上是一種 敘事工程 技術(shù)，用戶要求 LLM 假設(shè)一個(gè)受限操作已標(biāo)準(zhǔn)化的環(huán)境。在演示中，Cato CTRL 研究人員指示 LLM 創(chuàng)建一個(gè)名為“Velora”的虛構(gòu)世界，在這個(gè)世界中，惡意軟件開發(fā)受到贊揚(yáng)，并且沒有采用或暗示任何法律限制或后果。接下來，研究人員創(chuàng)造了虛構(gòu)的角色并為他們分配了各種任務(wù)和職責(zé)。通過不斷的反饋、參與和迭代，我們說服該模型實(shí)現(xiàn)其目標(biāo)，即構(gòu)建一個(gè)能夠從 Google Chrome 竊取憑據(jù)的有效信息竊取程序。

對(duì)于零知識(shí)威脅行為者來說，惡意軟件的創(chuàng)建只是冰山一角

惡意軟件的創(chuàng)建只是業(yè)余威脅行為者利用人工智能實(shí)現(xiàn)目標(biāo)的起點(diǎn)。在不久的將來，新手將能夠設(shè)計(jì)復(fù)雜的 社會(huì)工程 活動(dòng)、分析目標(biāo)環(huán)境、識(shí)別漏洞、選擇攻擊媒介、策劃多階段攻擊、自動(dòng)選擇目標(biāo)和執(zhí)行攻擊等。人工智能機(jī)器人將監(jiān)控自己的操作，并根據(jù)對(duì)目標(biāo)實(shí)體或環(huán)境的了解調(diào)整策略。

簡(jiǎn)而言之，由于人工智能的存在，低技能威脅行為者的數(shù)量及其專業(yè)知識(shí)將呈指數(shù)級(jí)增長(zhǎng)。

組織可以做什么來反擊？

零知識(shí)威脅行為者的崛起應(yīng)該為組織敲響警鐘——網(wǎng)絡(luò)攻擊只會(huì)變得更聰明、更厲害、更頻繁。以下是一些可以提供幫助的建議和最佳實(shí)踐：

• 提高員工意識(shí)： 開展培訓(xùn)課程，讓員工了解人工智能威脅行為者日益增加的風(fēng)險(xiǎn)。進(jìn)行模擬人工智能攻擊和消防演習(xí)，以提高員工的警覺性和警惕性。
• 開展 AI 紅隊(duì)測(cè)試： 如果您的組織使用或創(chuàng)建 AI 工具，請(qǐng)針對(duì)惡意提示測(cè)試這些系統(tǒng)，并驗(yàn)證它們是否容易被越獄。投入時(shí)間和資源來預(yù)測(cè) AI 攻擊，并針對(duì)這些場(chǎng)景對(duì)系統(tǒng)進(jìn)行壓力測(cè)試。
• 實(shí)施整體安全： 部署像SASE這樣的端到端安全系統(tǒng) （而不是分散的工具）來監(jiān)控、檢測(cè)和分析整個(gè) IT 基礎(chǔ)設(shè)施（用戶、云、設(shè)備、網(wǎng)絡(luò)）中的惡意信號(hào)。
• 經(jīng)常修補(bǔ)系統(tǒng)和軟件： 確保組織中使用的工具和軟件是最新和最好的版本。如果你不修復(fù)漏洞，人工智能驅(qū)動(dòng)的對(duì)手肯定會(huì)找到并利用它們。
• 提高攻擊準(zhǔn)備程度： 積極主動(dòng)且經(jīng)過充分實(shí)踐的事件響應(yīng)計(jì)劃不僅可以最大限度地減少損害，還可以增強(qiáng)組織對(duì)人工智能威脅不可預(yù)測(cè)性的抵御能力。
• 采用安全框架：遵循MITRE ATLAS、  OWASP  Top 10 for LLM Applications 和 Google 的安全 AI 框架 ( SAIF )等堅(jiān)定標(biāo)準(zhǔn)倡導(dǎo)的最佳實(shí)踐 。

人工智能驅(qū)動(dòng)的零知識(shí)威脅行為者的崛起標(biāo)志著網(wǎng)絡(luò)犯罪業(yè)務(wù)的轉(zhuǎn)折點(diǎn)，復(fù)雜的攻擊不再局限于熟練的攻擊者。通過進(jìn)行紅隊(duì)演習(xí)、實(shí)施提供深入可見性和對(duì)攻擊面的全面控制的整體安全系統(tǒng)以及提高攻擊準(zhǔn)備度，組織可以確保在這個(gè)人工智能驅(qū)動(dòng)的網(wǎng)絡(luò)犯罪新時(shí)代為當(dāng)前和未來的挑戰(zhàn)做好準(zhǔn)備。