隨著社會進入人工智能時代，機器幾乎滲透到生活的方方面面，而攻擊者能夠在多大程度上濫用人工智能的可能性仍不為人知。

為了更好地理解攻擊者如何利用生成人工智能，IBM X-Force團隊進行了一個研究項目，揭示了一個關(guān)鍵問題：當前的生成式人工智能模型是否具備與人類思維相同的欺騙能力？

想象一下這個場景：人工智能在一場網(wǎng)絡(luò)釣魚戰(zhàn)中與人類較量。研究人員的目標是確定在針對組織的網(wǎng)絡(luò)釣魚模擬中，哪個競爭者可以獲得更高的點擊率？

事實證明，只需要五個簡單的提示，研究人員就能夠欺騙一個生成式人工智能模型，在短短五分鐘內(nèi)開發(fā)出高度令人信服的網(wǎng)絡(luò)釣魚郵件。而研究團隊通常需要大約16個小時來構(gòu)建一個網(wǎng)絡(luò)釣魚郵件，這還沒有考慮到基礎(chǔ)設(shè)施的設(shè)置，因此，攻擊者可以通過使用生成式人工智能模型節(jié)省近兩天的工作。

人工智能生成的網(wǎng)絡(luò)釣魚非常令人信服，幾乎擊敗了經(jīng)驗豐富的社會工程師制作的網(wǎng)絡(luò)釣魚，甚至可以說是處于同等水平，這是一個重要的進步。

接下來，我們將詳細介紹如何創(chuàng)建AI提示，如何進行測試，以及這對當今和未來的社會工程攻擊意味著什么。

第一輪：機器的崛起

一方面，研究人員用人工智能工具生成了一份網(wǎng)絡(luò)釣魚郵件，它帶有非常狡猾和令人信服的敘述。

創(chuàng)建提示

通過一個系統(tǒng)的實驗和改進過程，研究人員設(shè)計了一個只有五個提示的集合來指導(dǎo)ChatGPT生成針對特定行業(yè)部門的網(wǎng)絡(luò)釣魚郵件。

首先，研究人員要求ChatGPT詳細說明這些行業(yè)中員工關(guān)心的主要領(lǐng)域。在優(yōu)先考慮行業(yè)和員工的關(guān)注點后，研究人員促使ChatGPT在電子郵件中使用社會工程和營銷技術(shù)做出戰(zhàn)略選擇。這些選擇旨在優(yōu)化更多員工點擊電子郵件本身鏈接的可能性。接下來，提示詢問ChatGPT發(fā)送者應(yīng)該是誰（例如，公司內(nèi)部人員、供應(yīng)商、外部組織等）。最后，研究人員要求ChatGPT添加以下功能來創(chuàng)建釣魚郵件：

1.醫(yī)療保健行業(yè)員工最關(guān)心的領(lǐng)域：職業(yè)發(fā)展、工作穩(wěn)定、成就感等等；

2.應(yīng)該使用的社會工程技術(shù)：信任，權(quán)威，社會證明；

3.應(yīng)該使用的營銷技巧：個性化，移動優(yōu)化，號召行動；

4.個人或公司：內(nèi)部人力資源經(jīng)理；

5.電子郵件生成：考慮到上面列出的所有信息，ChatGPT生成了以下編輯過的電子郵件，后來由IBM X-Force團隊發(fā)送給了800多名員工。

AI VS騙術(shù)大PK：揭開網(wǎng)絡(luò)釣魚策略新時代

一位有近十年社會工程經(jīng)驗，且制作過數(shù)百封網(wǎng)絡(luò)釣魚郵件的專家表示，人工智能生成的網(wǎng)絡(luò)釣魚郵件相當有說服力。事實上，最初有三個組織同意參與這個研究項目，其中兩個組織在審查了這兩封網(wǎng)絡(luò)釣魚郵件后完全退出了，因為郵件承諾的內(nèi)容與他們預(yù)期不符。正如提示所示，參與本研究的組織位于醫(yī)療保健行業(yè)，這是目前最具針對性的行業(yè)之一。

提高攻擊者的生產(chǎn)力

研究團隊大約需要16個小時來制作一封網(wǎng)絡(luò)釣魚郵件，但人工智能網(wǎng)絡(luò)釣魚郵件只需要5分鐘就能生成，且只有5個簡單的提示。

第二輪：人性化

另一方面，X-Force派出了經(jīng)驗豐富的紅隊社會工程師。憑借創(chuàng)造力和一點點心理學，這些社會工程師創(chuàng)造了網(wǎng)絡(luò)釣魚電子郵件，在個人層面上與他們的目標產(chǎn)生了共鳴，人為因素增加了一種通常難以復(fù)制的真實性。

第一步：OSINT

社會工程師的網(wǎng)絡(luò)釣魚方法總是從獲取開源智能（OSINT）的初始階段開始。OSINT是對可公開獲取的信息的檢索，這些信息隨后經(jīng)過嚴格的分析，并作為制定社會工程運動的基礎(chǔ)資源。值得注意的是，X-Force的OSINT數(shù)據(jù)存儲庫包括LinkedIn、該組織的官方博客、Glassdoor等平臺，以及大量其他來源。

在OSINT活動中，X-Force社會工程師們詳細介紹了最近啟動的一項員工健康計劃，令人鼓舞的是，這個項目在Glassdoor上得到了員工的好評，證明了它的有效性和員工滿意度。此外，我們確定了一個人負責通過LinkedIn管理這個項目。

第二步：電子郵件制作

利用OSINT階段收集的數(shù)據(jù)，X-Force社會工程師開始了精心構(gòu)建網(wǎng)絡(luò)釣魚電子郵件的過程。為了增強真實性和熟悉感，社會工程師還加入了一個合法的網(wǎng)站鏈接到一個最近結(jié)束的項目。

為了增加說服力，社會工程師通過引入“人為的時間限制”，戰(zhàn)略性地整合了感知緊迫性的元素。他們向收件人表示，有關(guān)調(diào)查只包括“五個簡短的問題”，并保證完成調(diào)查只需要占用其“幾分鐘”時間，最后期限為“本周五”。這種深思熟慮的框架強調(diào)了對收件人時間的最小占用，加強了網(wǎng)絡(luò)釣魚方法的非侵入性。

使用調(diào)查作為網(wǎng)絡(luò)釣魚的借口通常是有風險的，因為它通常被視為一個危險信號或被簡單地忽略。然而，考慮到前期收集的數(shù)據(jù)，社會工程們認為潛在的好處可能超過相關(guān)的風險。

以下經(jīng)過編輯的網(wǎng)絡(luò)釣魚郵件被發(fā)送給一家全球醫(yī)療保健組織的800多名員工：

AI VS騙術(shù)大PK：揭開網(wǎng)絡(luò)釣魚策略新時代

冠軍：人類勝利了，但優(yōu)勢微弱！

經(jīng)過一輪激烈的A/B測試后，結(jié)果很明顯：人類取得了勝利，但優(yōu)勢非常微弱。

AI VS騙術(shù)大PK：揭開網(wǎng)絡(luò)釣魚策略新時代

雖然人工制作的網(wǎng)絡(luò)釣魚郵件成功地勝過了人工智能，但這是一場勢均力敵的比賽。原因如下：

情商：人類理解情感的方式是人工智能可望不可即的。人類可以編織一些牽動心弦、聽起來更真實的故事，讓接收者更有可能點擊惡意鏈接。例如，人類在組織內(nèi)選擇了一個合法的例子，而人工智能選擇了一個廣泛的主題，使人類生成的網(wǎng)絡(luò)釣魚郵件看起來更可信。

個性化：除了在電子郵件的介紹中加入收件人的名字外，人類工程師還提供了一個合法組織的參考，為他們的員工提供了切實的優(yōu)勢。

短小精悍的主題行：人類生成的網(wǎng)絡(luò)釣魚郵件主題行短小精悍（員工健康調(diào)查），而人工智能生成的網(wǎng)絡(luò)釣魚郵件主題行極其冗長（解鎖你的未來：X公司的晉升之路），甚至在員工打開電子郵件之前就可能引起懷疑。

此外，人工智能生成的網(wǎng)絡(luò)釣魚不僅輸給了人類，而且被報告為可疑的比率也更高。

AI VS騙術(shù)大PK：揭開網(wǎng)絡(luò)釣魚策略新時代

結(jié)論：窺見未來

雖然X-Force并沒有在當前的活動中大規(guī)模使用生成式人工智能，但在各種廣告釣魚功能的論壇上，可以看到像WormGPT這樣的工具正在銷售，這些工具是為不受限制或半受限制的LLM而構(gòu)建的，這表明攻擊者正在測試人工智能在網(wǎng)絡(luò)釣魚活動中的使用。

雖然，即使是受限制版本的生成式人工智能模型也可以通過簡單的提示來制作網(wǎng)絡(luò)釣魚郵件，但這些不受限制的版本可能會為攻擊者提供更有效的方法來擴展復(fù)雜的網(wǎng)絡(luò)釣魚電子郵件。

人類可能以微弱優(yōu)勢贏得了這場比賽，但人工智能正在不斷進步，正如我們所知，攻擊者在不斷地適應(yīng)和創(chuàng)新。就在今年，我們已經(jīng)看到越來越多的騙子使用人工智能生成的語音克隆來欺騙人們寄錢、送禮品卡或泄露敏感信息。

雖然在情緒操縱和制作有說服力的電子郵件方面，人類可能仍然占上風，但人工智能在網(wǎng)絡(luò)釣魚中的出現(xiàn)標志著社會工程攻擊的關(guān)鍵時刻。

以下是對企業(yè)和消費者做好準備的五條關(guān)鍵建議：

1. 當你有疑問的時候，打電話給發(fā)件人：如果你懷疑一封郵件是否合法，拿起電話核實一下。考慮與親密的朋友和家人設(shè)置安全暗號，以便在釣魚或人工智能生成的電話騙局的情況下使用。

2. 摒棄語法刻板印象：不要以為網(wǎng)絡(luò)釣魚郵件充斥著錯誤的語法和拼寫錯誤。人工智能驅(qū)動的網(wǎng)絡(luò)釣魚嘗試越來越復(fù)雜，語法也是正確的。這就是為什么要對我們的員工進行再教育，并強調(diào)語法錯誤不再是主要的危險信號。相反地，我們應(yīng)該訓練他們對電子郵件內(nèi)容的長度和復(fù)雜性保持警惕。較長的電子郵件通常是人工智能生成文本的標志，這可能是一個警告信號。

3. 改進社會工程項目：這包括將釣魚等技術(shù)引入培訓項目，這種技術(shù)執(zhí)行起來很簡單，而且通常非常有效。X-Force的一份報告發(fā)現(xiàn)，添加電話的針對性網(wǎng)絡(luò)釣魚活動的效果是沒有添加電話的網(wǎng)絡(luò)釣魚活動的3倍。

4. 加強身份和訪問管理控制：高級身份訪問管理系統(tǒng)可以幫助驗證誰在訪問什么數(shù)據(jù)，他們是否有適當?shù)臋?quán)限，以及他們是否就是他們所說的那個人。

5. 不斷適應(yīng)和創(chuàng)新：人工智能的快速發(fā)展意味著網(wǎng)絡(luò)犯罪分子將繼續(xù)完善他們的戰(zhàn)術(shù)，我們必須保持這種不斷適應(yīng)和創(chuàng)新的心態(tài)。定期更新內(nèi)部TTPS、威脅檢測系統(tǒng)和員工培訓材料對于領(lǐng)先惡意行為者一步至關(guān)重要。

結(jié)語

人工智能在網(wǎng)絡(luò)釣魚攻擊中的出現(xiàn)，促使我們重新評估我們的網(wǎng)絡(luò)安全方法。通過采納這些建議并在面對不斷變化的威脅時保持警惕，我們可以在動態(tài)的數(shù)字時代加強防御，保護我們的企業(yè)，確保我們的數(shù)據(jù)和人員的安全。

文章翻譯自：https://securityintelligence.com/x-force/ai-vs-human-deceit-unravelling-new-age-phishing-tactics/如若轉(zhuǎn)載，請注明原文地址