網(wǎng)絡(luò)洞察2025:社會工程學(xué)獲得人工智能的翅膀
社會工程學(xué)是大部分網(wǎng)絡(luò)犯罪活動的基礎(chǔ)。我們尚未找到解決方案,因為社會工程學(xué)已經(jīng)根植于每個人的心靈中。
社會工程學(xué)的持久性
互聯(lián)網(wǎng)帶來了公民記者,人工智能帶來了公民社會工程師。任何人都可以成為社會工程師——事實上,每個人都是社會工程師。問題是,無論個人技能水平如何,人工智能都為社會工程師提供了翅膀。一直以來都是壞事,必然會變得更糟。
Praxis Security Labs首席執(zhí)行官兼創(chuàng)始人 Kai Roer 解釋道:“社會工程學(xué)是人類的一種特性,是群居物種的特征。它不是新事物,也不會消失。它也不是你可以修補(bǔ)的東西,你也無法‘修復(fù)問題’——因為它不是問題。”
Praxis Security Labs 首席執(zhí)行官兼創(chuàng)始人 Kai Roer
他繼續(xù)說,這是人性的一部分?!吧缃还こ淌且豁楆P(guān)鍵技能,它可以幫助個人和團(tuán)體建立和加強(qiáng)關(guān)系,溝通和表達(dá)意圖。它是一條雙向的街道,信號被發(fā)送和接收,以便信號可以被解讀和采取行動?!?nbsp;
你可以在任何地方測試這一點。每次你去超市,你都會受到社交工程的誘惑,被吸引到商店更深處,購買更多產(chǎn)品。你在廣告牌和電視上看到的每一個廣告都是社交工程的練習(xí);當(dāng)你遇到某人時,你會運用自己微妙的社交工程來改善關(guān)系——這是日常生活的重要組成部分。
“這種技能深深植根于人類天性,研究人員已經(jīng)發(fā)現(xiàn),嬰兒在學(xué)會說話之前就能夠識別人類群體中的權(quán)力結(jié)構(gòu),”羅爾補(bǔ)充道。
但是,當(dāng)安全人員談?wù)撋鐣こ虒W(xué)時,他們談?wù)摰氖欠缸锓肿永米匀坏娜穗H交往,加上謊言、虛假、虛假承諾等,從毫無戒心的受害者那里獲取非法利益。
“由于這些謊言,再加上大多數(shù)人的本能反應(yīng),犯罪分子得以成功實現(xiàn)他們的目標(biāo),”羅爾總結(jié)道。“這不是員工的錯——正如我們行業(yè)中的一些言論所聲稱的那樣——而是罪犯的錯。問問自己:強(qiáng)奸是誰的錯?強(qiáng)奸犯還是被強(qiáng)奸者?大多數(shù)人都會同意,應(yīng)該受到指責(zé)的是攻擊者,而不是受害者?!?/p>
預(yù)防惡意網(wǎng)絡(luò)社交工程的根本問題是,我們只能治療受害者,而不能治療侵略者。通過“意識培訓(xùn)”等解決方案“治療”受害者,我們實際上是在試圖讓受害者否認(rèn)他們?nèi)诵缘囊粋€基本方面,而對侵略者卻沒有任何影響。
結(jié)果是惡意的社會工程行為持續(xù)存在,并且將繼續(xù)存在(并且會惡化),因為工程和被工程是人類的天性。這就是我們成為社會動物的原因。
2025 年人工智能將助長惡意社交工程
Doppel首席執(zhí)行官兼聯(lián)合創(chuàng)始人 Kevin Tian 簡明扼要地總結(jié)了 2025 年的社會工程威脅。“2025 年,社會工程將鞏固其作為頭號安全威脅的地位——由生成式人工智能增強(qiáng)。犯罪分子將不再僅僅依賴網(wǎng)絡(luò)釣魚電子郵件。他們將通過短信、深度偽造語音電話甚至社交媒體角色發(fā)起動態(tài)、實時的活動,并隨時調(diào)整。它是多渠道、多模式的,危險程度達(dá)到了一個全新的水平?!?/p>
Illumio 系統(tǒng)工程總監(jiān) Michael Adjei
人工智能將把社會工程學(xué)推向新的高度。“到 2025 年,普通用戶實際上將成為不知情的大規(guī)模攻擊參與者,”Illumio 系統(tǒng)工程總監(jiān) Michael Adjei 警告說。“社會工程師將利用流行的應(yīng)用程序、社交媒體功能甚至人工智能工具來欺騙人們無意中利用基于網(wǎng)絡(luò)或基于腳本的漏洞?!?/p>
他并不是唯一一個預(yù)見到這些人工智能輔助社會工程攻擊新水平的人。Sonatype 的首席技術(shù)官 Brian Fox警告說,盡管我們在 2024 年躲過了XZ Utils 的攻擊,但 2025 年可能會是災(zāi)難性的。
“ XZ Utils 攻擊企圖于 2024 年被發(fā)現(xiàn),但這是一場提前數(shù)年發(fā)起的復(fù)雜社會工程活動,”他說?!半m然這一令人震驚的發(fā)現(xiàn)標(biāo)志著新趨勢的開始,但我知道類似的活動已經(jīng)在進(jìn)行中。XZ Utils并不是一個孤立事件,雖然更復(fù)雜的活動可能需要一些時間才能被發(fā)現(xiàn),但不太復(fù)雜的模仿者將會盛行?!?/p>
與此同時,自從 ChatGPT 出現(xiàn)以及隨后大量 gen-AI 模型的出現(xiàn)以來,我們一直在期待并等待網(wǎng)絡(luò)犯罪分子使用 AI 來改進(jìn)和擴(kuò)大其現(xiàn)有攻擊。起初,人們的預(yù)期是電子郵件網(wǎng)絡(luò)釣魚會更加復(fù)雜、規(guī)模更大。這并沒有立即發(fā)生,但到 2024 年一直在穩(wěn)步增長。
但隨著多模態(tài)人工智能的出現(xiàn),威脅現(xiàn)在包括語音和視頻支持的深度偽造網(wǎng)絡(luò)釣魚的額外潛力。由已知聲音和面孔支持的網(wǎng)絡(luò)釣魚論點遠(yuǎn)比簡單的文本更有說服力。人工智能將在 2025 年通過更直接地利用我們對人際社會工程的自然接受和參與來推動惡意社會工程。
SafeBreach 的首席信息安全官 Avishai Avivi 表示,人工智能增強(qiáng)型社會工程學(xué)的進(jìn)步目前帶來的總體效果是將攻擊者置于“恐怖谷”的最佳位置;在這個位置上,人們很容易相信,但過于完美又會重新建立不信任。
“我們預(yù)計惡意行為者將在現(xiàn)有能力的基礎(chǔ)上,增加利用人工智能技術(shù)進(jìn)行社會工程攻擊的數(shù)量和復(fù)雜性,以影響企業(yè)電子郵件入侵 (BEC) 和賬戶接管。具體來說,”他繼續(xù)說道,“我們預(yù)計惡意行為者將利用語音、短信和定向視頻等較新的替代渠道來攻擊其指定目標(biāo)。這些人工智能輔助攻擊還可以獲取大量有關(guān)其目標(biāo)的公開數(shù)據(jù),并以前所未有的方式對其進(jìn)行合成?!?/p>
社交工程的大多數(shù)屬性已經(jīng)使用多年——包括深度偽造——但在人工智能出現(xiàn)之前,深度偽造的努力回報相對較低(一對一,而不是電子郵件文本網(wǎng)絡(luò)釣魚活動中的一對數(shù)千)。正是這種努力回報被人工智能顛覆了。Concordium 首席執(zhí)行官 Boris Bohrer-Bilowitzki 警告說:“深度偽造的使用是一個令人擔(dān)憂的趨勢,到 2025 年可能會呈指數(shù)級增長。” “深度偽造將變得更加復(fù)雜,成為網(wǎng)絡(luò)犯罪分子的主要攻擊媒介之一……使威脅行為者更容易欺騙人們,并對現(xiàn)代社會造成巨大的影響和成本?!?/p>
Barrier Networks高級 SOC 分析師 David Neeson同意這一評估?!敖柚斯ぶ悄芎蜕疃葌卧旒夹g(shù),威脅行為者可能很快就會開始偽造個人身份并與潛在雇主進(jìn)行視頻面試。這些攻擊很難被發(fā)現(xiàn),并可能導(dǎo)致間諜活動急劇增加,組織可能會因被人工智能和深度偽造技術(shù)欺騙而意外雇用國家支持的行為者?!?/p>
Barrier Networks 高級 SOC 分析師 David Neeson
雇傭外國特工進(jìn)行外國優(yōu)先行動已經(jīng)成為一個問題。2025 年,利用人工智能輔助社會工程學(xué)埋設(shè)外國特工進(jìn)行間諜活動或破壞活動可能會增加。這種努力的回報不會像典型的人工智能輔助犯罪批量網(wǎng)絡(luò)釣魚活動那么大,但肯定會對民族國家對手具有吸引力(現(xiàn)在有更多時間可用,因為基于選舉的虛假信息努力不那么重要)。
然而,人工智能的普及意味著其用途將不僅限于 APT。它能夠提高批量網(wǎng)絡(luò)釣魚活動的復(fù)雜性和規(guī)模,這意味著以前不懂技術(shù)的犯罪分子將猖獗。與此同時,新出現(xiàn)的復(fù)雜高價值魚叉式網(wǎng)絡(luò)釣魚也可能會增多。
在暗網(wǎng)上,“專門從事這一領(lǐng)域的惡意行為者已經(jīng)形成了一個蓬勃發(fā)展的‘市場’。令人信服且有效的音頻或視頻‘假貨’可以以低成本生成……甚至通過某些服務(wù)免費提供,”SentinelLabs 高級威脅研究員 Jim Walter指出。
這是地下犯罪專業(yè)化程度不斷提高的一部分——在這種情況下,他們提供深度偽造制作作為惡意軟件即服務(wù) (MaaS) 運營的一部分。有關(guān)地下犯罪服務(wù)的更多信息, 請參閱犯罪團(tuán)伙。
OPSWAT 培訓(xùn)和認(rèn)證服務(wù)副總裁 Irfan Shakeel 警告稱:“這項技術(shù)將冒充關(guān)鍵人物,例如首席執(zhí)行官、政府官員,甚至是親人,讓人幾乎無法區(qū)分真實和虛假的通信。其影響深遠(yuǎn),從金融欺詐(騙子使用虛假視頻通話索要資金或敏感信息)到對數(shù)字互動的信任普遍喪失?!?/p>
CyberArk美國聯(lián)邦技術(shù)辦公室高級主管 James Imanian進(jìn)一步表示:“這種方法還將滲透到其他領(lǐng)域——下一代資金轉(zhuǎn)移攻擊、知識產(chǎn)權(quán)盜竊和間諜活動將針對忙碌的高管和高級員工。企業(yè)和個人已經(jīng)被犯罪分子欺騙,他們花費數(shù)月時間進(jìn)行被稱為“殺豬”的社會工程騙局。準(zhǔn)備好迎接個性化、自動化的人工智能代理攻擊風(fēng)暴吧?!?/p>
簡而言之,人工智能的出現(xiàn)將改變社會工程學(xué)(迄今為止被廣泛認(rèn)為只是網(wǎng)絡(luò)釣魚的一種手段)為各種攻擊的基礎(chǔ)要素,這些攻擊比我們以前見過的攻擊更復(fù)雜、更引人注目、偽裝性更強(qiáng)、規(guī)模更大。
針對人工智能社會工程學(xué)的可能人工智能防御
去年誕生了一個新行業(yè):用人工智能防御來對抗人工智能攻擊。當(dāng)然,這個行業(yè)正在積極宣傳自己是對抗人工智能輔助攻擊的最佳方式;但這些說法并沒有簡單的證據(jù)。技術(shù)可以而且正在被用來檢測深度偽造的聲音(相對容易)和深度偽造的視頻(更難,而且正在不斷改進(jìn));但沒有技術(shù)能夠改變?nèi)诵?。我們希望相信我們所聽到的和看到的東西——如果背景合理,我們很可能會相信它。
Votiro 產(chǎn)品主管 Eric Avigdor 建議,AI 防御應(yīng)更多地關(guān)注如何防止成功攻擊造成的不良后果,而不是檢測 AI 社會工程攻擊。“更好的選擇是假設(shè)個人會收到許多此類消息,并幫助防止該人犯下分享敏感信息的錯誤,”他說。“例如,通過檢測某人在看似不合適的情況和環(huán)境下分享其憑證或敏感數(shù)據(jù),然后阻止或警告該人可能存在欺詐行為?!?/p>
Roer 也有類似的擔(dān)憂?!暗?2025 年,我們將看到更多證據(jù)表明,網(wǎng)絡(luò)釣魚評估和安全意識培訓(xùn)計劃并不是緩解社會工程攻擊的正確方法。”他擔(dān)心的是,這樣的做法并不能有效改變用戶行為以減輕風(fēng)險。同時,意識培訓(xùn)通常是法規(guī)所要求的。
“我預(yù)計,越來越多的組織將認(rèn)識到安全意識培訓(xùn)和網(wǎng)絡(luò)釣魚評估只是一項合規(guī)活動,”他繼續(xù)說道?!耙虼耍鼈兪潜匾異?,但不會改變行為。組織可能會將培訓(xùn)和評估的數(shù)量降至最低,勾選該復(fù)選框,并釋放預(yù)算和資源來實施安全措施,這些措施實際上會改變員工的行為,而不會引起怨恨和負(fù)面結(jié)果。”
他沒有具體說明哪些安全措施可以在意識培訓(xùn)無法改變行為的情況下改變行為——但他的公司涉足了新興的人類風(fēng)險管理領(lǐng)域。他并不是唯一一個提倡這種對抗社會工程學(xué)方法的人。田納西大學(xué)健康科學(xué)中心首席網(wǎng)絡(luò)安全分析師 Chris Madeksho于 2024 年 9 月為 Educause撰寫了關(guān)于這一概念的文章——Hoxhunt 聯(lián)合創(chuàng)始人兼首席執(zhí)行官 Mika Aalto也是這一概念的追隨者。
Hoxhunt 聯(lián)合創(chuàng)始人兼首席執(zhí)行官 Mika Aalto
“今年,隨著多位分析師將人力風(fēng)險管理視為一個獨立的類別,老式的安全意識培訓(xùn)模式正式被打破,”他解釋道?!斑@些人力資源管理平臺由人工智能驅(qū)動,旨在改變行為并通過自動威脅數(shù)據(jù)編排來增強(qiáng) SOC。”
心理語言分析科學(xué)是應(yīng)對社會工程威脅的另一種方法。這一理念對安全領(lǐng)域來說并不完全是新事物,但迄今為止主要側(cè)重于分析員工的心理狀態(tài)。該理論認(rèn)為,員工的異議將通過監(jiān)控內(nèi)部(甚至是社交媒體,但這有點令人毛骨悚然)通信表現(xiàn)出來。人們相信,在員工成為惡意內(nèi)部人員之前,可以發(fā)現(xiàn)并解決“不滿情緒”。
社會工程學(xué)的問題是,惡意意圖是否能在一次通信中被檢測到,而不是在一系列通信中被發(fā)現(xiàn)。Proofpoint 的網(wǎng)絡(luò)安全策略師 Matt Cooke認(rèn)為這有一定的潛力?!靶睦碚Z言學(xué)可以發(fā)揮關(guān)鍵作用,尤其是與先進(jìn)的機(jī)器學(xué)習(xí) (ML) 技術(shù)相結(jié)合時,”他說。
“基于轉(zhuǎn)換器的模型(例如 BERT 和 GPT)等工具擅長理解單詞之間的復(fù)雜關(guān)系,它們已經(jīng)被用來分析電子郵件內(nèi)容,以發(fā)現(xiàn)網(wǎng)絡(luò)釣魚等威脅。然而,需要注意的是,僅從內(nèi)容檢測威脅并非萬無一失。發(fā)件人身份驗證(例如 DMARC)和行為模式等情境因素也能增強(qiáng)檢測能力。”
Iris Powered by Generali 首席執(zhí)行官 Paige Schaffer
簡而言之,心理語言學(xué)加上額外的背景信息可以幫助檢測惡意內(nèi)容。阿爾托對此表示同意?!斑@些技術(shù)可以分析消息中的語言和情感線索,以識別欺騙或操縱的跡象。例如,它們可以檢測到釣魚和詐騙通信中常見的不尋常的緊迫感、恐懼訴求或不一致之處。已經(jīng)存在可以檢測深度偽造中的異常元數(shù)據(jù)以區(qū)分這些消息的工具?!?/p>
但他也同意,額外的幫助對這一過程大有裨益?!半m然人工智能驅(qū)動的內(nèi)容分析將在檢測中發(fā)揮關(guān)鍵作用,但當(dāng)它與用戶教育、行為分析和強(qiáng)大的身份驗證協(xié)議等其他安全措施相結(jié)合時,效果將最顯著。”
但要永遠(yuǎn)記住,對鵝有利的,對鵝不利的。Iris Powered by Generali 首席執(zhí)行官 Paige Schaffer 表示,犯罪分子可以利用人工智能來抓取數(shù)字世界,以創(chuàng)建高度個性化且可信的信息。她警告說:“隨著犯罪分子更好地了解我們的決策過程并利用偏見和其他心理因素,我們還可能看到更有效的社會工程攻擊?!?/p>
“同樣,通過分析大型數(shù)據(jù)集,人工智能系統(tǒng)可以幫助犯罪分子識別心理弱點,甚至是更容易受到社會工程攻擊的某些個人。”
社會工程學(xué)的未來
ThreatLocker 首席執(zhí)行官兼聯(lián)合創(chuàng)始人
任何認(rèn)為防御者可以通過在防御中使用自己的人工智能來領(lǐng)先于使用人工智能的攻擊者的想法都是愚蠢的。在人工智能出現(xiàn)之前我們無法做到這一點,在人工智能出現(xiàn)之后我們也不會做到這一點。我們自己對人工智能的使用最多只能與當(dāng)前犯罪分子對人工智能的使用相匹配。當(dāng)這種情況發(fā)生時,犯罪分子和民族國家將修正他們的行為,我們將再次開始追趕過程。
ThreatLocker首席執(zhí)行官兼聯(lián)合創(chuàng)始人 Danny Jenkins指出了古德哈特定律:“當(dāng)一項措施成為目標(biāo)時,它就不再是一項好措施?!彼硎?,應(yīng)用到此處,“這意味著一旦某些標(biāo)記被確定為壞標(biāo)記,惡意行為者就可以改變他們的技術(shù)以避免使用它們,從而避免被檢測到。是的,它可能會提高檢測率,但不會解決問題,就像惡意軟件檢測無法檢測到所有惡意軟件一樣?!?/p>
這意味著,每當(dāng)我們成功應(yīng)對新的攻擊方法時,攻擊者就會修改他們的方法——而我們需要修改我們的防御策略。我們使用人工智能進(jìn)行防御很重要,但不會改變游戲規(guī)則:人工智能將為社會工程學(xué)插上翅膀。我們永遠(yuǎn)無法贏得安全之戰(zhàn);所以,我們需要在不安全中生存下來。業(yè)務(wù)彈性必須是我們采用的所有安全控制和流程的最終目的,因為我們永遠(yuǎn)無法徹底擊敗或保護(hù)自己免受社會工程學(xué)的侵害。