在ChatGPT推出兩年后，生成式AI已成為網(wǎng)絡安全領域的重要力量。2024年生成式AI技術的影響無處不在，從深偽欺詐到“影子AI”的風險，再到AI安全法規(guī)的出現(xiàn)和AI驅(qū)動的漏洞研究潛力。以下，我們將盤點過去一年AI與網(wǎng)絡安全的五大熱點話題。

1.深偽攻擊與AI釣魚襲擊激增

目前，AI安全威脅的核心并非AI生成的惡意軟件或流氓AI，而是通過AI生成的釣魚誘餌和深偽技術實施的欺詐。這些攻擊具有巨大的現(xiàn)實威脅。比如，香港某金融從業(yè)者因深偽視頻會議被騙，轉賬高達2560萬美元。類似的案例表明，深偽技術正在通過逼真的人臉仿真和聲音模仿，威脅個人與企業(yè)的財務安全。

據(jù)安全公司iProov統(tǒng)計，2023年基于生物識別驗證的“換臉”攻擊激增了704%。深偽視頻不僅欺騙了用戶，也繞過了面部識別等生物特征驗證系統(tǒng)。而AI驅(qū)動的商業(yè)電子郵件欺詐（BEC）也表現(xiàn)強勁，據(jù)VIPRE Security估計，AI生成的釣魚郵件占商業(yè)欺詐誘餌的40%。

2.企業(yè)“影子AI”帶來的數(shù)據(jù)泄露風險

企業(yè)內(nèi)未經(jīng)授權或監(jiān)控的AI工具的使用（即“影子AI”）正在增長，帶來了數(shù)據(jù)泄露風險。據(jù)Cyberhaven報告，2024年企業(yè)員工上傳到生成式AI工具的敏感數(shù)據(jù)增長了485%，其中包括客戶支持信息、源代碼和研發(fā)數(shù)據(jù)。

盡管AI工具提升了生產(chǎn)力，但企業(yè)在安全培訓和政策制定上的滯后引發(fā)了擔憂。例如，美國眾議院于2024年3月禁止員工使用微軟Copilot，擔心其導致敏感數(shù)據(jù)泄露。

3.LLM破解與APT組織的結合

2024年，針對大型語言模型（LLM）的攻擊進一步演變，如Palo Alto Networks開發(fā)的“Deceptive Delight”方法僅需三次交互就能繞過安全限制。此外，知名APT組織如俄羅斯、朝鮮和中國的威脅行為者已被發(fā)現(xiàn)利用ChatGPT進行腳本生成、漏洞研究和目標偵察。

微軟和OpenAI披露這些活動后迅速采取了關閉措施，且微軟提議將LLM攻擊方法納入MITRE ATT&CK框架，反映了LLM威脅對網(wǎng)絡安全生態(tài)的深遠影響。

4.全球AI安全立法進程加速

2024年，全球AI法規(guī)進入新階段。歐盟率先通過《AI法案》，以風險等級分類AI系統(tǒng)，禁止高風險應用，并設立相應的監(jiān)管要求。而美國尚未推出類似的國家級法規(guī)，盡管其發(fā)布了針對關鍵基礎設施的AI安全指南。此外，加州等州也嘗試引入AI法規(guī)，但面臨創(chuàng)新抑制的批評。

5.AI賦能網(wǎng)絡安全的機遇

AI技術不僅是威脅，也為網(wǎng)絡防御帶來了全新可能性。例如，谷歌的AI驅(qū)動漏洞研究工具Big Sleep發(fā)現(xiàn)了SQLite數(shù)據(jù)庫的漏洞，而其改進的OSS-Fuzz工具在開源項目中識別了26個新漏洞。

RSAC 2024會議也強調(diào)了AI對關鍵基礎設施和國家安全防御的重要價值，從模式識別到自動化分析，AI正在幫助網(wǎng)絡安全團隊大幅提高效率。

生成式AI的崛起，讓網(wǎng)絡空間的攻防之戰(zhàn)變得更加復雜。一方面，AI提升了攻擊者的破壞力，另一方面，它也為安全從業(yè)者提供了前所未有的高效工具。這場博弈在未來幾年只會愈發(fā)激烈，而全球各國的監(jiān)管與產(chǎn)業(yè)力量也需緊密跟隨其發(fā)展步伐。