網(wǎng)絡(luò)安全在自主式AI面前站在了一個(gè)十字路口，我們從未擁有過(guò)如此強(qiáng)大的工具，它可以在眨眼之間創(chuàng)建大量的代碼，發(fā)現(xiàn)并解除威脅，并且可以被如此果斷且防御性地使用，這已經(jīng)被證明是一個(gè)巨大的力量倍增器和生產(chǎn)力紅利。

但雖然功能強(qiáng)大，自主式AI卻并不可靠，這就是目前的困境。所創(chuàng)建的代碼可能包含微妙的缺陷，并且最終可能會(huì)弊大于利，比如通過(guò)助長(zhǎng)網(wǎng)絡(luò)釣魚誘餌和構(gòu)建新型惡意軟件。Gartner預(yù)測(cè)，到2027年，智能體將使利用賬戶的時(shí)間減少50%。另一份報(bào)告發(fā)現(xiàn)，在接受調(diào)查的企業(yè)中，有40%在過(guò)去一年中經(jīng)歷了與AI相關(guān)的安全漏洞。例如，2022年的動(dòng)視(Activision)泄露事件始于一系列AI增強(qiáng)的短信網(wǎng)絡(luò)釣魚信息。Kela在其2025年AI威脅報(bào)告中報(bào)道，與2024年相比，2025年AI惡意工具的數(shù)量增加了200%。

惡意軟件正變得越來(lái)越復(fù)雜，其創(chuàng)造者也越來(lái)越擅長(zhǎng)隱藏他們的手法，以便他們可以在企業(yè)網(wǎng)絡(luò)中存活更長(zhǎng)時(shí)間，并造成更有針對(duì)性的破壞。攻擊者正在從“廣撒網(wǎng)”的方式(即他們只是將惡意軟件遍布全球)轉(zhuǎn)變?yōu)椤懊闇?zhǔn)并潛伏”的方式(即他們對(duì)自己的攻擊更加有選擇性且更加吝嗇)。這種焦點(diǎn)的轉(zhuǎn)變得到了自主式AI的幫助。這些智能體可以被用來(lái)篩選目標(biāo)，以找到可以被惡意軟件攻破的薄弱端點(diǎn)，或者使用該端點(diǎn)來(lái)竊取數(shù)據(jù)、發(fā)動(dòng)勒索軟件攻擊，或者提供可用于對(duì)高管發(fā)起社交攻擊的信息。在過(guò)去，這些類型的操作需要時(shí)間、技能和手動(dòng)操作，而所有這些都可以通過(guò)自主式AI來(lái)縮短。

這些以及其他數(shù)據(jù)點(diǎn)顯示了智能體紅利的陰暗面，它已變成了一種禍害，并為安全防御者創(chuàng)造了更多的工作。“對(duì)于幾乎所有情況，自主式AI技術(shù)都需要高水平的權(quán)限、權(quán)利和特權(quán)才能運(yùn)行。我建議安全領(lǐng)導(dǎo)者應(yīng)考慮任何自主式AI部署可能對(duì)您的基礎(chǔ)設(shè)施產(chǎn)生的隱私、安全、所有權(quán)和風(fēng)險(xiǎn)?！盉eyondTrust的首席安全顧問(wèn)Morey Haber說(shuō)。

什么是自主式AI?

分析師Jeremiah Owyang將智能體描述為“可以感知其環(huán)境、做出決策并采取行動(dòng)以實(shí)現(xiàn)特定目標(biāo)的自主軟件系統(tǒng)，通常具有隨時(shí)間學(xué)習(xí)和適應(yīng)的能力”。自主式AI通過(guò)自主協(xié)調(diào)一組智能體，以及與數(shù)據(jù)庫(kù)、模型和其他軟件的一系列自定義集成，將這一過(guò)程更進(jìn)一步。這些連接使智能體能夠動(dòng)態(tài)適應(yīng)其環(huán)境，具有更高的情境感知能力，或者協(xié)調(diào)多個(gè)智能體之間的行動(dòng)。谷歌的威脅情報(bào)團(tuán)隊(duì)在最近的一份報(bào)告中有很多關(guān)于當(dāng)前AI濫用行為的具體示例。

但信任安全工具并不是什么新鮮事。當(dāng)網(wǎng)絡(luò)數(shù)據(jù)包分析器首次引入時(shí)，它們確實(shí)揭示了入侵行為，但也被用來(lái)尋找脆弱的服務(wù)器。防火墻和VPN可以隔離和劃分流量，但也可能被黑客利用來(lái)獲得訪問(wèn)權(quán)限和網(wǎng)絡(luò)橫向移動(dòng)的權(quán)限。后門既可用于好的目的，也可用于邪惡的目的，但從未有像這些舊工具一樣在同一時(shí)間表現(xiàn)得如此出色又如此糟糕。在開(kāi)發(fā)自主式AI的匆忙中，也創(chuàng)造了未來(lái)可能帶來(lái)苦難的潛力。

最近的智能體安全標(biāo)志

最近，我們看到了許多如何快速構(gòu)建自己的自主智能體的例子已經(jīng)生根發(fā)芽。上個(gè)月，微軟展示了六個(gè)新的智能體，它們與其Copilot軟件一起工作，直接與各種安全工具對(duì)話，以識(shí)別漏洞、標(biāo)記身份和資產(chǎn)泄露。Simbian本月正在舉辦一場(chǎng)基于AI的奪旗比賽，其中的操作環(huán)境是一個(gè)由AI驅(qū)動(dòng)的安全運(yùn)營(yíng)中心(SOC)，智能體已經(jīng)處理了一系列警報(bào)。在2023年的DEFCON大會(huì)上首次舉行了類似的比賽。人類參與者必須弄清楚哪些警報(bào)是真實(shí)的。另一個(gè)令人擔(dān)憂的例子是，ZeroEyes公司已經(jīng)生產(chǎn)了智能體工具，可以快速掃描每秒數(shù)千張安全閉路電視圖像，以發(fā)現(xiàn)槍支，從而輔助執(zhí)法活動(dòng)。

AWS的CISO Chris Betz談到，他們已經(jīng)開(kāi)發(fā)了各種智能體，節(jié)省了無(wú)數(shù)小時(shí)的手動(dòng)工作，比如將數(shù)萬(wàn)個(gè)舊版Java應(yīng)用程序更新到最新版本?！拔覀儼l(fā)現(xiàn)，79%的智能體生成的代碼不需要進(jìn)行任何更改，而且大部分剩余的問(wèn)題在幾個(gè)小時(shí)內(nèi)就得到了解決。”Betz說(shuō)。AWS還使用智能體將.Net代碼轉(zhuǎn)換為L(zhǎng)inux，并轉(zhuǎn)換主機(jī)和VMware應(yīng)用程序?！拔覀兊墓ぷ髁啃阅芤蔡岣吡怂谋??！盉etz說(shuō)。

防御者的工具和技巧

安全專業(yè)人員可以使用多種工具和策略來(lái)對(duì)抗智能體威脅，并將它們用于好的目的，而不是邪惡的目的。

今年早些時(shí)候，開(kāi)放Web應(yīng)用安全項(xiàng)目(OWASP)發(fā)布了其關(guān)于自主式AI威脅的綜合報(bào)告，以提供實(shí)用且可操作的參考指南，幫助人們識(shí)別和緩解這些威脅。它描述了一個(gè)智能體參考架構(gòu)，闡述了各種智能體模式(例如，能夠反思性地批判自己輸出的智能體，或有特定任務(wù)和目標(biāo)的智能體)。該報(bào)告還描述了云安全聯(lián)盟(Cloud Security Alliance)的Maestro方法論和框架所采用的威脅建模方法，為智能體操作帶來(lái)了更多的清晰度和理解。

OWASP的作者提出了一個(gè)要點(diǎn)：“白帽和黑帽黑客通常都是通過(guò)實(shí)踐來(lái)學(xué)習(xí)，而我們這個(gè)以應(yīng)用程序?yàn)橹行牡氖澜鐬樗麄兲峁┝四ゾ毤寄艿某渥銠C(jī)會(huì)”，因?yàn)橹悄荏w攻擊的增加在持續(xù)。盡管如此，“應(yīng)用程序的攻擊率已達(dá)到前所未有的水平，Digital.ai監(jiān)測(cè)到的應(yīng)用程序中，有82.7%在2025年1月遭受到了攻擊?！?/p>

另一個(gè)了解不同智能體之間差異的良好起點(diǎn)可以在Appian的安全分析師Dylan Williams的“智能體藍(lán)圖”中找到。他展示了智能體如何在安全領(lǐng)域的各個(gè)方面發(fā)揮作用，包括警報(bào)和威脅搜尋，并回顧了各種當(dāng)前常見(jiàn)的智能體構(gòu)建框架。

AI誠(chéng)信與安全使用基金會(huì)(AI Integrity and Safe Use Foundation)的Helen Oakley也提出了其他指導(dǎo)方針，包括：

? 強(qiáng)大的數(shù)據(jù)治理至關(guān)重要，需要嚴(yán)格的訪問(wèn)控制和高質(zhì)量、無(wú)偏見(jiàn)的數(shù)據(jù)集。

? 應(yīng)納入決策日志，以確保透明度和問(wèn)責(zé)制。

? 智能體之間的通信協(xié)議需要加密，以防止攔截或篡改。

AWS的Betz從他們的智能體經(jīng)驗(yàn)中吸取了一些教訓(xùn)，包括：

? 使用身份驗(yàn)證和授權(quán)來(lái)隔離和分離基礎(chǔ)模型操作與智能體。

? 智能體應(yīng)將輸出視為不受信任的代碼，并執(zhí)行典型操作，如語(yǔ)法檢查和規(guī)則驗(yàn)證。

? 所有AI生成的代碼最初都應(yīng)在沙箱中運(yùn)行，以確保其正常工作。

? 了解智能體如何生成代碼：可觀察性很重要。

? 使用自動(dòng)化和手動(dòng)方法(包括進(jìn)行紅隊(duì)演練)進(jìn)行測(cè)試。

考慮實(shí)施自主式AI的一個(gè)地方是在您的SOC內(nèi)?？紤]到平均SOC每天會(huì)收到數(shù)百甚至數(shù)千個(gè)警報(bào)，智能體可以用于自動(dòng)化威脅調(diào)查、劇本創(chuàng)建、修復(fù)和過(guò)濾不重要的威脅。包括Dropzone、D3Security、Radiant Security、Securiti和Torq在內(nèi)的多家安全供應(yīng)商都提供這些工具。

考慮自主式AI時(shí)要問(wèn)的問(wèn)題

以下是潛在自主式AI買家在評(píng)估這項(xiàng)新技術(shù)時(shí)應(yīng)考慮的一些問(wèn)題：

? 研究任何智能體的內(nèi)置推理能力，并了解其工作原理。

? 你是否需要非文本輸入(如圖像、視頻和聲音)的智能體處理?

? 你的智能體是否使用了多個(gè)大型語(yǔ)言模型(LLM)或開(kāi)發(fā)框架，以及它們是如何相互作用的?

? 使用什么身份驗(yàn)證來(lái)驗(yàn)證用戶、工具或服務(wù)，其牢固程度如何?

? 智能體是否可以處理敏感信息或個(gè)人身份信息?

AI戰(zhàn)略家和書籍作者Kate O’Neill表示，“安全仍然取決于最終用戶的行為、你如何闡述你的政策，以及你如何了解智能體的功能和所涉及的風(fēng)險(xiǎn)，以及你可以實(shí)現(xiàn)哪些生產(chǎn)力提升?！?/p>