在采訪中，AutoRABIT的CTO Jason Lord探討了將智能體集成到現(xiàn)實世界中的系統(tǒng)所帶來的網(wǎng)絡(luò)安全風險。諸如幻覺、提示注入和嵌入式偏見等問題可能會使這些系統(tǒng)成為易受攻擊的目標。

Lord呼吁進行監(jiān)督、持續(xù)監(jiān)控和人為介入循環(huán)控制以應(yīng)對這些威脅。

許多智能體都是建立在基礎(chǔ)模型或大型語言模型(LLM)之上的。當這些智能體嵌入到現(xiàn)實世界的系統(tǒng)中時，基礎(chǔ)模型和LLM固有的不可預(yù)測性(如幻覺或提示注入)是如何轉(zhuǎn)化為風險的?

基礎(chǔ)模型和LLM從海量數(shù)據(jù)中學習，這意味著任何潛在的偏見、低質(zhì)量輸入或事實錯誤都會嵌入到它們的行為中。隨著時間的推移，這些不準確之處可能會累積——尤其是當模型遇到更多樣化的上下文時。

雖然LLM的固有不可預(yù)測性對于創(chuàng)意或?qū)υ捘康目赡苁怯杏玫模谏a(chǎn)環(huán)境中它可能會暴露出重大風險。幻覺(捏造或錯誤陳述)和提示注入(對輸入的惡意操縱)可能會引入隱藏的漏洞。

在最壞的情況下，這些問題會成為攻擊載體，提供對關(guān)鍵系統(tǒng)或敏感數(shù)據(jù)的意外訪問。即使智能體的響應(yīng)中存在輕微的不一致，也可能損害數(shù)據(jù)完整性或打開后門。這會產(chǎn)生從未經(jīng)授權(quán)的披露到系統(tǒng)損壞等實際風險——所有這些都可能嚴重影響組織的安全態(tài)勢。

如果智能體能夠訪問企業(yè)系統(tǒng)、工具或數(shù)據(jù)，它們會引入哪些新的攻擊面或供應(yīng)鏈風險?我們是否基本上是在創(chuàng)建新的特權(quán)身份?

是的，智能體實際上成為了一種新的特權(quán)身份類別，可能擁有訪問敏感信息和關(guān)鍵業(yè)務(wù)流程的權(quán)限。因為它們可以處理命令、檢索或修改數(shù)據(jù)，并與其他企業(yè)系統(tǒng)進行交互，所以智能體的憑據(jù)或邏輯一旦遭到單次破壞，其破壞性可能與整個特權(quán)用戶帳戶遭到攻擊一樣嚴重。

智能體特別具有挑戰(zhàn)性的一點是，與常規(guī)腳本或應(yīng)用程序相比，它們的行為更不可預(yù)測且更難審計。它們依賴于可能被操縱的自然語言輸入——通過提示注入、對抗性示例或配置錯誤的訪問控制——來執(zhí)行不需要的或惡意的操作。

組織還應(yīng)考慮AI驅(qū)動的供應(yīng)鏈風險。當智能體生成代碼或產(chǎn)生被持續(xù)集成/持續(xù)部署(CI/CD)管道使用的工件時，它們可能會無意中嵌入漏洞或?qū)⒂腥毕莸倪壿媯鞑サ较掠蜗到y(tǒng)中。這些隱藏風險可能會一直存在，直到通過徹底審計或利用嘗試被發(fā)現(xiàn)，這強調(diào)了嚴格治理、訪問控制和持續(xù)監(jiān)控AI生成輸出的必要性。

你是否預(yù)見智能體會成為與通過釣魚或社會工程學攻擊人類相同的目標?所謂的“智能體感知”對手會是什么樣子?

絕對的。智能體將簡單地被添加到目標列表中，但攻擊者不會使用操縱人類的戰(zhàn)術(shù)(如釣魚郵件)，而是可能會通過制作旨在操縱智能體行為的惡意輸入來進行提示注入。這些攻擊利用了智能體對看似良性的指令或數(shù)據(jù)的信任，導致其泄露信息、提升權(quán)限或采取有害行為。

“智能體感知”對手將研究特定智能體如何解釋語言、做出決策以及與工具進行交互。他們可能會在共享文檔、聊天消息或API響應(yīng)中嵌入隱藏命令。這些攻擊看起來不會像傳統(tǒng)的漏洞利用——它們會看起來像正常的對話或常規(guī)數(shù)據(jù)流。

隨著智能體在企業(yè)系統(tǒng)中承擔更多責任——處理工單、更新記錄或管理基礎(chǔ)架構(gòu)——攻擊者將更加關(guān)注直接操縱智能體。這使得AI特定的安全控制(如輸入驗證、行為監(jiān)控和強大的審計跟蹤)對于檢測和防止這些攻擊至關(guān)重要。

當前，你對智能體在網(wǎng)絡(luò)安全中最興奮的應(yīng)用場景是什么?以及你認為哪些應(yīng)用場景仍然被過度炒作或過早?

AI在過去幾年中取得了長足的進步。威脅檢測和自動響應(yīng)是智能體能夠為網(wǎng)絡(luò)安全團隊帶來切實益處的兩種方式。能夠分類警報、跨不同工具關(guān)聯(lián)信號并提供豐富上下文的智能體可以極大地提高分析師的效率。通過增強現(xiàn)有的安全運營中心(SOC)工作流程，智能體可幫助員工專注于戰(zhàn)略任務(wù)，而不是篩選原始數(shù)據(jù)。

然而，能夠在實時生產(chǎn)環(huán)境中做出單方面決策的完全自主的智能體仍然存在風險。幻覺或錯誤行為可能會關(guān)閉關(guān)鍵基礎(chǔ)設(shè)施或創(chuàng)建后門，而人類操作員卻未能及時發(fā)現(xiàn)錯誤。監(jiān)督機制、手動審批和強大的防護欄仍然至關(guān)重要。

被過度炒作或過早的應(yīng)用場景包括無需人類干預(yù)的端到端“自我修復”系統(tǒng)。在不斷變化的安全環(huán)境中，確保問責制和減輕意外后果需要人類審查過程。將智能體與人為介入循環(huán)策略相結(jié)合，在一段時間內(nèi)很可能仍將是最佳實踐。

展望未來3到5年，一個成熟的智能體賦能的SOC會是什么樣子?哪些功能將成為常態(tài)，而我們?nèi)詫⒃趹?yīng)對哪些風險?

僅在過去一年我們就看到了如此多的增長，因此我想象在未來3到5年內(nèi)，智能體將非常令人印象深刻。我預(yù)計，智能體賦能的SOC將配備在整個事件生命周期中嵌入的半自主智能體。它們將能夠分類警報、生成事件報告并實施補救操作。

跨工具集成(例如，漏洞掃描器、端點檢測和響應(yīng)(EDR)解決方案或威脅情報源)是未來幾年將發(fā)展的另一種能力。人類分析師將能夠更專注于戰(zhàn)略分析、微調(diào)其智能體的行為，以及處理獨特的網(wǎng)絡(luò)安全情況。

成熟度的提高將伴隨著同樣成熟的攻擊和網(wǎng)絡(luò)安全風險。保持強大的安全態(tài)勢不僅需要先進的AI，還需要持續(xù)的驗證、紅隊測試和仔細的治理。沒有任何工具是萬能的——尤其是在不斷演變的威脅環(huán)境中。