在SOC中集成AI Agent工作流程,端到端自動處理警報
傳統(tǒng)SOC 不能承受之重
在傳統(tǒng)的模式下,網(wǎng)絡(luò)安全分析師團隊需要24/7運作,以調(diào)查警報、確定其嚴重性并采取必要行動。
在傳統(tǒng)的檢測和響應中,檢測并不容易實現(xiàn),而且人工響應無法匹配所需的機器級速度。當檢測邏輯在滿足特定閾值或行為時,就會觸發(fā)"警報"。人工分析師需要執(zhí)行多個決策,以準確響應每個警報。通常,處理一個警報關(guān)系到所涉及的用戶、相關(guān)活動、所涉系統(tǒng)的性質(zhì),并對發(fā)生的情況進行詳細調(diào)查。
為了處理一個警報,分析師需要做很多事情,比如查看網(wǎng)絡(luò)流量中的異常情況、檢查多個進程和日志源、檢查HTTP頭、沙箱分析、解碼混淆腳本、掃描和隔離設(shè)備、阻止惡意入侵指標、隔離惡意載荷、從用戶收件箱中刪除惡意郵件、收集工件、重置憑據(jù)、撰寫報告等,具體取決于情況。
分析師還需要使用多種工具和技術(shù),如安全信息和事件管理(SIEM)、安全編排、自動化和響應(SOAR)、終端檢測和響應(EDR)、開源情報(OSINT)等,來完成這些任務(wù)。
如有必要,SOC分析師還需要牽涉多個其他團隊,如網(wǎng)絡(luò)情報、威脅搜尋、法律、事件響應和管理、數(shù)據(jù)保證、網(wǎng)絡(luò)安全、云安全、身份和訪問管理等。此外,分析師還必須留意在警報事件相應時間段內(nèi)是否存在任何未被檢測到的可疑事件。分析師需要在巨大壓力下實時執(zhí)行所有這些任務(wù),以確保不會錯過任何真正的事件。是的,這確實是很多工作。
為了避免SOC分析師的倦怠和警報疲勞,需要通過使用 AI Agent自動執(zhí)行日常任務(wù)來轉(zhuǎn)變 SOC 策略。
許多重復性人工任務(wù)都可以通過AI Agent和工作流程實現(xiàn)自動化,從而提高分析師的工作效率并縮短響應時間。在許多情況下,只要獲得所需權(quán)限進行更改,集成的AI Agent就可以端到端處理警報。
了解AI Agent的工作原理
每個行業(yè)都在依賴某種形式的自動化來替代簡單和機械的人力勞動。人們大量使用機器人流程自動化(RPA)來自動化重復性任務(wù)。RPA在使用預定義規(guī)則時表現(xiàn)出色,但它無法做出新的決策,無法從反饋中學習,需要持續(xù)的人工監(jiān)督。
由多個此類代理組成的自動化系統(tǒng)缺乏靈活性,而且對這些系統(tǒng)進行更改可能會很麻煩。這些傳統(tǒng)的自動化代理沒有任何記憶或反饋循環(huán)來自行進化,也無法嘗試做出類似人類的決策。
大語言模型(LLM)的潛力不僅僅體現(xiàn)在生成出色的內(nèi)容和程序上。AI Agent和智能AI系統(tǒng)利用生成式AI模型和LLM來自主執(zhí)行任務(wù)代表最終用戶。
可以將AI Agent視為高級軟件程序,它們不僅可以像傳統(tǒng)自動化代理一樣自動執(zhí)行任務(wù),還可以動態(tài)調(diào)整其行為。與這些代理的交互可以采取用戶的自然語言提示(NLP)或來自另一個代理的函數(shù)調(diào)用的形式。
AI Agent可以根據(jù)以反饋形式接收的新訓練數(shù)據(jù)來調(diào)整其行為。在由LLM驅(qū)動的自主代理系統(tǒng)中,LLM充當代理的"大腦",并由多個其他工具、行動手冊和記憶組件來補充。為了構(gòu)建更加健壯的代理,我們必須限制其范圍,可以在大規(guī)模使用一系列AI Agent來實現(xiàn)高度智能自動化,從而逐步發(fā)展并復制出類似人類的決策能力,而不是期望單個代理自主工作。
圖片
AI Agent以連續(xù)的循環(huán)方式運作,它們接收輸入并對其進行處理以采取必要行動。這個循環(huán)是連續(xù)的,允許代理根據(jù)需要動態(tài)改變行為?;谝?guī)則的系統(tǒng)、機器學習模型或決策樹都可以實現(xiàn)代理的功能。
以下是對AI Agent的簡單概述,這些類別可能存在不同的變體和重疊:
- 簡單反射代理:根據(jù)當前的環(huán)境狀態(tài)采取行動。使用預定義規(guī)則響應即時條件。
- 基于模型的反射代理:維護環(huán)境的內(nèi)部模型??紤]過去的狀態(tài)以做出超出即時輸入的決策。
- 基于目標的代理:具有明確的目標,并根據(jù)實現(xiàn)這些目標的進展來評估行動。選擇使他們更接近目標的行動。
- 基于效用的代理:基于效用函數(shù)來優(yōu)化性能。做出能最大化預期幸福感或滿意度的決策。
- 學習型代理:通過經(jīng)驗學習來提高性能。隨著時間推移適應和完善其行為。
AI Agent驅(qū)動的半自主網(wǎng)絡(luò)SOC
為了處理警報,SOC分析師依賴標準操作程序(SOP)或行動手冊,以確保在應對潛在威脅時不會遺漏任何內(nèi)容。SOP和行動手冊還確保了不同分析師采取的行動的一致性。
SOP和行動手冊是一組可以自動化的重復性任務(wù)。靜態(tài)自動化很難適應動態(tài)需求,并且難以修改。AI Agent可以通過適應新信息并相應調(diào)整行動來解決這個問題。將這些程序作為對代理的指令可以大幅提高響應速度并減少人為錯誤。
為了處理警報,SOC 分析師依靠標準作程序 (SOP) 或手冊來確保在解決潛在威脅時不會遺漏任何內(nèi)容。SOP 和手冊還確保不同分析師采取的行動之間的一致性。
半自主SOC的架構(gòu)圖
不同AI Agent的描述如下:
數(shù)據(jù)攝取和豐富代理
- 警報獲取器-從各種安全工具(SIEM、EDR、IDS/IPS等)接收警報;
- 警報聚合器-關(guān)聯(lián)、去重和優(yōu)先級排序警報;
- 實體提取器-提取關(guān)鍵實體(IP地址、用戶賬戶、終端等);
- 上下文收集器-收集相關(guān)上下文信息(用戶角色、以前的警報、終端性質(zhì)、訪問級別、成員資格、文件普及率等);
- 豐富代理-使用威脅情報和上下文豐富實體。
調(diào)查和分析代理
- 調(diào)查代理-將警報分配給AI SOC分析師,并嘗試根據(jù)觸發(fā)的規(guī)則制定上下文。該代理評估來自其他AI Agent的響應;
- 證據(jù)收集器-收集和保存與該警報相關(guān)的證據(jù);
- 證據(jù)分析器-對文件進行沙箱分析、掃描URL、解碼腳本等。
決策和響應代理
- 行動確定器-建議采取適當行動(阻止、隔離、隔離);
- 行動排序代理-確定執(zhí)行行動的最佳順序;
- 記錄制作代理-記錄事件調(diào)查和響應過程;
- 決策制定代理-評估整體響應策略;
- 響應代理-根據(jù)順序執(zhí)行自動化行動;
- 升級代理-將關(guān)鍵事件升級給人工分析師。
控制和協(xié)調(diào)代理
- 通知代理-通知相關(guān)人員關(guān)鍵警報;
- 錯誤報告代理-監(jiān)控并報告AI Agent和集成中的錯誤;
- 驗證代理-監(jiān)控已執(zhí)行的行動,確保所需行動已完成。
以上只是一個簡化的表示。實際實現(xiàn)過程中可能涉及更復雜的交互和其他AI Agent。
發(fā)現(xiàn)系統(tǒng)上存在不受歡迎的黑名單軟件的示例
假設(shè)在名為theonlyhost-win的主機上發(fā)現(xiàn)了一個名為ThisIsBad.exe的惡意工具。SIEM根據(jù)該可執(zhí)行文件在設(shè)備上枚舉用戶名的不良聲譽觸發(fā)了警報。在這種情況下,EDR策略設(shè)置為僅發(fā)出警報,而不阻止或刪除。
警報獲取代理從SIEM接收警報,實體提取器代理提取關(guān)鍵實體,如用戶名theusualsuspect、主機名和文件名。豐富代理使用威脅情報(如通過動態(tài)分析獲得的聲譽和行為信息)豐富文件信息。
調(diào)查代理將警報分配給AI SOC分析師,并與證據(jù)收集代理和證據(jù)分析代理通信,以保存文件、在沙箱中運行它并獲取詳細行為。調(diào)查代理評估結(jié)果,并基于與經(jīng)過訓練以識別文件執(zhí)行行為中可疑模式的自定義LLM的不斷通信和集成,注意到基于枚舉設(shè)備上登錄的用戶的可疑行為。
決策和響應代理共同阻止該文件、刪除它、在設(shè)備上啟動實時掃描、記錄筆記并向人工分析師推薦政策更改。
下圖給出了AI Agent如何協(xié)同工作并采取行動的概念。這種表示在實際實現(xiàn)中可能會有所變化,可能涉及AI Agent、LLM、自定義行動手冊和所有必需信息源之間的更多通信。
如果下次發(fā)現(xiàn)同一文件,AI Agent將學習這種行為并自動執(zhí)行操作。如果正確實施,AI Agent驅(qū)動的半自主SOC系統(tǒng)的這種能力將為組織節(jié)省大量時間和資源,并加強安全態(tài)勢。
AI Agent處理事件的高級視圖
將AI Agent驅(qū)動的工作流集成到SOC中
上述框架的真正威力在于將AI Agent與SOC工作流的其他領(lǐng)域相結(jié)合。在SOC中,除了處理警報之外,一些重要操作,如發(fā)送電子郵件、與不同團隊提出票證、更新和關(guān)閉案例、記錄以備將來參考等都是手動完成的。
創(chuàng)建工作流允許AI Agent在一定程度上獨立運作并持續(xù)改進。處理SOC中的實際場景需要超自動化。在保持一定自主性的同時,保持人工參與以實現(xiàn)高精度也是至關(guān)重要的。最新進展允許跨多個平臺和產(chǎn)品構(gòu)建靈活的工作流,并實現(xiàn)本機集成。
快速生成用于處理自定義場景的復雜工作流的能力將是實現(xiàn)向半自主SOC過渡的關(guān)鍵。隨著我們對AI驅(qū)動的超自動化的依賴不斷增加,我們將充分利用人類專業(yè)知識來設(shè)計健壯的工作流,以管理重復性任務(wù)。
當前面臨的挑戰(zhàn)
- 模型會限制代理,因此在網(wǎng)絡(luò)安全環(huán)境中對它們進行嚴格訓練和測試至關(guān)重要。
- AI模型在類似于其訓練數(shù)據(jù)的數(shù)據(jù)上表現(xiàn)最佳。不熟悉的環(huán)境可能會嚴重影響其有效性。
- AI模型和AI Agent本身可能成為攻擊目標,從而損害系統(tǒng)的有效性。
- AI Agent的可追溯性也是確保SOC查看所有采取行動的關(guān)鍵,以防需要重新審視某一事件。
- 必須徹底評估授予訪問工具、用戶數(shù)據(jù)、文檔、SOP等的風險。
除了上述挑戰(zhàn)外,組織可能還會面臨基于其當前SOC能力成熟度水平和實施新方法所涉及的資源而產(chǎn)生的未知挑戰(zhàn)。
我們當前所面臨的網(wǎng)絡(luò)威脅錯綜復雜,來勢洶洶。我們要秉持開放、創(chuàng)新的心態(tài),勇于擁抱新技術(shù),才能掌握主動權(quán)。
參考鏈接:https://dzone.com/articles/integrating-ai-agent-workflows-soc