安全管理平臺(tái)（SoC）的一項(xiàng)關(guān)鍵技術(shù)就是事件關(guān)聯(lián)分析。借助實(shí)時(shí)的事件關(guān)聯(lián)分析引擎，安全管理平臺(tái)能夠發(fā)掘出復(fù)雜的海量安全日志和事件背后隱藏的信息，引導(dǎo)安全管理人員發(fā)現(xiàn)外部入侵和內(nèi)部違規(guī)行為。作為本系列的第五篇文章，將深入為大家剖析安全管理系統(tǒng)的關(guān)聯(lián)分析引擎技術(shù)架構(gòu)，并向讀者展示關(guān)聯(lián)分析的價(jià)值和前景?！　?/P>

1 為什么需要安全事件關(guān)聯(lián)分析？

1.1 安全建設(shè)的新階段

信息系統(tǒng)的安全建設(shè)已經(jīng)從過去的局部優(yōu)化階段進(jìn)入了整體優(yōu)化的階段。

當(dāng)今的企業(yè)和組織在IT信息安全領(lǐng)域面臨比以往更為復(fù)雜的局面。這既有來自于企業(yè)和組織外部的層出不窮的入侵和攻擊，也有來自于企業(yè)和組織內(nèi)部的違規(guī)和泄漏。為了不斷應(yīng)對(duì)新的安全挑戰(zhàn)，企業(yè)和組織先后部署了防病毒系統(tǒng)、防火墻、入侵檢測系統(tǒng)、漏洞掃描系統(tǒng)、UTM，等等。這種被動(dòng)的安全建設(shè)過程就像是挖壕溝，為了抵御某一方面的安全威脅，客戶不斷地把壕溝加深，并開鑿了一條又一條的壕溝。由于這些安全系統(tǒng)都僅僅防堵來自某個(gè)方面的安全威脅，于是形成了一個(gè)個(gè)安全防御孤島，無法產(chǎn)生協(xié)同效應(yīng)。另一方面，企業(yè)和組織日益迫切的信息系統(tǒng)審計(jì)和內(nèi)控、以及不斷增強(qiáng)的業(yè)務(wù)持續(xù)性需求，也對(duì)當(dāng)前企業(yè)信息安全管理提出了嚴(yán)峻的挑戰(zhàn)。這些內(nèi)因外因合起來，都要求企業(yè)和組織建立一套橫向貫穿孤立的安全防線的整體安全管理平臺(tái)，實(shí)現(xiàn)對(duì)全網(wǎng)IT資源運(yùn)行的監(jiān)控、安全的監(jiān)控、風(fēng)險(xiǎn)的監(jiān)控，真正讓企業(yè)管理者把握整體安全態(tài)勢，實(shí)現(xiàn)有效地協(xié)同防御。

1.2 海量事件帶來的新挑戰(zhàn)

要構(gòu)建一個(gè)統(tǒng)一的安全管理平臺(tái)，首先就需要將來自企業(yè)和組織中復(fù)雜IT資源及其安全防御設(shè)施運(yùn)行過程中不斷產(chǎn)生的各類安全日志和事件進(jìn)行統(tǒng)一收集、分析，構(gòu)建一幅企業(yè)和組織的整體安全態(tài)勢圖。

對(duì)于一個(gè)典型的用戶而言，經(jīng)過較為系統(tǒng)的安全建設(shè)后，都會(huì)部署較多的安全產(chǎn)品。這些安全產(chǎn)品每天產(chǎn)生的事件量是巨大的，如下表所示：

顯然，對(duì)于安全管理平臺(tái)而言，收集和分析上述海量的安全事件是一個(gè)巨大的挑戰(zhàn)，而能否做到這點(diǎn)將直接決定一個(gè)安全管理平臺(tái)的成敗。同時(shí)，安全管理平臺(tái)決不能簡單地將這些海量的信息直接展示給客戶，否則，用戶面對(duì)這些海量的安全事件將束手無策，管理運(yùn)維效率將不升反降。此外，大量的安全事件匯聚到一起，根據(jù)其安全屬性的相關(guān)性，可能隱含了新的更嚴(yán)重的安全事件，這種相關(guān)性是管理人員難以用肉眼觀察出來的。安全管理平臺(tái)的目標(biāo)就是要收集這些海量事件，并通過有效的分析手段輸出很少量的、真正值得管理員關(guān)注的安全事件。

那么，如何才能有效地分析這些海量的異構(gòu)安全事件？安全事件關(guān)聯(lián)分析應(yīng)運(yùn)而生。

2 事件關(guān)聯(lián)分析介紹

2.1 信息安全事件定義

什么叫做信息安全事件？根據(jù)ISO18044和ISO27001，信息安全事件是指被識(shí)別的一種系統(tǒng)、服務(wù)或網(wǎng)絡(luò)狀態(tài)的發(fā)生，表明一次可能的信息安全策略違反或某些防護(hù)措施失效，或者一種可能與安全相關(guān)但以前未知的情況。

在本文中，信息安全事件簡稱事件，尤指由IT系統(tǒng)自動(dòng)產(chǎn)生的各種事件。

2.2 事件關(guān)聯(lián)分析定義

IT范疇內(nèi)的事件關(guān)聯(lián)分析（Event Correlation Analysis）最早來自網(wǎng)絡(luò)管理領(lǐng)域，通過綜合分析各種網(wǎng)絡(luò)告警信息，用于尋找網(wǎng)絡(luò)故障的根本原因。

定義1（來自Wiki百科）：事件關(guān)聯(lián)是指找出大量事件中存在的關(guān)系，并從這些大量事件中抽取出真正重要的少量事件。

伴隨著網(wǎng)絡(luò)安全的發(fā)展，尤其是受到傳統(tǒng)IDS大量漏報(bào)、誤報(bào)、錯(cuò)報(bào)安全事件的影響，出現(xiàn)了基于網(wǎng)絡(luò)安全數(shù)據(jù)融合技術(shù)的分布式IDS。而伴隨著前面所述的安全建設(shè)新階段的到來，安全信息與事件管理系統(tǒng)（SIEM）和安全管理平臺(tái)（SoC）也紛紛出現(xiàn)。在這些系統(tǒng)的設(shè)計(jì)中都逐步引入了事件關(guān)聯(lián)分析的概念。

定義2：事件關(guān)聯(lián)分析是指用戶將海量的來自異構(gòu)數(shù)據(jù)庫源的安全事件進(jìn)行相關(guān)性分析，定位真正的安全事故點(diǎn)的過程。

定義3（來自NIST SP800-92）：事件關(guān)聯(lián)是指在兩個(gè)或更多個(gè)日志（事件）中找到它們之間的關(guān)系。

根據(jù)上述定義，事件關(guān)聯(lián)分析包括兩層含義：

1) 將大量的安全事件過濾、壓縮、歸并，提取出少量的、或者是概括性的重要安全事件，相當(dāng)于“關(guān)聯(lián)分析中的事件量變”；

2) 從大量的安全事件之中發(fā)掘隱藏的相關(guān)性，產(chǎn)生新的不在之前事件之中的安全事件，相當(dāng)于“關(guān)聯(lián)分析中的事件質(zhì)變”。我們知道，外部入侵和內(nèi)部違規(guī)行為從來都不是單一的行為，都是有時(shí)序或者邏輯上的聯(lián)系的，黑客的攻擊和內(nèi)部的違規(guī)操作往往是分為若干步驟的，每個(gè)步驟都會(huì)在不同的設(shè)備和系統(tǒng)上留下蛛絲馬跡，單看某個(gè)設(shè)備的日志可能無法發(fā)現(xiàn)問題，但是將所有這些信息合到一起，就可能發(fā)現(xiàn)其中的隱患，而這正是關(guān)聯(lián)分析的目的所在。

2.3 事件關(guān)聯(lián)分析在安全管理平臺(tái)（SoC）中的位置

事件關(guān)聯(lián)分析在安全管理平臺(tái)（SoC）中位于核心位置，屬于SoC的核心技術(shù)點(diǎn)。

1) 事件關(guān)聯(lián)分析實(shí)現(xiàn)海量安全事件的抽取、降噪，剝離無用信息，提升后續(xù)安全管理工作的效率，降低安全管理工作的復(fù)雜性；

2) 事件關(guān)聯(lián)分析是風(fēng)險(xiǎn)分析的基礎(chǔ)，關(guān)聯(lián)分析的結(jié)果導(dǎo)出的關(guān)聯(lián)事件可以提升為威脅，從而參與風(fēng)險(xiǎn)計(jì)算，并且實(shí)現(xiàn)風(fēng)險(xiǎn)計(jì)算自動(dòng)化、定量化；

3) 事件關(guān)聯(lián)分析是計(jì)算機(jī)安全事故（Incident）應(yīng)急響應(yīng)處理流程的關(guān)鍵步驟。

2.4 事件關(guān)聯(lián)分析的關(guān)鍵特性

在安全管理平臺(tái)（SoC）中，完整的事件關(guān)聯(lián)分析包括了事件采集、事件歸一化、事件關(guān)聯(lián)分析引擎、預(yù)警響應(yīng)、事件存儲(chǔ)等幾個(gè)部分。其中，最核心的就是事件關(guān)聯(lián)分析引擎。

事件關(guān)聯(lián)分析至少具有以下三個(gè)關(guān)鍵特性：

1) 海量事件處理能力：是指關(guān)聯(lián)分析能夠高效地采集海量的異構(gòu)安全事件，并能夠進(jìn)行關(guān)聯(lián)匹配和輸出，還能夠?qū)踩录M(jìn)行可視化展示，以及將海量安全事件和告警信息進(jìn)行及時(shí)地存儲(chǔ)；

2) 實(shí)時(shí)性：是指關(guān)聯(lián)分析的整個(gè)處理過程必須保持實(shí)時(shí)、不間斷的工作；

3) 基于規(guī)則的：是指關(guān)聯(lián)分析的核心引擎至少應(yīng)該包括一套實(shí)時(shí)高速的規(guī)則引擎，實(shí)現(xiàn)模式匹配，這也是“關(guān)聯(lián)分析中的事件質(zhì)變”的要求。

3 實(shí)現(xiàn)事件關(guān)聯(lián)分析引擎

事件關(guān)聯(lián)分析引擎是關(guān)聯(lián)分析的核心技術(shù)部件，如何實(shí)現(xiàn)事件關(guān)聯(lián)分析引擎將直接決定關(guān)聯(lián)分析的效果，以及一個(gè)安全管理平臺(tái)（SoC）產(chǎn)品的成敗。因此，文本將重點(diǎn)描述事件關(guān)聯(lián)分析引擎的實(shí)現(xiàn)，對(duì)于事件采集和歸一化，將令文論述，或者參見 http://www.legendsec.com/newsec.php?up=3&cid=99上的介紹。

關(guān)聯(lián)分析引擎是一個(gè)典型的數(shù)據(jù)處理系統(tǒng)。因而，根據(jù)一般的經(jīng)驗(yàn)，首先會(huì)想到的就是利用數(shù)據(jù)庫系統(tǒng)來實(shí)現(xiàn)關(guān)聯(lián)分析引擎。但是，關(guān)聯(lián)分析引擎面對(duì)的數(shù)據(jù)不是一般的數(shù)據(jù)，這里的數(shù)據(jù)（事件）具有海量、實(shí)時(shí)和流的特征，因而，使用數(shù)據(jù)庫系統(tǒng)的關(guān)聯(lián)分析引擎無法達(dá)到實(shí)時(shí)高速的目標(biāo)。

如上圖所示，借助數(shù)據(jù)庫管理系統(tǒng)（例如關(guān)系型數(shù)據(jù)庫），事件關(guān)聯(lián)分析主要就是使用SQL語句來實(shí)現(xiàn)。由于數(shù)據(jù)庫系統(tǒng)都是基于磁盤來存儲(chǔ)數(shù)據(jù)的，包括它的各種性能優(yōu)化都是基于磁盤訪問來設(shè)計(jì)的，因而，借助數(shù)據(jù)庫的關(guān)聯(lián)分析引擎無論如何也難以保證分析性能。例如一個(gè)關(guān)聯(lián)規(guī)則需要在1秒鐘內(nèi)通過SQL語句獲取10個(gè)數(shù)據(jù)，那么關(guān)聯(lián)分析引擎就需要在1秒內(nèi)進(jìn)行10次磁盤存取，難以符合高性能的要求。

有的內(nèi)存數(shù)據(jù)庫系統(tǒng)雖然可以在性能上有所提升，但是由于數(shù)據(jù)庫的表、字段、索引等設(shè)施都是為了事務(wù)（Transaction）處理而設(shè)計(jì)的，難以高效的處理具有流性質(zhì)的數(shù)據(jù)（事件）。必須指出的是，流數(shù)據(jù)具有一次寫多次讀（WORM）的特性。

更重要地，使用數(shù)據(jù)庫來實(shí)現(xiàn)關(guān)聯(lián)分析引擎無法真正實(shí)現(xiàn)模式匹配?？紤]如下一個(gè)常見的模式匹配要求：“請(qǐng)找出在1分鐘內(nèi)登錄服務(wù)器X失敗達(dá)到3次以上的源IP”。如果利用數(shù)據(jù)庫來實(shí)現(xiàn)，那么關(guān)聯(lián)分析引擎將不得不每隔一個(gè)時(shí)間間隔去進(jìn)行SQL訪問，找到某個(gè)時(shí)刻符合要求的事件記錄（如上圖所示）?？梢?，在這種方式，難以滿足實(shí)時(shí)不間斷關(guān)聯(lián)分析的要求。

也許設(shè)計(jì)者會(huì)考慮使用數(shù)據(jù)庫的觸發(fā)器。但是，數(shù)據(jù)庫觸發(fā)器也不是為了處理流數(shù)據(jù)而設(shè)計(jì)，無法為觸發(fā)器設(shè)定復(fù)雜的關(guān)聯(lián)規(guī)則條件。

因此，一個(gè)事件關(guān)聯(lián)分析引擎必須采用新的技術(shù)——流數(shù)據(jù)處理技術(shù)來實(shí)現(xiàn)。

如上圖所示，是一個(gè)基于流數(shù)據(jù)處理的關(guān)聯(lián)分析引擎工作示意圖。首先，這個(gè)關(guān)聯(lián)分析引擎是在內(nèi)存中進(jìn)行的，關(guān)聯(lián)分析引擎分析的事件流是在內(nèi)存中，與事件入庫持久化存儲(chǔ)分離。其次，關(guān)聯(lián)分析引擎是一個(gè)不間斷工作的實(shí)時(shí)引擎。它不斷地讀取事件流，利用狀態(tài)機(jī)（State Machine）的技術(shù)進(jìn)行模式匹配（Pattern Match），實(shí)現(xiàn)實(shí)時(shí)事件關(guān)聯(lián)。

在這個(gè)技術(shù)原型架構(gòu)之下，事件流相對(duì)于關(guān)聯(lián)分析引擎就相當(dāng)于一個(gè)“流數(shù)據(jù)庫”（Steaming Database）。這個(gè)流數(shù)據(jù)庫與傳統(tǒng)的關(guān)系型數(shù)據(jù)庫具有以下區(qū)別：

因此，基于數(shù)據(jù)庫的關(guān)聯(lián)分析引擎只能是一個(gè)被動(dòng)工作的引擎、基于對(duì)數(shù)據(jù)的查詢，是離散的，不連續(xù)的，難以保證效率和實(shí)時(shí)性。而基于流數(shù)據(jù)的關(guān)聯(lián)分析引擎則是一個(gè)主動(dòng)工作的引擎，基于事件查詢和模式匹配，是連續(xù)的，能夠保證效率和實(shí)時(shí)性。

對(duì)于安全管理平臺(tái)（SoC）而言，在利用關(guān)聯(lián)分析引擎進(jìn)行實(shí)時(shí)事件分析的同時(shí)，也具備對(duì)事件進(jìn)行歷史分析的功能。因而，在安全管理平臺(tái)中，數(shù)據(jù)庫也是需要的，數(shù)據(jù)存儲(chǔ)也是需要的，并且用于進(jìn)行歷史事件挖掘（Data Mining）、模式發(fā)現(xiàn)（Pattern Discovery）等。

除了要基于流數(shù)據(jù)處理技術(shù)，關(guān)聯(lián)分析引擎還必須具備一套較為完備的模式匹配技術(shù)。模式匹配就是基于規(guī)則的狀態(tài)機(jī)系統(tǒng)。

4 網(wǎng)神SMART事件關(guān)聯(lián)分析引擎架構(gòu)

作為一個(gè)關(guān)聯(lián)分析引擎的實(shí)例，下面簡要介紹一下網(wǎng)御神州的SMART引擎架構(gòu)。

網(wǎng)御神州經(jīng)過多年的研究與開發(fā)，早在2006年就研制成功了一套獨(dú)具特色的事件關(guān)聯(lián)分析引擎，即SecFox獨(dú)有的基于安全監(jiān)測、告警和響應(yīng)技術(shù)（Security Monitor, Alert and Response Technology，簡稱SMART）的事件關(guān)聯(lián)分析引擎。在關(guān)聯(lián)規(guī)則的驅(qū)動(dòng)下，SMART事件關(guān)聯(lián)分析引擎能夠?qū)Ａ渴录鲗?shí)時(shí)高速地進(jìn)行多種方式的事件關(guān)聯(lián)，包括統(tǒng)計(jì)關(guān)聯(lián)、時(shí)序關(guān)聯(lián)、單事件關(guān)聯(lián)、多事件關(guān)聯(lián)、遞歸關(guān)聯(lián)，等等。作為國內(nèi)絕對(duì)領(lǐng)先的事件關(guān)聯(lián)分析核心技術(shù)，SMART引擎已經(jīng)申請(qǐng)了多項(xiàng)專利技術(shù)，擁有完全自主知識(shí)產(chǎn)權(quán)。

如下圖所示，給出了SMART引擎的總體架構(gòu)。

SMART引擎最大的特色是充分利用了多核CPU的并行處理能力，實(shí)現(xiàn)了高性能的模式匹配。目前，該引擎已經(jīng)應(yīng)用于網(wǎng)神SecFox安全管理系列產(chǎn)品，包括作為下一代安全管理平臺(tái)（SoC2.0）的SecFox-UMS統(tǒng)一管理系統(tǒng)，以及SecFox-LAS日志審計(jì)系統(tǒng)和SecFox-NBA數(shù)據(jù)庫審計(jì)系統(tǒng)。在日志審計(jì)的時(shí)候，SMART充當(dāng)了日志合規(guī)性審計(jì)引擎，而在數(shù)據(jù)庫審計(jì)的時(shí)候，SMART充當(dāng)了行為審計(jì)引擎。對(duì)于網(wǎng)神SecFox安全管理系統(tǒng)中的SMART引擎，在采用雙Intel XEON4核CPU、4GB內(nèi)存、無RAID的基準(zhǔn)硬件配置下，前端的事件收集性能峰值超過30000EPS（Event per Second，事件數(shù)每秒，簡稱EPS），事件關(guān)聯(lián)分析性能達(dá)到6000EPS（開啟默認(rèn)規(guī)則）。并且，隨著硬件配置提升，性能還能繼續(xù)提高。

5 SoC2.0時(shí)代的事件關(guān)聯(lián)分析及其應(yīng)用

在SoC2.0時(shí)代，安全將更加緊密地與客戶業(yè)務(wù)進(jìn)行融合，不僅體現(xiàn)在風(fēng)險(xiǎn)與運(yùn)維管理的思想和方法論上，更體現(xiàn)在安全管理平臺(tái)的落地上。

在SoC2.0時(shí)代的初期，安全管理平臺(tái)首先將成為一個(gè)面向業(yè)務(wù)的系統(tǒng)，即針對(duì)承載業(yè)務(wù)運(yùn)行的IT支撐系統(tǒng)及其資源進(jìn)行監(jiān)測、分析和運(yùn)維。在這個(gè)時(shí)期，安全管理平臺(tái)的關(guān)聯(lián)分析引擎更多地是對(duì)來自IT資源的工作日志和告警事件進(jìn)行相關(guān)性分析，分析業(yè)務(wù)系統(tǒng)運(yùn)行是否正常，是否面臨惡意攻擊，是否發(fā)生了信息泄漏。

在SoC2.0的第二個(gè)階段，安全管理平臺(tái)在實(shí)現(xiàn)IT安全管理的同時(shí)，將更多地成為一個(gè)IT安全合規(guī)管理平臺(tái)。此時(shí)，安管平臺(tái)的關(guān)聯(lián)分析引擎將針對(duì)IT資源日志中與業(yè)務(wù)相關(guān)的信息，以及部分業(yè)務(wù)自身運(yùn)行日志進(jìn)行相關(guān)性分析，發(fā)現(xiàn)業(yè)務(wù)人員的操作異?；蜻`規(guī)。例如，發(fā)現(xiàn)內(nèi)部IT人員竊取公司的員工工資數(shù)據(jù)庫信息，修改公司的客戶記錄，等等。

在SoC2.0的第三個(gè)階段，安全管理平臺(tái)將與業(yè)務(wù)深度融合，實(shí)現(xiàn)針對(duì)業(yè)務(wù)的安全管理，成為一個(gè)業(yè)務(wù)風(fēng)險(xiǎn)與合規(guī)管理平臺(tái)。例如，借助此時(shí)的關(guān)聯(lián)分析引擎去發(fā)現(xiàn)異常的銀行交易，協(xié)助銀行識(shí)別金融欺詐或者洗錢交易。

注意，SoC2.0的這三個(gè)發(fā)展階段不是替代關(guān)系，而是覆蓋關(guān)系，安全管理平臺(tái)的外延將不斷擴(kuò)大，逐步與業(yè)務(wù)融合。

由上不難發(fā)現(xiàn)，事件關(guān)聯(lián)分析將始終作為安全管理平臺(tái)的核心技術(shù)，不斷向前發(fā)展。而一個(gè)成熟的、高速的、實(shí)時(shí)關(guān)聯(lián)分析引擎將構(gòu)筑起安全管理平臺(tái)的核心競爭力。

6 小結(jié)

本文詳細(xì)闡述了安全管理平臺(tái)（SoC）下的安全事件關(guān)聯(lián)分析及其核心技術(shù)，以及關(guān)聯(lián)分析引擎的作用、設(shè)計(jì)思想和基本技術(shù)架構(gòu)。

按照SoC2.0的基本要求，事件關(guān)聯(lián)分析引擎是整個(gè)安全管理架構(gòu)的核心技術(shù)，具有舉足輕重的作用，安全管理平臺(tái)自動(dòng)化、精確化、實(shí)時(shí)化水平的提升很大程度上有賴于事件關(guān)聯(lián)分析引擎。

當(dāng)然，對(duì)于安全管理平臺(tái)而言，僅有關(guān)聯(lián)分析引擎還是遠(yuǎn)遠(yuǎn)不夠的，還需要其他各部分平臺(tái)組件的配合，并且還需要不同角色的參與者的支持。安全管理平臺(tái)要能夠真正得以運(yùn)用，除了需要平臺(tái)及其引擎的開發(fā)者參與，還需要能夠?qū)懗鲫P(guān)聯(lián)規(guī)則的領(lǐng)域知識(shí)專家，需要負(fù)責(zé)系統(tǒng)實(shí)施前期規(guī)劃的業(yè)務(wù)領(lǐng)域?qū)＜?、?xiàng)目實(shí)施與運(yùn)維團(tuán)隊(duì)。當(dāng)然，一定還需要用戶的參與?？梢姡踩芾砥脚_(tái)是一個(gè)很大的用例（Use Case）。