天融信服務(wù)世博之信息安全管理平臺事件數(shù)據(jù)標(biāo)準(zhǔn)化方法
一:背景概述
信息化在推動上海世博會業(yè)務(wù)更好更快的發(fā)展上起到了不可替代的作用,但同時上海世博會在信息化建設(shè)中也面臨著許多的信息安全威脅,如邊界安全風(fēng)險,主要包括黑客攻擊、垃圾郵件等;內(nèi)網(wǎng)安全風(fēng)險,主要包括主機(jī)系統(tǒng)漏洞、服務(wù)配置不當(dāng)?shù)龋粦?yīng)用風(fēng)險,主要包括Web服務(wù)器、文件服務(wù)器安全風(fēng)險等。所以,對上海世博局來說,重視和加強(qiáng)信息化安全整體監(jiān)控的建設(shè)刻不容緩。
而建立統(tǒng)一的信息安全監(jiān)控平臺需要與世博會各個業(yè)務(wù)系統(tǒng)提供商、網(wǎng)絡(luò)服務(wù)提供商、安全服務(wù)提供商、以及相關(guān)部門進(jìn)行有序的技術(shù)協(xié)商和安全管理思路的融合,同時日志標(biāo)準(zhǔn)化的工作面臨著時間緊、責(zé)任大、技術(shù)難度高等一系列問題,安全監(jiān)控平臺技術(shù)進(jìn)展面臨著很大的考驗(yàn)。
二:四因素制約事件數(shù)據(jù)標(biāo)準(zhǔn)化
第41屆上海世博會是歷史上參與國家最多、參觀人員最多的一次。支持此次盛會的信息系統(tǒng)非常復(fù)雜,這對信息安全提出了非常高的要求。
對于支撐、保障這些業(yè)務(wù)系統(tǒng)正常運(yùn)行的網(wǎng)絡(luò)設(shè)備、安全設(shè)備、系統(tǒng)、數(shù)據(jù)庫等產(chǎn)生的事件數(shù)據(jù)全球沒有統(tǒng)一標(biāo)準(zhǔn),世博局設(shè)備種類眾多,各個廠家設(shè)備的事件數(shù)據(jù)日志格式各異,功能各異,部署地點(diǎn)不在同一安全域,采集方式多異,歸并難度大,強(qiáng)度高,事件流路徑復(fù)雜等。這為事件數(shù)據(jù)采集、過濾、歸并、關(guān)聯(lián)帶來的很大的技術(shù)挑戰(zhàn)。
品牌各異:上海世博會為了通過信息化支撐業(yè)務(wù)系統(tǒng),采購了大量的不同品牌的產(chǎn)品,如微軟、IBM、CISCO、華為等等。
產(chǎn)品功能各異:操作系統(tǒng)、數(shù)據(jù)庫、存儲、路由器、交換機(jī)、防火墻、UTM、網(wǎng)閘
部署地點(diǎn)各異:安全管理域、互聯(lián)網(wǎng)域、周家渡、行政中心機(jī)房等
事件內(nèi)容各異:各個廠家都有自己的自定義字段
事件發(fā)送方式各異:snmp syslog wmi opsec 等,甚至有些廠家沒有提供顯示的日志發(fā)送功能(通過二次開發(fā)融合)。
三:從四方面入手解決事件數(shù)據(jù)標(biāo)準(zhǔn)化的問題
經(jīng)過細(xì)致深入的討論研究后,攻關(guān)團(tuán)隊(duì)將問題分解為4個方面,分別著手解決日志標(biāo)準(zhǔn)化的問題。這4個部分是:
1.數(shù)據(jù)采集方法的標(biāo)準(zhǔn)化
攻關(guān)團(tuán)隊(duì)在原有的基礎(chǔ)上完善了系統(tǒng)的數(shù)據(jù)采集層。新的數(shù)據(jù)采集層能夠?qū)崿F(xiàn)對各類安全設(shè)備的安全數(shù)據(jù)的采集,在組成形式上數(shù)據(jù)采集層可以由多種形式的采集功能組件組合構(gòu)成,支持分布式的采集處理架構(gòu)。
新的數(shù)據(jù)采集層支持對各類安全對象的標(biāo)準(zhǔn)接口協(xié)議的適配。實(shí)現(xiàn)對包括安全對象的配置、運(yùn) 行狀態(tài)、安全事件、脆弱性等數(shù)據(jù)的采集。數(shù)據(jù)采集層應(yīng)支持主流采集協(xié)議或接口方式,包括但不限于:
Syslog:采集Unix,支持Syslog協(xié)議的防火墻、路由器、交換機(jī)、防病毒和IDS等系統(tǒng)或設(shè)備;
SNMP、SNMPTrap V1、V2、V3:采集支持Snmp協(xié)議的防火墻、路由器、交換機(jī)、防病毒、終端補(bǔ)丁、IDS和應(yīng)用系統(tǒng)等系統(tǒng)或設(shè)備;
OPSEC:采集CheckPoint防火墻的日志;#p#
ODBC/JDBC:采集存儲到于關(guān)系型數(shù)據(jù)庫的應(yīng)用系統(tǒng)日志;
通用文件:支持基于文件的日志采集,能夠通過模板配置完成日志記錄的格式化;
專用日志采集接口:對僅支持專用管理接口的系統(tǒng),能夠支持多種專用API采集接口和通用的采集調(diào)度能力,例如脆弱性掃描系統(tǒng)的API或接口XML文件、Windows的WMI;
2.原始事件格式標(biāo)準(zhǔn)化:
安全事件采集過程收集到多種類型的原始事件信息,而這些原始事件的格式和內(nèi)容不盡相同。攻關(guān)團(tuán)隊(duì)開發(fā)了一套基于數(shù)據(jù)格式和數(shù)據(jù)映射腳本的數(shù)據(jù)標(biāo)準(zhǔn)方法和過程。數(shù)據(jù)格式化腳本,用于按照需要對數(shù)據(jù)進(jìn)行靈活的拆分、組裝,實(shí)現(xiàn)數(shù)據(jù)格式化。數(shù)據(jù)映射腳本,用于將格式后的數(shù)據(jù)進(jìn) 行語義表達(dá),實(shí)現(xiàn)數(shù)據(jù)映射。最終實(shí)現(xiàn)數(shù)據(jù)歸一化。與傳統(tǒng)的基于插件的數(shù)據(jù)標(biāo)準(zhǔn)方法相比,具有開發(fā)、維護(hù)難度小,快速靈活適應(yīng)客戶化等特點(diǎn)。
事件標(biāo)準(zhǔn)化過程將不同的事件數(shù)據(jù)格式轉(zhuǎn)換成標(biāo)準(zhǔn)的事件格式并對其分類與存儲,能夠?yàn)樯蠈痈鞣治瞿K提供數(shù)據(jù)支持。
經(jīng)標(biāo)準(zhǔn)化處理后的各事件包括以下屬性:
序號
|
名稱
|
是否必需
|
說明
|
1.
|
發(fā)送安全事件的設(shè)備地址
|
是
|
發(fā)送該事件的設(shè)備地址。
|
2.
|
發(fā)送安全事件的系統(tǒng)類型
|
是
|
該設(shè)備的設(shè)備類型名稱。
|
3.
|
事件名稱
|
是
|
格式如 “HTTP_讀命令”
|
4.
|
協(xié)議類型
|
否
|
涉及網(wǎng)絡(luò)協(xié)議的事件必填。參照常用協(xié)議類型表,未列出的自行填寫。
|
5.
|
特征串
|
是
|
詳細(xì)事件特征串
|
6.
|
事件源IP
|
否
|
按網(wǎng)絡(luò)字節(jié)序存
|
7.
|
事件目的IP
|
是
|
按網(wǎng)絡(luò)字節(jié)序存。在病毒、蠕蟲類事件中,為感染這些惡意代碼的系統(tǒng)IP。
|
8.
|
事件源端口
|
否
|
按網(wǎng)絡(luò)字節(jié)序存
|
9.
|
事件目的端口
|
否
|
按網(wǎng)絡(luò)字節(jié)序存
|
10.
|
發(fā)送流量
|
否
|
發(fā)送的流量。異常流量事件必填。
|
11.
|
接收流量
|
否
|
接收的流量。異常流量事件必填
|
12.
|
發(fā)送流量單位
|
否
|
如有發(fā)送流量,必填。其中,0:KB;1:MB。
|
13.
|
接收流量單位
|
否
|
如有發(fā)送流量,必填。其中,0:KB;1:MB。
|
14.
|
進(jìn)入數(shù)據(jù)包數(shù)
|
否
|
接收數(shù)據(jù)包數(shù)量。異常流量事件必填。
|
15.
|
離開數(shù)據(jù)包數(shù)
|
否
|
發(fā)送數(shù)據(jù)包數(shù)量。異常流量事件必填。
|
16.
|
事件相關(guān)域名和URL
|
否
|
網(wǎng)頁掛馬、域名劫持、CGI攻擊、網(wǎng)絡(luò)仿冒等涉及域名和URL的事件必填
|
17.
|
原始危害等級
|
否
|
直接取原始事件中的某個字符串在初始化部分賦給它即可
|
18.
|
歸并數(shù)量
|
是
|
多個事件歸并的數(shù)量
|
19.
|
事件內(nèi)容
|
是
|
事件內(nèi)容描述(從原始日志中提取得關(guān)鍵字),例如Syslog包所有原始內(nèi)容
|
以上是安全事件屬性的基本內(nèi)容,其他屬性可以作為對安全事件描述的輔助屬性。
安全事件的屬性是可以擴(kuò)展訂制的,擴(kuò)展屬生與基本屬性都可以參與事件的標(biāo)準(zhǔn)化、邏輯判斷、條件查詢、報表輸出等。
3.原始事件過濾標(biāo)準(zhǔn)化。
為了從海量的事件中進(jìn)行有針對性的分析,攻關(guān)團(tuán)隊(duì)優(yōu)化了安管平臺的事件有過濾功能。事件過濾功能可以對接入的已經(jīng)標(biāo)準(zhǔn)化的安全事件進(jìn)行進(jìn)一步過濾篩選。安全事件過濾規(guī)則包含以下屬性:
過濾規(guī)則名稱:對過濾規(guī)則的描述;
過濾條件:設(shè)定安全事件應(yīng)該滿足的條件;
響應(yīng)方式:對滿足條件的安全事件的處理方式;
下面對安全事件過濾中的過濾條件、響應(yīng)方式、以及安全事件調(diào)整進(jìn)行統(tǒng)一要求。#p#
A.過濾條件
安全事件的過濾條件,根據(jù)標(biāo)準(zhǔn)化的安全事件的基本屬性,過濾條件至少可以按照以下屬性進(jìn)行過濾:
安全事件名稱;模糊匹配方式,比如包含、等于、等;
設(shè)備地址;地址匹配方式,比如等于;
設(shè)備類型名稱;模糊匹配方式,比如包含、等于、等;
源地址;地址匹配方式,比如等于;
源端口;數(shù)字匹配方式,比如等于、大于、等;
目的地址;地址匹配方式,比如等于;
目的端口;數(shù)字匹配方式,比如等于、大于、等;
B.事件處理方式
安全事件過濾完成后,需要進(jìn)行進(jìn)一步的處理,這種處理是對滿足過濾條件的事件響應(yīng)方式,安全事件的過濾響應(yīng)方式至少應(yīng)包括以下方式:
丟棄:直接對滿足條件的安全事件丟棄,不再寫入數(shù)據(jù)庫,也不再進(jìn)一步處理;
寫入數(shù)據(jù)庫:對滿足條件的安全事件存入數(shù)據(jù)庫,作進(jìn)一步的處理;
4.原始事件歸并標(biāo)準(zhǔn)化。
對于過濾后的安全事件,仍然存在很多重復(fù)或者相似的事件。所以事件數(shù)據(jù)標(biāo)準(zhǔn)化的第四個方面是對事件進(jìn)行歸并。歸并規(guī)則,就是在什么情況下,滿足什么條件,對哪些字段進(jìn)行歸并。
事件歸并功能可以對海量的安全事件依據(jù)歸并條件進(jìn)行歸并,達(dá)到簡化安全事件,提高安全事件準(zhǔn)確率。
A.安全事件歸并規(guī)則應(yīng)該包含以下屬性
歸并規(guī)則名稱:對過濾規(guī)則的描述;
歸并條件:設(shè)定安全事件應(yīng)該滿足的條件;
歸并字段:歸并處理的事件字段,所列字段內(nèi)容相同的事件才進(jìn)行歸并,比如安全事件的名稱,設(shè)備地址等事件基本屬性;
歸并時間:歸并事件的時間窗口,指多長時間進(jìn)行一次歸并;
歸并數(shù)目:需要?dú)w并事件的數(shù)量,指多少事件進(jìn)行一次歸并;
對被歸并事件的處理方式:被歸并的事件以何種方式進(jìn)行處理;
B.被歸并事件的處理方式
阻塞方式:直接將被歸并事件全部丟棄,不寫入數(shù)據(jù)庫;
非阻塞方式:將被歸并事件全部寫入數(shù)據(jù)庫;
C.可定義的歸并策略如下
根據(jù)事件名稱進(jìn)行歸并分析;
根據(jù)事件類型進(jìn)行歸并分析;
根據(jù)源進(jìn)程進(jìn)行歸并分析;
根據(jù)目標(biāo)進(jìn)程進(jìn)行歸并分析;
根據(jù)攻擊源進(jìn)行歸并分析;
根據(jù)攻擊目標(biāo)地址進(jìn)行歸并分析;
根據(jù)事件原始時間進(jìn)行歸并分析;
根據(jù)受攻擊設(shè)備類型進(jìn)行歸并分析。
四:實(shí)際運(yùn)行效果
通過不斷研究和探索,技術(shù)攻關(guān)團(tuán)隊(duì)成功了解決了世博信息系統(tǒng)中海量的、復(fù)雜的安全事件信息的標(biāo)準(zhǔn)化難題。為世博安全管理平臺的運(yùn)營打下了堅實(shí)的基礎(chǔ)。以下是一些運(yùn)營數(shù)據(jù):
世博安管平臺中目前共有收集了16大類67個設(shè)備的安全事件數(shù)據(jù)。每天收集的總?cè)罩玖吭?00W條左右。每天的安全事件約4400條,每周約3W條。其中每周內(nèi)網(wǎng)事件約5400條,外網(wǎng)攻擊的事件約24600。其中,WEB攻擊占83%。
從這些安全事件中,通過分析系統(tǒng)每天發(fā)出攻擊告警約300次,處理約50次,每天封鎖約2個IP。
主機(jī)狀態(tài)告警,每月約200次,處理約60次,另外140次是系統(tǒng)正常啟動造成。
病毒告警,約100次,處理了60次,定位了20個IP。