一般的日志系統(tǒng),為了接收日志的效率，不去做日志的標(biāo)準(zhǔn)化工作，收集大量冗余日志在數(shù)據(jù)庫(kù)，而龐大的數(shù)據(jù)庫(kù)在檢索時(shí)導(dǎo)致效率越來越低，更別提自動(dòng)掃選出故障。當(dāng)故障發(fā)生后很長(zhǎng)時(shí)間，依然被動(dòng)的在數(shù)據(jù)庫(kù)中，人工查找可疑故障日志，效率低下。

然而，在OSSIM系統(tǒng)中不僅需要統(tǒng)一格式，而且要專門的屬性，這為系統(tǒng)中的關(guān)聯(lián)分析引擎的數(shù)據(jù)源奠定了良好的基礎(chǔ)，我們先看幾個(gè)典型字段及說明：

• Alarm 報(bào)警名稱
• Event id 安全事件編號(hào)
• Sensor id: 發(fā)出事件的傳感器編號(hào)
• Source IP :src_ip 安全事件源IP地址
• Source Port :src_port 安全事件源端口
• Type 類型分為兩類一類是detector，另一類是monitor
• Signature 觸發(fā)安全事件的特征值
• Reliability 安全事件的可信度(描述了一個(gè)檢測(cè)到的攻擊是否真的成功可能性，側(cè)面反映了安全事件的嚴(yán)重性質(zhì))

為了更好的學(xué)習(xí)以后要介紹的SIEM控制臺(tái)，下面先看幾個(gè)統(tǒng)一格式安全事件的實(shí)例，

在Redis服務(wù)器中處理大量的非結(jié)構(gòu)化數(shù)據(jù)，但最終經(jīng)過一系列規(guī)則檢測(cè)發(fā)出的報(bào)警，再經(jīng)過聚合后產(chǎn)生的聚合報(bào)警具有統(tǒng)一格式，并集中存儲(chǔ)在MySQL數(shù)據(jù)庫(kù)中。下面給出典型的記錄格式。

1)Raw Log典型記錄格式如圖1所示。

圖1 Raw Log記錄格式

2) SIEM事件歸一化記錄格式如圖2、圖3所示。

圖2 事件歸一化處理格式

圖3 SIEM記錄格式

在OSSIM中的事件是如何實(shí)現(xiàn)存儲(chǔ)呢?傳感器從各種網(wǎng)絡(luò)設(shè)備和服務(wù)器上通過Rsyslog收集原始日志，存儲(chǔ)在Sensor所在服務(wù)器的硬盤等待處理，當(dāng)收到日志后，安裝在探針服務(wù)器上的代理開始工作，利用事先設(shè)定好的安全插件開始對(duì)日志進(jìn)行預(yù)處理(也就是進(jìn)行歸一化處理)，流程如圖4所示。

圖4傳感器日志采集流程

Agent將插件收到的日志送往Server再進(jìn)行深度加工，將字段按照類別重新組合，成下面的格式(這樣就從RAW Log變成了歸一化處理的日志，歸一化處理格式如表1所示。

歸一化處理，重要字段含義如下：

• 源和目標(biāo)地址：在關(guān)聯(lián)分析中屬于很重要的內(nèi)容。
• 源和目標(biāo)端口：可以分析訪問和試圖訪問的那些服務(wù)端口。
• 消息分類： 根據(jù)用戶登錄成功或失敗或者嘗試的消息分類。
• 時(shí)間戳： 這里包括日志消息在設(shè)備上產(chǎn)生的時(shí)間和系統(tǒng)接收消息的時(shí)間(因?yàn)橛懈鞣N延遲存在，時(shí)間不同)。
• 優(yōu)先級(jí)： 例如網(wǎng)絡(luò)設(shè)備(交換機(jī))的日志包含了優(yōu)先級(jí)(設(shè)備供應(yīng)商制定)。作為規(guī)范化的一部分也需要日志包含優(yōu)先級(jí)。
• 接口： 通過那個(gè)網(wǎng)絡(luò)接口接收到的日志消息。

原始日志是規(guī)范化過程的一個(gè)重要環(huán)節(jié)，OSSIM在歸一化處理日志的同時(shí)也保留了原始日志，可用于日志歸檔，提供了一種從規(guī)范化事件中提取原始日志的手段。

經(jīng)過歸一化處理的日志，再通過TCP 3306端口存儲(chǔ)到MySQL數(shù)據(jù)庫(kù)中，接著就由關(guān)聯(lián)引擎根據(jù)規(guī)則、優(yōu)先級(jí)、可靠性等參數(shù)進(jìn)行交叉關(guān)聯(lián)分析，得出風(fēng)險(xiǎn)值并發(fā)出各種報(bào)警提示信息(詳情在后續(xù)章節(jié)再分析)。

圖5 日志存儲(chǔ)

接下來，我們?cè)倏磦€(gè)實(shí)例，下面是一段Apache的原始日志，如圖6所示。

圖6原始日志

先經(jīng)過OSSIM系統(tǒng)收集加工后，再通過Web前端展現(xiàn)給大家，方便閱讀的格式如圖7所示。歸一化處理后的事件和原始日志的對(duì)比方法我們?cè)诤竺孢€會(huì)講解。

圖7 歸一化處理以后的Apache訪問日志

在圖7所示的例子當(dāng)中，僅使用了Userdata1和Userdata2，并沒有用到Userdata3～Userdata9這些是擴(kuò)展位，主要是為了預(yù)留給其他設(shè)備或服務(wù)使用。

圖8 SIEM控制臺(tái)下的主機(jī)標(biāo)識(shí)形式

經(jīng)過歸一化處理之后，目標(biāo)地址會(huì)標(biāo)記成Host-IP地址的形式，例如：Host-192-168-0-1。實(shí)際上歸一化處理這種操作發(fā)生在系統(tǒng)采集和存儲(chǔ)事件之后，關(guān)聯(lián)和數(shù)據(jù)分析之前，在SIEM工具中把采集過程中把數(shù)據(jù)轉(zhuǎn)換成易讀懂的格式，如同圖7顯示的那樣，采用格式化的數(shù)據(jù)我們能更容易理解。如果您希望繼續(xù)學(xué)習(xí)有關(guān)安全事件標(biāo)準(zhǔn)化的技術(shù)請(qǐng)參考《開源安全運(yùn)維平臺(tái)-OSSIM最佳實(shí)踐》一書。

本文出自 “李晨光原創(chuàng)技術(shù)博客” 博客，謝絕轉(zhuǎn)載!