[[329763]]

作者介紹：

朱林，日志及數(shù)據(jù)分析專家，《Elasticsearch技術(shù)解析與實(shí)戰(zhàn)》作者，對(duì)安全技術(shù)、數(shù)據(jù)分析有較深的研究，擁有15年數(shù)據(jù)分析及安全產(chǎn)品開(kāi)發(fā)經(jīng)驗(yàn)。

引言

在很多安全分析類產(chǎn)品建設(shè)的過(guò)程中都會(huì)涉及到關(guān)聯(lián)分析，比如日志分析、soc、態(tài)勢(shì)感知、風(fēng)控等產(chǎn)品。之前的文章中闡述過(guò)五種最常見(jiàn)的關(guān)聯(lián)分析模型，在文中也介紹了：要想達(dá)到很好的關(guān)聯(lián)分析效果，前提是對(duì)采集過(guò)來(lái)的日志進(jìn)行標(biāo)準(zhǔn)化解析。解析的維度越多、內(nèi)容越準(zhǔn)確，對(duì)關(guān)聯(lián)分析的支撐性就越強(qiáng)。下面就來(lái)介紹一下日志解析的一些常用內(nèi)容。

一、概述

很多公司在自己的產(chǎn)品介紹中描述產(chǎn)品有多少種日志解析規(guī)則等等，當(dāng)然，這種內(nèi)置的解析規(guī)則對(duì)這類產(chǎn)品發(fā)揮了很重要的作用。但這種方式也存在一些問(wèn)題：

首先，經(jīng)過(guò)時(shí)間的推移就會(huì)發(fā)現(xiàn)，每年市場(chǎng)上都會(huì)產(chǎn)生不少的新的安全設(shè)備和型號(hào)，導(dǎo)致廠家很難實(shí)現(xiàn)全部預(yù)制好的解析規(guī)則；

其次，很多設(shè)備會(huì)經(jīng)常升級(jí)，升級(jí)后會(huì)導(dǎo)致日志種類的增加和調(diào)整；

最后，很多設(shè)備的日志種類非常之多，如果全部?jī)?nèi)置到系統(tǒng)中，幾乎是不可能完成的任務(wù)。所以大多數(shù)的產(chǎn)品，只內(nèi)置了部分的日志解析規(guī)則。比如思科ASA防火墻日志從官網(wǎng)看就有好幾百種日志格式，如果內(nèi)置都解析，是很大的工作量，何況有時(shí)候也沒(méi)有必要全部解析。

根據(jù)以上分析可以得出，只在產(chǎn)品中內(nèi)置默認(rèn)的解析規(guī)則是不夠的，在很多時(shí)候需要根據(jù)客戶的實(shí)際環(huán)境進(jìn)行調(diào)整。這種情況下，日志解析的靈活性、準(zhǔn)確性、擴(kuò)展性就顯得非常重要了。下面介紹一下日志解析中常用的內(nèi)容：

二、日志解析關(guān)鍵點(diǎn)

標(biāo)準(zhǔn)化解析，也叫范式化解析，解析的目標(biāo)是把日志中的直接信息和間接信息解析出來(lái)，作為單獨(dú)的字段進(jìn)行存儲(chǔ)。對(duì)應(yīng)數(shù)據(jù)庫(kù)中就是“列”的概念。傳統(tǒng)上來(lái)說(shuō)，存儲(chǔ)大多用關(guān)系數(shù)據(jù)庫(kù)，比如：oracle、mysql。隨著大數(shù)據(jù)平臺(tái)的發(fā)展，最近幾年，存儲(chǔ)都是放在大數(shù)據(jù)平臺(tái)上的，比如：hive、，elasticsearch等。下面舉個(gè)linux下一條常用的登錄日志作為例子：

May 22 17:13:01 10-9-83-151 sshd[17422]: Accepted password for secisland from 129.74.226.122 port 64485 ssh2 

從這個(gè)日志中就可以看到很多的信息，比如直接信息包括：

• 登錄時(shí)間：May 22 17:13:01；
• 主機(jī)名：10-9-83-151；
• 進(jìn)程名：sshd；
• 進(jìn)程ID：17422；
• 事件類型：登錄（這個(gè)是根據(jù)內(nèi)容分析出來(lái)的）；
• 登錄用戶：secisland；
• 源ip：129.74.226.122；
• 端口：64485；
• 協(xié)議：ssh2。

間接信息主要包括：直接信息中體現(xiàn)不出來(lái)，但通過(guò)客戶環(huán)境的其他信息可以得到的信息，比如：

資產(chǎn)信息：通過(guò)設(shè)備IP地址可以得到設(shè)備的網(wǎng)絡(luò)域環(huán)境、所屬業(yè)務(wù)系統(tǒng)、部署的機(jī)房位置、設(shè)備管理人員等信息；

賬號(hào)信息：通過(guò)登錄賬號(hào)信息可以得到這個(gè)賬號(hào)授權(quán)給哪個(gè)人、賬號(hào)是否有效、賬號(hào)創(chuàng)建時(shí)間等信息。源ip相關(guān)信息：如果是公網(wǎng)，可以得到IP的地理信息，包括國(guó)家省市、IP的經(jīng)緯度、從情報(bào)中可以得到這個(gè)IP是否是高危IP等；如果這個(gè)IP是內(nèi)網(wǎng)，可以得到這個(gè)IP的部署位置、分配給哪個(gè)人、網(wǎng)絡(luò)域信息、業(yè)務(wù)信息等。

通過(guò)上面分析后，把每個(gè)字段存儲(chǔ)到數(shù)據(jù)庫(kù)中，這樣日志的信息就很豐富了，為后面的關(guān)聯(lián)分析、統(tǒng)計(jì)報(bào)表等打下了堅(jiān)實(shí)的基礎(chǔ)。

解析的關(guān)鍵點(diǎn)如上所述，但在日志解析的實(shí)際操作階段有幾個(gè)不可回避的問(wèn)題：

• 預(yù)解析和后解析；
• 自定義解析的靈活性；
• 自定義解析支持的靈活性；
• 自定義解析的效率。

2.1 預(yù)解析和后解析

預(yù)解析的主要含義是，在入庫(kù)之前把所有維度的信息預(yù)先解析出來(lái)，然后進(jìn)行入庫(kù)；后解析的主要含義是反過(guò)來(lái)的，就是剛開(kāi)始只入庫(kù)原始日志等基本信息，后面需要進(jìn)行搜索、告警、報(bào)表等操作的時(shí)候再解析，把需要的維度放在內(nèi)存中進(jìn)行分析。

預(yù)解析的優(yōu)勢(shì)是預(yù)先把維度存儲(chǔ)到數(shù)據(jù)庫(kù)中，使后面的操作更加便捷，劣勢(shì)是需要額外占用存儲(chǔ)空間，并且當(dāng)預(yù)先解析內(nèi)容不準(zhǔn)確或者內(nèi)容有變化的時(shí)候，無(wú)法進(jìn)行下一步的分析（比如賬號(hào)信息發(fā)生了變化）；后解析的優(yōu)缺點(diǎn)正好和預(yù)解析相反。目前市場(chǎng)上絕大多數(shù)的產(chǎn)品都是預(yù)解析，純后解析的產(chǎn)品幾乎沒(méi)有。

比較理想的解析方式是預(yù)解析和后解析相結(jié)合，目前市場(chǎng)上只有少量產(chǎn)品支持這種特性。這種特性結(jié)合了兩者的優(yōu)點(diǎn)，缺點(diǎn)又相對(duì)能接受，可以達(dá)到一個(gè)比較好的平衡。但這種方式為什么市場(chǎng)上用的少呢？據(jù)我分析，主要的原因是這種模式過(guò)于復(fù)雜。

首先是操作復(fù)雜，這種模式要求使用者掌握一些相關(guān)技能；其次是技術(shù)復(fù)雜，目前應(yīng)用較廣的大數(shù)據(jù)平臺(tái)技術(shù)，對(duì)關(guān)聯(lián)查詢的支持不是特別理想，比如Elasticsearch目前對(duì)關(guān)聯(lián)查詢就非常繁瑣。但是這種預(yù)解析和后解析相結(jié)合的方式在應(yīng)用上優(yōu)勢(shì)明顯，是日志解析未來(lái)的發(fā)展趨勢(shì)。

其他問(wèn)題可以通過(guò)特殊手段來(lái)解決，比如：可以把繁瑣的操作封裝在產(chǎn)品中，隱藏在操作的后臺(tái)；如果用關(guān)系數(shù)據(jù)庫(kù)，倒是容易解決后處理的問(wèn)題，但是多數(shù)關(guān)系數(shù)據(jù)庫(kù)的處理能力和目前的大數(shù)據(jù)平臺(tái)還是有較大差距，可以在日志數(shù)量不大的時(shí)候使用。

2.2 自定義解析的靈活性

通過(guò)前面的分析得知，日志標(biāo)準(zhǔn)化解析在這類產(chǎn)品中的地位舉足輕重。如何把日志解析的能力提供出來(lái)，就顯得尤為重要，目前自定義解析的方式主要有幾種方式：

• 通過(guò)編碼實(shí)現(xiàn)。直接在代碼中處理，編譯發(fā)布，這種方式對(duì)廠家來(lái)說(shuō)最靈活，但對(duì)使用者來(lái)說(shuō)最麻煩，因?yàn)閹缀鯖](méi)有辦法進(jìn)行調(diào)整；
• 通過(guò)配置文件實(shí)現(xiàn)。比如logstash中配置input，filter，output等，這種方式解決了用戶不能直接調(diào)整的問(wèn)題，非常方便。但這種情況只能登錄后臺(tái)查看配置文件，如果安裝的比較多，調(diào)整修改起來(lái)會(huì)稍顯繁瑣；
• 通過(guò)工具生成。比如之前版本的symantec的ssim平臺(tái)，通過(guò)他們提供的工具實(shí)現(xiàn)進(jìn)行配置，繼而導(dǎo)出他們產(chǎn)品能識(shí)別的安裝包，最后安裝到平臺(tái)中。這種方式本質(zhì)上是前面兩種解析方式的結(jié)合，比較靈活。唯一的缺點(diǎn)，是解析查看的時(shí)候需要借助工具，如果有修改或者添加的操作，需要重新部署一遍；
• 通過(guò)腳本實(shí)現(xiàn)。腳本實(shí)現(xiàn)其實(shí)可以歸于編碼實(shí)現(xiàn)的一個(gè)特例，只是大多數(shù)腳本不用編譯，可以直接運(yùn)行。這種解析方式的優(yōu)點(diǎn)是比較靈活，缺點(diǎn)是對(duì)使用者要求較高，同樣調(diào)整修改起來(lái)較為麻煩；
• 通過(guò)界面配置的方式實(shí)現(xiàn)。就是在平臺(tái)上直接進(jìn)行配置，比如splunk、secilog等，這種方式的優(yōu)點(diǎn)是比較靈活，從界面上配置非常方便。

根據(jù)上面的分析可以得知，通過(guò)界面配置的方式最優(yōu)，其次是通過(guò)配置文件，最劣的是通過(guò)代碼實(shí)現(xiàn)。

2.3 自定義解析支持的靈活性

下面介紹自定義解析的具體關(guān)鍵點(diǎn)，主要包括存儲(chǔ)結(jié)構(gòu)、語(yǔ)法支持、函數(shù)支持、多為支持、內(nèi)置分析、字典支持、數(shù)據(jù)補(bǔ)全、上下文關(guān)聯(lián)、外接知識(shí)庫(kù)等內(nèi)容。

• 存儲(chǔ)結(jié)構(gòu)：

常用的解析語(yǔ)法主要包括XML、配置文件、數(shù)據(jù)庫(kù)存儲(chǔ)，這幾種存儲(chǔ)結(jié)構(gòu)可以滿足大多數(shù)的場(chǎng)景需求，提供XML的存儲(chǔ)結(jié)構(gòu)的大多是通過(guò)工具進(jìn)行生成。

• 語(yǔ)法支持：

目前解析語(yǔ)法大多用的是grok或者類似grok語(yǔ)法的結(jié)構(gòu)，大多都支持正則表達(dá)式、函數(shù)等方式，從大的方面都支持，要對(duì)比解析的優(yōu)劣主要依靠細(xì)節(jié)。

• 函數(shù)支持：

字符串：

字符串提取，比如想在字符串123-445-789-012中提取445-789是否方便；

字符串拼接，比如兩個(gè)字段拼接成一個(gè)字段，add(sourceIp,eventId)；

字符串替換，比如把字符串中的-替換成空格，replaceAll (“-”,””)；

IF函數(shù)：

比如很多日志中可能是0表示成功，if(“0”,”success”,”fail”)；

• 多維度支持：

比如日志源IP信息，在解析的時(shí)候需要添加到目標(biāo)IP和日志源IP中；

• 內(nèi)置分析：

比如http請(qǐng)求中的useragent，這里面含有大量的信息，是否能把里面的瀏覽器、操作系統(tǒng)、版本等分析出來(lái)；

• 字典支持：

在日志中有很多數(shù)據(jù)是有含義的，尤其是業(yè)務(wù)日志，但在日志保存的時(shí)候很多日志存儲(chǔ)的是編碼，這個(gè)時(shí)候需要通過(guò)字典把編碼對(duì)應(yīng)的名稱添加進(jìn)來(lái)；

• 數(shù)據(jù)補(bǔ)全：

在日志中有直接含義也有間接含義的數(shù)據(jù)，比如日志源IP，需要知道這個(gè)IP是哪個(gè)人在用，屬于哪個(gè)部門的；比如日志中有賬號(hào)信息，需要了解這個(gè)賬號(hào)的部門，姓名等信息；

• 上下文關(guān)聯(lián)：

有很多日志會(huì)存在不一致的地方，比如sftp登錄日志中有賬號(hào)信息，但操作日志中沒(méi)有賬號(hào)信息，這個(gè)時(shí)候需要在操作日志中把登錄的賬號(hào)補(bǔ)全進(jìn)來(lái)，這樣才有利于進(jìn)一步的分析；

• 外接知識(shí)庫(kù)庫(kù)支持：

很多公網(wǎng)IP通過(guò)IP知識(shí)庫(kù)是可以知道國(guó)家、省、市、地理信息的，這個(gè)在做分析的時(shí)候比較有用；如果是內(nèi)網(wǎng)，可以通過(guò)配置國(guó)家、省、市、地理信息達(dá)到同樣的效果；

• 特殊邏輯處理

比如非上班時(shí)間處理的支持：國(guó)內(nèi)有法定假，法定假可能存在調(diào)休等，而且每年的法定假都不一樣，所以還要等到年底國(guó)家才能頒布下一年的法定休假的方案；很多客戶也有會(huì)調(diào)班的情況，這種情況的工作日和非工作日就比較特殊。在很多告警規(guī)則中都有非上班時(shí)間的訴求，比如非上班時(shí)間登錄服務(wù)器，非上班時(shí)間進(jìn)行了敏感文件操作等，這個(gè)時(shí)候?qū)Ψ巧习嗄芰Φ闹С志秃苤匾?/p>

[[329765]]

2.4 自定義解析的效率

日志解析使用不同的技術(shù)對(duì)效率的影響是不一樣的，目前主流的幾種方式主要有模板方式、正則表達(dá)式方式等。這幾種方式的效率有比較大的區(qū)別，模板方式的靈活性比正則表達(dá)式方式稍微低一些，但從效率上來(lái)看，模板方式比正則表達(dá)方式高很多。比較理想的方式是大部分解析用模板的方式去實(shí)現(xiàn)，少量復(fù)雜的解析用正則表達(dá)式的方式去實(shí)現(xiàn)。這樣就達(dá)到了靈活性和效率之間的平衡。

上面列出了日志解析的常用關(guān)鍵內(nèi)容，這些內(nèi)容支持的靈活性越高越好。在實(shí)施SOC、態(tài)勢(shì)感知等產(chǎn)品的時(shí)候，經(jīng)常會(huì)花費(fèi)大量的時(shí)間在解析上面，如果能靈活支持，可以大幅度提高效率和效果。

三、小結(jié)

前面介紹的是目前日志標(biāo)準(zhǔn)化解析的一些關(guān)鍵內(nèi)容，可以作為安全分析產(chǎn)品中日志解析靈活性評(píng)判的一個(gè)參考。提高日志解析的準(zhǔn)確性、靈活性也是一個(gè)非常復(fù)雜的過(guò)程，這部分的處理對(duì)后續(xù)的關(guān)聯(lián)分析等起到非常重要的作用。日志解析存儲(chǔ)后，如何在海量數(shù)據(jù)中進(jìn)行搜索，也是個(gè)非常重要的問(wèn)題。

存儲(chǔ)只是解決了“有”的問(wèn)題，但如何更高效便捷地從中找到想要的數(shù)據(jù)，支持什么樣的接口可以讓客戶快速準(zhǔn)確地找到想要的內(nèi)容也是非常重要的，后面有時(shí)間再詳細(xì)介紹這方面的內(nèi)容。日志解析本身是一個(gè)比較復(fù)雜的話題，我盡量保證內(nèi)容觀點(diǎn)正確，但本人才學(xué)疏淺，文中若有不足之處歡迎大家批評(píng)指正。