網(wǎng)絡(luò)流量模型的異常檢測(cè)方法
傳統(tǒng)入侵檢測(cè)的不足
隨著Internet的不斷發(fā)展，網(wǎng)絡(luò)安全已經(jīng)逐漸成為人們?cè)絹?lái)越關(guān)心的問(wèn)題，而入侵檢測(cè)系統(tǒng)是繼防火墻之后逐漸興起的防護(hù)手段之一，也越來(lái)越受廣大學(xué)者和工程人員的重視。
傳統(tǒng)的入侵檢測(cè)方法分為兩種：基于誤用檢測(cè)(misused-based)方法和基于異常檢測(cè)(anomaly-based)方法。前者需要攻擊樣本，通過(guò)描述每一種攻擊的特殊模式來(lái)檢測(cè)。該方法的查準(zhǔn)率很高，并且可提供詳細(xì)的攻擊類(lèi)型和說(shuō)明，是目前入侵檢測(cè)商業(yè)產(chǎn)品中使用的主要方法。然而經(jīng)過(guò)長(zhǎng)時(shí)間的研究和應(yīng)用，該方法也暴露出一定的弱點(diǎn)，由于基于特征的入侵檢測(cè)系統(tǒng)是依靠人為的預(yù)先設(shè)定報(bào)警規(guī)則來(lái)實(shí)現(xiàn)，所以在面對(duì)不斷變化的網(wǎng)絡(luò)攻擊時(shí)有其本身固有的缺陷，比如，利用這種方法時(shí)需要維護(hù)一個(gè)昂貴的攻擊模式庫(kù)、只能檢測(cè)已知的攻擊等。另一方面，攻擊者可以通過(guò)修改自己的攻擊特征模式來(lái)隱藏自己的行為，而且有些攻擊方法根本沒(méi)有特定的攻擊模式。異常檢測(cè)方法主要針對(duì)解決誤用檢測(cè)方法所面臨的問(wèn)題。因而本文主要探討的是基于網(wǎng)絡(luò)流量異常的入侵檢測(cè)方法。
基于流量異常的檢測(cè)方法有很多，較常用的有基于域值的檢測(cè)方法，基于統(tǒng)計(jì)的檢測(cè)方法，基于小波的檢測(cè)方法，基于馬爾可夫等隨機(jī)過(guò)程模型的方法和一些基于機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘和神經(jīng)網(wǎng)絡(luò)等檢測(cè)方法，但是這些方法主要存在以下問(wèn)題。
(1)報(bào)警意義不明確：由于上述入侵檢測(cè)方法只檢測(cè)了網(wǎng)絡(luò)流量中的一種或幾種特征向量，而且選取的特征向量沒(méi)有特定的攻擊含義，因而檢測(cè)系統(tǒng)報(bào)警時(shí)只知網(wǎng)絡(luò)中某些特征向量出現(xiàn)了異常，但是不能判斷出現(xiàn)了什么樣的攻擊。
(2)由于Internet是沒(méi)有集中管理的多個(gè)管理域的互聯(lián)網(wǎng)絡(luò)，但是入侵檢測(cè)要求各個(gè)檢測(cè)系統(tǒng)之間是協(xié)同運(yùn)行的，因而作為協(xié)同運(yùn)行的主要內(nèi)容的共享數(shù)據(jù)的提供就顯得非常重要。
(3)可擴(kuò)展性較差：由于現(xiàn)有的異常檢測(cè)系統(tǒng)大多采用一種或幾種單一的網(wǎng)絡(luò)特征向量作為學(xué)習(xí)和判斷的依據(jù)，對(duì)網(wǎng)絡(luò)流量的異常描述較為單薄;其次在入侵檢測(cè)系統(tǒng)協(xié)同運(yùn)行中網(wǎng)絡(luò)特征向量選取得較少就可能會(huì)影響檢測(cè)系統(tǒng)的可擴(kuò)展性。
基于會(huì)話(huà)的保存狀態(tài)信息的異常檢測(cè)方法由于現(xiàn)有網(wǎng)絡(luò)流量的不斷變大將逐步受到限制。因而在DARPA1998年總結(jié)出的判斷每一個(gè)正常與異常TCP/IP連接的41個(gè)特征向量的實(shí)時(shí)使用就變得越來(lái)越難以實(shí)現(xiàn)。
針對(duì)以上問(wèn)題本文提出了一種較為通用的基于網(wǎng)絡(luò)流量模型的異常檢測(cè)方法。該方法采用無(wú)狀態(tài)保留的方式，采用基本特征向量來(lái)描述網(wǎng)絡(luò)流量實(shí)時(shí)的運(yùn)行狀態(tài)，并且利用基于攻擊特點(diǎn)的流量特征組合使報(bào)警的意義更加明確。同時(shí)鑒于流量基本特征數(shù)據(jù)的大小以及安全性等特點(diǎn)，也為各個(gè)管理域之間的異常檢測(cè)信息的交流提供了一個(gè)較為通用的平臺(tái)。該基于網(wǎng)絡(luò)流量的異常檢測(cè)方法已經(jīng)實(shí)際運(yùn)用在清華大學(xué)校園網(wǎng)出口監(jiān)測(cè)點(diǎn)上，取得了比較顯著的檢測(cè)結(jié)果。
基于網(wǎng)絡(luò)流量進(jìn)行異常檢測(cè)的原理
本文中的異常檢測(cè)是基于將網(wǎng)絡(luò)流量特征向量分層劃分的思想實(shí)現(xiàn)的。將流量特征分為兩個(gè)層次：基本特征集合和組合特征集合。其中基本特征集合是實(shí)時(shí)從網(wǎng)絡(luò)流量中提取的一些網(wǎng)絡(luò)流量的基本特征數(shù)據(jù)，比如流量的大小、包長(zhǎng)的信息、協(xié)議的信息、端口流量的信息、TCP標(biāo)志位的信息等。這些基本特征比較詳細(xì)地描述了網(wǎng)絡(luò)流量的運(yùn)行狀態(tài)。
組合特征集合是可以根據(jù)實(shí)際需要實(shí)時(shí)改變?cè)O(shè)置的。針對(duì)某種特定的攻擊行為，將涉及該攻擊行為的基本特征的子集作為描述該種攻擊行為的特征。比如對(duì)于SYN FLOOD攻擊，組合特征就可以選取pkts/s、平均包長(zhǎng)、SYN包的個(gè)數(shù)等信息。利用以往基本特征集合的數(shù)據(jù)對(duì)該種攻擊行為的特征進(jìn)行學(xué)習(xí)和訓(xùn)練，就可以實(shí)時(shí)得到該攻擊行為組合特征的正常和異常模型。用此模型就可以實(shí)時(shí)地對(duì)網(wǎng)絡(luò)上該種攻擊行為進(jìn)行檢測(cè)。
另一方面對(duì)于已知攻擊種類(lèi)和行為的數(shù)據(jù)集進(jìn)行學(xué)習(xí)還能對(duì)人為選取的攻擊組合特征進(jìn)行優(yōu)化，使之更能反映該攻擊行為的特點(diǎn)。由于數(shù)據(jù)集是通過(guò)對(duì)網(wǎng)絡(luò)流量實(shí)時(shí)提取獲得的，真實(shí)地反映了網(wǎng)絡(luò)的實(shí)時(shí)狀態(tài)，因而通過(guò)共享該數(shù)據(jù)集可以為網(wǎng)絡(luò)中不同管理域之間異常檢測(cè)系統(tǒng)提供一個(gè)協(xié)同運(yùn)行和控制的平臺(tái)。
網(wǎng)絡(luò)流量基本特征數(shù)據(jù)集是整個(gè)網(wǎng)絡(luò)流量異常算法的基礎(chǔ)。為了保證該算法的可靠性和比較強(qiáng)的可擴(kuò)展性，就要求基本特征能夠比較完備地描述網(wǎng)絡(luò)流量的特征。但同時(shí)由于網(wǎng)絡(luò)的異常檢測(cè)有實(shí)時(shí)性的要求，以及考慮到現(xiàn)有計(jì)算機(jī)的計(jì)算能力等問(wèn)題，基本特征的選取不能對(duì)所有流量信息進(jìn)行提取，而必須對(duì)之進(jìn)行選擇。
除此以外在基本特征集中還預(yù)留了大約100個(gè)保留項(xiàng)，以便將來(lái)的擴(kuò)展之需。由這些保留項(xiàng)以及上述各個(gè)提取的內(nèi)容共同組成了一個(gè)有256項(xiàng)的基本特征集。該基本特征集有以下幾方面的特點(diǎn)：
(1)比較詳細(xì)地涵蓋了現(xiàn)有網(wǎng)絡(luò)中主要流量的各種統(tǒng)計(jì)信息。
(2)不含敏感信息，比如IP地址，包內(nèi)容信息等。
(3)其存儲(chǔ)空間完全有限，如果每隔30秒統(tǒng)計(jì)一次，一個(gè)月大約有30×24×60×2=86400條記錄，每條記錄由256個(gè)數(shù)字組成，如按照文本格式保存大約是2048個(gè)字節(jié)。因而按照這種方式保存一年的數(shù)據(jù)所需空間大約是2048×8×86400×12=16986,931200bits，這大約是17GB的空間。
實(shí)驗(yàn)過(guò)程
本試驗(yàn)采用的試驗(yàn)數(shù)據(jù)為1999 DARPA提供的試驗(yàn)數(shù)據(jù)。其中第一周由于不含攻擊，因而可以作為訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練，第二周的數(shù)據(jù)作為檢測(cè)數(shù)據(jù)。
我們選取其中的MailBomb和Neptune作為試驗(yàn)檢測(cè)的項(xiàng)目。將試驗(yàn)數(shù)據(jù)按五分鐘分割成各個(gè)數(shù)據(jù)點(diǎn)，我們可以得到1280個(gè)數(shù)據(jù)點(diǎn)。
其中L1～L5表示的是包長(zhǎng)分布在32～63、64～127、128～255、256～511和512～1023各個(gè)段落中的包的個(gè)數(shù)。
在整個(gè)基于網(wǎng)絡(luò)流量模型的異常檢測(cè)框架下，能比較方便地通過(guò)組合不同的基礎(chǔ)特征實(shí)現(xiàn)對(duì)不同種類(lèi)的異常攻擊的檢測(cè)，并能取得比較好的檢測(cè)效果。同時(shí)我們還可以看到，針對(duì)某種攻擊如果選取不同的特征組合，其檢測(cè)的結(jié)果之間還是有區(qū)別的，選取過(guò)程中如果缺少必要的基礎(chǔ)特征將導(dǎo)致漏報(bào)率的變大，而選取過(guò)多的無(wú)關(guān)基礎(chǔ)特征則會(huì)降低檢測(cè)誤報(bào)率的性能。這就要求我們?cè)谶x取標(biāo)示某種攻擊的特征組合時(shí)必須在必要基礎(chǔ)特征的基礎(chǔ)上根據(jù)檢測(cè)的網(wǎng)絡(luò)的實(shí)際流量模型，對(duì)特征組合進(jìn)行具體的優(yōu)化。
方法評(píng)測(cè)
基于網(wǎng)絡(luò)流量的異常檢測(cè)方法通過(guò)組合不同的基礎(chǔ)特征能比較靈活地檢測(cè)不同的網(wǎng)絡(luò)攻擊，同時(shí)每種組合特征又標(biāo)示著某種攻擊，所以能使網(wǎng)絡(luò)流量異常的報(bào)警更具實(shí)際意義。
基于網(wǎng)絡(luò)流量的異常檢測(cè)方法提供了一個(gè)壓縮比較高且能比較全面反映實(shí)際網(wǎng)絡(luò)流量的基礎(chǔ)特征，這為將來(lái)的異常檢測(cè)提供了一個(gè)較好的數(shù)據(jù)平臺(tái)，具有比較好的可擴(kuò)展性，同時(shí)該數(shù)據(jù)集還能為不同域之間異常檢測(cè)信息的交互提供一種可能。
【編輯推薦】
