網(wǎng)絡(luò)流量模型的異常檢測方法
傳統(tǒng)入侵檢測的不足
傳統(tǒng)的入侵檢測方法分為兩種：基于誤用檢測(misused-based)方法和基于異常檢測(anomaly-based)方法。前者需要攻擊樣本，通過描述每一種攻擊的特殊模式來檢測。該方法的查準(zhǔn)率很高，并且可提供詳細(xì)的攻擊類型和說明，是目前入侵檢測商業(yè)產(chǎn)品中使用的主要方法。然而經(jīng)過長時間的研究和應(yīng)用，該方法也暴露出一定的弱點，由于基于特征的入侵檢測系統(tǒng)是依靠人為的預(yù)先設(shè)定報警規(guī)則來實現(xiàn)，所以在面對不斷變化的網(wǎng)絡(luò)攻擊時有其本身固有的缺陷，比如，利用這種方法時需要維護(hù)一個昂貴的攻擊模式庫、只能檢測已知的攻擊等。另一方面，攻擊者可以通過修改自己的攻擊特征模式來隱藏自己的行為，而且有些攻擊方法根本沒有特定的攻擊模式。異常檢測方法主要針對解決誤用檢測方法所面臨的問題。因而本文主要探討的是基于網(wǎng)絡(luò)流量異常的入侵檢測方法。
基于流量異常的檢測方法有很多，較常用的有基于域值的檢測方法，基于統(tǒng)計的檢測方法，基于小波的檢測方法，基于馬爾可夫等隨機(jī)過程模型的方法和一些基于機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘和神經(jīng)網(wǎng)絡(luò)等檢測方法，但是這些方法主要存在以下問題。
(1)報警意義不明確：由于上述入侵檢測方法只檢測了網(wǎng)絡(luò)流量中的一種或幾種特征向量，而且選取的特征向量沒有特定的攻擊含義，因而檢測系統(tǒng)報警時只知網(wǎng)絡(luò)中某些特征向量出現(xiàn)了異常，但是不能判斷出現(xiàn)了什么樣的攻擊。
(2)由于Internet是沒有集中管理的多個管理域的互聯(lián)網(wǎng)絡(luò)，但是入侵檢測要求各個檢測系統(tǒng)之間是協(xié)同運行的，因而作為協(xié)同運行的主要內(nèi)容的共享數(shù)據(jù)的提供就顯得非常重要。
(3)可擴(kuò)展性較差：由于現(xiàn)有的異常檢測系統(tǒng)大多采用一種或幾種單一的網(wǎng)絡(luò)特征向量作為學(xué)習(xí)和判斷的依據(jù)，對網(wǎng)絡(luò)流量的異常描述較為單薄;其次在入侵檢測系統(tǒng)協(xié)同運行中網(wǎng)絡(luò)特征向量選取得較少就可能會影響檢測系統(tǒng)的可擴(kuò)展性。
基于會話的保存狀態(tài)信息的異常檢測方法由于現(xiàn)有網(wǎng)絡(luò)流量的不斷變大將逐步受到限制。因而在DARPA1998年總結(jié)出的判斷每一個正常與異常TCP/IP連接的41個特征向量的實時使用就變得越來越難以實現(xiàn)。
針對以上問題本文提出了一種較為通用的基于網(wǎng)絡(luò)流量模型的異常檢測方法。該方法采用無狀態(tài)保留的方式，采用基本特征向量來描述網(wǎng)絡(luò)流量實時的運行狀態(tài)，并且利用基于攻擊特點的流量特征組合使報警的意義更加明確。同時鑒于流量基本特征數(shù)據(jù)的大小以及安全性等特點，也為各個管理域之間的異常檢測信息的交流提供了一個較為通用的平臺。該基于網(wǎng)絡(luò)流量的異常檢測方法已經(jīng)實際運用在清華大學(xué)校園網(wǎng)出口監(jiān)測點上，取得了比較顯著的檢測結(jié)果。
基于網(wǎng)絡(luò)流量進(jìn)行異常檢測的原理
本文中的異常檢測是基于將網(wǎng)絡(luò)流量特征向量分層劃分的思想實現(xiàn)的。將流量特征分為兩個層次：基本特征集合和組合特征集合。其中基本特征集合是實時從網(wǎng)絡(luò)流量中提取的一些網(wǎng)絡(luò)流量的基本特征數(shù)據(jù)，比如流量的大小、包長的信息、協(xié)議的信息、端口流量的信息、TCP標(biāo)志位的信息等。這些基本特征比較詳細(xì)地描述了網(wǎng)絡(luò)流量的運行狀態(tài)。
組合特征集合是可以根據(jù)實際需要實時改變設(shè)置的。針對某種特定的攻擊行為，將涉及該攻擊行為的基本特征的子集作為描述該種攻擊行為的特征。比如對于 SYN FLOOD攻擊，組合特征就可以選取pkts/s、平均包長、SYN包的個數(shù)等信息。利用以往基本特征集合的數(shù)據(jù)對該種攻擊行為的特征進(jìn)行學(xué)習(xí)和訓(xùn)練，就可以實時得到該攻擊行為組合特征的正常和異常模型。用此模型就可以實時地對網(wǎng)絡(luò)上該種攻擊行為進(jìn)行檢測。
另一方面對于已知攻擊種類和行為的數(shù)據(jù)集進(jìn)行學(xué)習(xí)還能對人為選取的攻擊組合特征進(jìn)行優(yōu)化，使之更能反映該攻擊行為的特點。由于數(shù)據(jù)集是通過對網(wǎng)絡(luò)流量實時提取獲得的，真實地反映了網(wǎng)絡(luò)的實時狀態(tài)，因而通過共享該數(shù)據(jù)集可以為網(wǎng)絡(luò)中不同管理域之間異常檢測系統(tǒng)提供一個協(xié)同運行和控制的平臺。
網(wǎng)絡(luò)流量基本特征數(shù)據(jù)集是整個網(wǎng)絡(luò)流量異常算法的基礎(chǔ)。為了保證該算法的可靠性和比較強的可擴(kuò)展性，就要求基本特征能夠比較完備地描述網(wǎng)絡(luò)流量的特征。但同時由于網(wǎng)絡(luò)的異常檢測有實時性的要求，以及考慮到現(xiàn)有計算機(jī)的計算能力等問題，基本特征的選取不能對所有流量信息進(jìn)行提取，而必須對之進(jìn)行選擇。
除此以外在基本特征集中還預(yù)留了大約100個保留項，以便將來的擴(kuò)展之需。由這些保留項以及上述各個提取的內(nèi)容共同組成了一個有256項的基本特征集。該基本特征集有以下幾方面的特點：
(1)比較詳細(xì)地涵蓋了現(xiàn)有網(wǎng)絡(luò)中主要流量的各種統(tǒng)計信息。
(2)不含敏感信息，比如IP地址，包內(nèi)容信息等。
(3)其存儲空間完全有限，如果每隔30秒統(tǒng)計一次，一個月大約有30×24×60×2=86400條記錄，每條記錄由256個數(shù)字組成，如按照文本格式保存大約是2048個字節(jié)。因而按照這種方式保存一年的數(shù)據(jù)所需空間大約是 2048×8×86400×12=16986,931200bits，這大約是17GB的空間。
實驗過程
本試驗采用的試驗數(shù)據(jù)為1999 DARPA提供的試驗數(shù)據(jù)。其中第一周由于不含攻擊，因而可以作為訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練，第二周的數(shù)據(jù)作為檢測數(shù)據(jù)。
我們選取其中的MailBomb和Neptune作為試驗檢測的項目。將試驗數(shù)據(jù)按五分鐘分割成各個數(shù)據(jù)點，我們可以得到1280個數(shù)據(jù)點。
其中L1～L5表示的是包長分布在32～63、64～127、128～255、256～511和512～1023各個段落中的包的個數(shù)。
在整個基于網(wǎng)絡(luò)流量模型的異常檢測框架下，能比較方便地通過組合不同的基礎(chǔ)特征實現(xiàn)對不同種類的異常攻擊的檢測，并能取得比較好的檢測效果。同時我們還可以看到，針對某種攻擊如果選取不同的特征組合，其檢測的結(jié)果之間還是有區(qū)別的，選取過程中如果缺少必要的基礎(chǔ)特征將導(dǎo)致漏報率的變大，而選取過多的無關(guān)基礎(chǔ)特征則會降低檢測誤報率的性能。這就要求我們在選取標(biāo)示某種攻擊的特征組合時必須在必要基礎(chǔ)特征的基礎(chǔ)上根據(jù)檢測的網(wǎng)絡(luò)的實際流量模型，對特征組合進(jìn)行具體的優(yōu)化。
方法評測
基于網(wǎng)絡(luò)流量的異常檢測方法通過組合不同的基礎(chǔ)特征能比較靈活地檢測不同的網(wǎng)絡(luò)攻擊，同時每種組合特征又標(biāo)示著某種攻擊，所以能使網(wǎng)絡(luò)流量異常的報警更具實際意義。
基于網(wǎng)絡(luò)流量的異常檢測方法提供了一個壓縮比較高且能比較全面反映實際網(wǎng)絡(luò)流量的基礎(chǔ)特征，這為將來的異常檢測提供了一個較好的數(shù)據(jù)平臺，具有比較好的可擴(kuò)展性，同時該數(shù)據(jù)集還能為不同域之間異常檢測信息的交互提供一種可能。
【編輯推薦】
