1.入侵檢測系統(tǒng)分類

入侵檢測系統(tǒng)是監(jiān)視和分析網(wǎng)絡(luò)通信的系統(tǒng)，通過主動響應(yīng)來識別異常行為。按照不同的劃分標準，可以將入侵檢測系統(tǒng)分為不同的類別，如圖1所示。

1.1 基于部署方式

根據(jù)系統(tǒng)部署的位置不同，入侵檢測技術(shù)可以被分為基于主機的入侵檢測（Host-based Intrusion Detection System，HIDS）和基于網(wǎng)絡(luò)的入侵檢測（Network-based Intrusion Detection System，NIDS）。

HIDS位于網(wǎng)絡(luò)中的單個設(shè)備上，監(jiān)視主機系統(tǒng)的操作或狀態(tài)，檢測系統(tǒng)事件以發(fā)現(xiàn)可疑的活動，例如未經(jīng)授權(quán)的訪問或安裝。HIDS的優(yōu)點是能夠在發(fā)送和接收數(shù)據(jù)前通過掃描流量活動來檢測內(nèi)部威脅。但是，部署HIDS會影響設(shè)備資源，而且保護范圍僅限于單個設(shè)備，無法觀測到網(wǎng)絡(luò)流量來分析與網(wǎng)絡(luò)相關(guān)的行為信息。因此，HIDS并不是大規(guī)模網(wǎng)絡(luò)的有效安全解決方案。

NIDS觀察并分析實時網(wǎng)絡(luò)流量和監(jiān)視多個主機，旨在收集數(shù)據(jù)包信息，以檢測網(wǎng)絡(luò)中的入侵行為。NIDS 的優(yōu)點是只用一個系統(tǒng)可以監(jiān)視整個網(wǎng)絡(luò)，節(jié)省了在每個主機上安裝軟件的時間和成本。缺點是 NIDS 難以獲取所監(jiān)視系統(tǒng)的內(nèi)部狀態(tài)信息，導(dǎo)致檢測更加困難。

1.2 基于檢測技術(shù)

根據(jù)檢測技術(shù)可以將入侵檢測劃分為基于簽名的網(wǎng)絡(luò)入侵檢測（Signature-based Network Intrusion Detection System，SNIDS）和基于異常的網(wǎng)絡(luò)入侵檢測(Anomaly- based Network Intrusion Detection System，ANIDS)。

• SNIDS先提取網(wǎng)絡(luò)流量有效載荷中的字節(jié)序列，然后采用模式匹配算法，將提取的簽名與預(yù)定義的已知惡意序列數(shù)據(jù)庫進行匹配，一旦命中即發(fā)出告警信息來預(yù)示異常行為。SNIDS的優(yōu)點是出錯率低。然而，SNIDS高度依賴已有的簽名知識庫，難以檢測未知攻擊，無法適應(yīng)新的智能攻擊行為。此外，混淆字節(jié)簽名可以有效繞過SNIDS。
• ANIDS是在網(wǎng)絡(luò)流量中監(jiān)測發(fā)現(xiàn)不符合預(yù)期正常行為的異常模式，當(dāng)檢測行為與正常行為偏離較大時，發(fā)出告警信息。ANIDS由于不依賴固定簽名進行檢測，能夠抵御零日攻擊和簽名混淆。然而，由于網(wǎng)絡(luò)流量的多樣性，這往往導(dǎo)致ANIDS出現(xiàn)較高的假陽性率。而且容積率高，很難找到正常和異常配置文件之間的邊界以進行入侵檢測。此外，ANIDS容易受到模仿攻擊，即攻擊者修改攻擊特征，使其與良性特征相似。

1.3 基于數(shù)據(jù)來源

根據(jù)數(shù)據(jù)來源，可以將入侵檢測技術(shù)分為基于數(shù)據(jù)包（Packet-based）、基于流（Flow-based）、基于會話（Session-based）和基于日志（Log-based）四種類別[1]。

• 基于數(shù)據(jù)包的 IDS：它是在網(wǎng)絡(luò)數(shù)據(jù)包級別工作的 IDS 類型之一，可以實時檢查網(wǎng)絡(luò)流量的各個數(shù)據(jù)包并分析其內(nèi)容以識別安全威脅。
• 基于流的 IDS：它是在網(wǎng)絡(luò)流級別工作的 IDS 類型之一，可以將流定義為共享一些常見屬性的數(shù)據(jù)包序列，例如源端口、源 IP 地址、目標端口、目標 IP 地址、傳輸層協(xié)議和時間間隔。
• 基于會話的 IDS：它是在網(wǎng)絡(luò)會話級別工作的 IDS 類型之一。會話定義為在一段時間內(nèi)在兩臺主機之間交換的數(shù)據(jù)流，通常使用特定協(xié)議，例如 TCP 或 UDP。
• 基于日志的 IDS：它是在系統(tǒng)日志級別工作的 IDS 類型之一。它分析系統(tǒng)日志文件以檢測安全威脅，例如未經(jīng)授權(quán)的訪問、惡意軟件感染或系統(tǒng)配置錯誤。

圖片

圖1 IDS分類

2.數(shù)據(jù)集

通常，數(shù)據(jù)集以兩種不同的格式收集，基于數(shù)據(jù)包和基于流[1]?；跀?shù)據(jù)包的數(shù)據(jù)通常從 PCAP文件中獲取，該文件使用特殊類型的軟件（如 astcpdump 和 Wireshark.PCAP 跟蹤）捕獲網(wǎng)絡(luò)流量，包括有效負載在內(nèi)的所有數(shù)據(jù)包信息。基于流的數(shù)據(jù)是由流構(gòu)建的，流被定義為滿足相同匹配特征的數(shù)據(jù)包流。

圖片

3.基于機器學(xué)習(xí)的網(wǎng)絡(luò)入侵檢測

傳統(tǒng)的網(wǎng)絡(luò)入侵檢測具有適應(yīng)能力差、拓展性不夠等缺陷，在具體應(yīng)用中依然存在較大的問題。機器學(xué)習(xí)具有較強的靈活性、適應(yīng)性，為入侵檢測提供新的發(fā)展方向。機器學(xué)習(xí)算法主要包括決策樹（DecisionTree，DT），樸素貝葉斯(Naive Bayes)，支持向量機(Support Vector Machine，SVM)，集成學(xué)習(xí)等，通過提取數(shù)據(jù)的特征進行入侵行為的檢測。

（1）基于決策樹：計算復(fù)雜度低，結(jié)構(gòu)簡單易懂，因此，在入侵檢測領(lǐng)域具有廣泛應(yīng)用。常見的決策樹算法有ID3、C4.5、CART等。文獻[3]利用NSL-KDD數(shù)據(jù)集對ID3、C4.5、CART、REP Tree 和 Decision Table五種決策樹算法進行對比研究。結(jié)果表明，C4.5算法效果最好，分類準確率達到99.56%，并且當(dāng)使用信息增益特征選擇技術(shù)時，其精度達到99.68%。然而，由于該文獻僅選擇NSL-KDD訓(xùn)練集，并使用保留方法而不是NSL-KDD測試集進行測試，因此很難測試該算法的泛化能力。

（2）基于樸素貝葉斯：樸素貝葉斯算法是由Bayes定理導(dǎo)出的，具有堅實的數(shù)學(xué)基礎(chǔ)。文獻[4]首先使用IPCA對KDD99數(shù)據(jù)集進行預(yù)處理，然后使用Gaussian Naive Bayes算法進行檢測。從實驗結(jié)果來看，當(dāng)檢測準確率為91%時，只需0.562s即可完成訓(xùn)練模型和測試數(shù)據(jù)。這一結(jié)果對入侵檢測的實時監(jiān)控研究具有重要意義。

（3）基于支持向量機：SVM可以更好地解決小樣本問題，具有強大的泛化能力，被認為是更有效的入侵檢測算法。文獻[5]提出了FRST-SVM模型，該模型利用模糊粗糙集理論從數(shù)據(jù)中提取特征。FRST-SVM模型實現(xiàn)了高精度、快速的識別，減輕了系統(tǒng)負擔(dān)。文獻[6]使用SVM對數(shù)據(jù)集進行初始分類，然后將分類結(jié)果作為基于密度的聚類算法的輸入進行子分類。盡管實驗結(jié)果很好，但該模型結(jié)構(gòu)復(fù)雜，并且是基于小數(shù)據(jù)集提出的。當(dāng)數(shù)據(jù)量巨大時，會暴露出支持向量機訓(xùn)練時間長的缺點，因此不具有普遍性。

（4）基于集成學(xué)習(xí)：在機器學(xué)習(xí)中，為了避免算法在處理不同數(shù)據(jù)集時的偏好，可以將不同的弱監(jiān)督學(xué)習(xí)算法組合起來形成強監(jiān)督學(xué)習(xí)算法，即集成學(xué)習(xí)算法。文獻[7]提出了使用CFS來降低數(shù)據(jù)集的維數(shù)，然后用Bagging隨機森林和Adaboost隨機森林進行實驗。結(jié)果表明，這兩個模型在KDD99和NSL-KDD數(shù)據(jù)集上都達到了99%以上的準確率。文獻[8]提出了XGBoost-RF模型來處理數(shù)據(jù)不平衡的問題。首先，XGBoost算法用于對數(shù)據(jù)集中相對重要的特征進行評分，然后使用具有更新權(quán)重的隨機森林算法進行攻擊檢測。該模型通過特征選擇和權(quán)重調(diào)整可以充分訓(xùn)練少量重要數(shù)據(jù)。

基于機器學(xué)習(xí)技術(shù)的入侵檢測優(yōu)點是能夠充分利用先驗知識，明確地對未知樣本數(shù)據(jù)進行分類。缺點是訓(xùn)練數(shù)據(jù)的選取評估和類別標注需要花費大量的人力和時間。

4.基于深度學(xué)習(xí)的網(wǎng)絡(luò)入侵檢測

傳統(tǒng)的機器學(xué)習(xí)方法通常需要人工選取特征，且需要大量的領(lǐng)域?qū)I(yè)知識，是較為淺層的學(xué)習(xí)方法。而深度學(xué)習(xí)方法學(xué)習(xí)的是樣本數(shù)據(jù)的內(nèi)在規(guī)律和表示層次，構(gòu)建多個隱藏層組建的非線性網(wǎng)絡(luò)結(jié)構(gòu)能夠適應(yīng)較高維度學(xué)習(xí)和預(yù)測的要求，效率更高，節(jié)省了大量特征提取的時間，可以根據(jù)問題自動建立模型，不局限于某個固定的問題，在解決入侵檢測問題中很有前景。目前常用的基于深度學(xué)習(xí)的入侵檢測模型有Deep Neural Networks（DNN）， convolutional neural networks (CNN)，Recurrent Neural Networks (RNN)，自編碼和Generative Adversarial Networks (GAN)等，如圖2所示。

圖片

圖2  深度學(xué)習(xí)方法

（1）基于DNN：DNN 由多層互連節(jié)點組成，這使得它們擅長從大量數(shù)據(jù)中學(xué)習(xí)復(fù)雜的模式和特征，并適用于入侵檢測任務(wù)。文獻[9]將自動編碼器與 DNN 相結(jié)合，以學(xué)習(xí)輸入特征的魯棒表示并增強對不平衡攻擊的檢測

（2）基于CNN：CNN能夠從數(shù)據(jù)中自主學(xué)習(xí)特征，此外，CNN 也能處理不同長度的輸入，這在網(wǎng)絡(luò)流量分析中至關(guān)重要，因為數(shù)據(jù)包長度通常差異很大。文獻[10]根據(jù)相關(guān)性將入侵檢測數(shù)據(jù)分為四部分，然后將四部分數(shù)據(jù)轉(zhuǎn)換為灰度圖像，并將其引入多卷積神經(jīng)網(wǎng)絡(luò)進行入侵檢測研究。文獻[11]提出了一種基于focal loss的網(wǎng)絡(luò)入侵檢測系統(tǒng)，利用focal loss函數(shù)對CNN模型進行訓(xùn)練，降低了易于分類樣本的權(quán)重，平衡了數(shù)據(jù)類別，有效提高了少數(shù)樣本的檢測率。

（3）基于RNN：在入侵檢測中使用RNN考慮了基于時間的關(guān)系，將網(wǎng)絡(luò)流量分析為一系列事件，在這些事件之間可以有效地識別攻擊。Imrana等[12]使用Bi-LSTM增強了對不同攻擊的檢測。因為 BiLSTM 可以在數(shù)據(jù)中捕獲更復(fù)雜的模式，從而提高性能。2023年，WENHONG W等人[13]針對網(wǎng)絡(luò)流量異常檢測中的數(shù)據(jù)不平衡問題，將雙向長短時記憶網(wǎng)絡(luò)（bidirectional Long-short Term Memory，Bi-LSTM）與多頭注意力機制（Multi-Head Attention）相結(jié)合，提出了多目標進化深度學(xué)習(xí)模型，可以通過引入一些少數(shù)類的合成數(shù)據(jù)來提高模型的性能表現(xiàn)。

（4）基于自編碼器：自動編碼器可以有效地處理高維數(shù)據(jù)，在入侵檢測中應(yīng)用廣泛。Binbusayyis等[14]提出了一種使用一維卷積自編碼器（1D CAE）的IDS框架來實現(xiàn)較低的特征表示。然后，將此表示與單類支持向量機（OCSVM）結(jié)合使用，以檢測異常。Cui等[15]提出，IDS由三部分組成：堆疊式自動編碼器（SAE）用于特征提取，高斯混合模型（GMM）和 Wasserstein 生成對抗（GMMWGAN）模型用于處理類不平衡處理，CNN-LSTM 用于分類。

（5）基于GAN：GAN由生成器和判別器兩部分組成。生成器用于生成模擬真實網(wǎng)絡(luò)流量的特征。鑒別器用于區(qū)分真實樣本和虛擬樣本。Huang等[16]提出了一種稱為IGN的新方法，該方法將不平衡的數(shù)據(jù)過濾器和卷積層整合到傳統(tǒng)的GAN框架中，以便為少數(shù)類生成新穎且具有代表性的實例。2022年，RAHA S等人[17]應(yīng)用GAN解決網(wǎng)絡(luò)入侵檢測中的類別不均衡問題，為了提高少數(shù)類數(shù)據(jù)的生成質(zhì)量，基于集成深度學(xué)習(xí)的思想提出了基于集成的多用戶GAN (EMP-GAN)，減少了模型崩潰的風(fēng)險，提升了訓(xùn)練的穩(wěn)定性。

深度學(xué)習(xí)能夠有效處理大規(guī)模網(wǎng)絡(luò)流量數(shù)據(jù)，相比于淺層的傳統(tǒng)機器學(xué)習(xí)方法，具有更高的效率和檢測率，但是其訓(xùn)練過程較復(fù)雜，模型可解釋性較差。

5.挑  戰(zhàn)

當(dāng)前入侵檢測研究的主要挑戰(zhàn)包括數(shù)據(jù)集老舊、數(shù)據(jù)不平衡等問題。

（1）數(shù)據(jù)集老舊。網(wǎng)絡(luò)入侵檢測通常要依賴帶標簽的數(shù)據(jù)集，目前廣泛使用的公開數(shù)據(jù)集如KDD1999、DARPA1998和DARPA1999，雖然具有代表性，但由于其年代較久遠，已經(jīng)無法完全反映最新的網(wǎng)絡(luò)威脅和攻擊趨勢。近年來，一些新的網(wǎng)絡(luò)入侵檢測數(shù)據(jù)集如CICIDS2018、CIDDS-001、NF-UQ-NIDS-v2等應(yīng)運而生。這些新數(shù)據(jù)集不僅包含了更多新型攻擊的樣本，而且更為貼近當(dāng)今網(wǎng)絡(luò)環(huán)境，能夠更有效地捕捉到不斷演進的入侵行為。通過采用這些新數(shù)據(jù)集，研究者可以更準確地評估模型性能，更好地理解和應(yīng)對當(dāng)下和未來的入侵挑戰(zhàn)。

（2）數(shù)據(jù)不平衡。入侵檢測樣本數(shù)據(jù)中，往往正常樣本數(shù)據(jù)遠多于入侵樣本數(shù)據(jù)，這會導(dǎo)致模型在訓(xùn)練和評估階段的性能不夠穩(wěn)健。處理類不平衡問題的兩種主要策略：基于數(shù)據(jù)的方法和基于算法的方法。常見的基于數(shù)據(jù)的技術(shù)包括過采樣和欠采樣，但是欠采樣的方式縮小了整體的樣本數(shù)量，而過采樣的方式又容易引發(fā)過擬合問題，并不能較好地處理數(shù)據(jù)不平衡問題。深度學(xué)習(xí)方法中的GAN 具有強大的生成能力，能夠通過生成異常數(shù)據(jù)來解決該問題，但是目前這方面的研究還較少。另一方面，可以利用對于不平衡數(shù)據(jù)集更為敏感的算法。例如，基于樹的方法（如隨機森林）和集成學(xué)習(xí)方法（AdaBoost、XGBoost），它們能夠自適應(yīng)地調(diào)整節(jié)點的權(quán)重，可以提高模型的性能并減緩不平衡數(shù)據(jù)的影響。

6.總  結(jié)

隨著信息技術(shù)的不斷發(fā)展，網(wǎng)絡(luò)入侵檢測系統(tǒng)是網(wǎng)絡(luò)安全必不可少的防御機制，在學(xué)術(shù)界和工業(yè)界獲得了廣泛的研究?；跈C器學(xué)習(xí)和深度學(xué)習(xí)的網(wǎng)絡(luò)入侵檢測技術(shù)是當(dāng)前研究的熱點之一。在網(wǎng)絡(luò)安全不斷面臨威脅的背景下，我們相信通過機器學(xué)習(xí)和深度學(xué)習(xí)技術(shù)的不懈探索，我們能夠更好地保護我們的網(wǎng)絡(luò)資源，確保信息的安全與完整性。

參考文獻

[1] Elsheikh, Mohamed, et al. "Deep Learning Techniques for Intrusion Detection Systems: A Survey and Comparative Study." 2023 International Mobile, Intelligent, and Ubiquitous Computing Conference (MIUCC). IEEE, 2023.

[2] L. A. H. Ahmed, Y. A. M. Hamad and A. A. M. A. Abdalla, "Network-based Intrusion Detection Datasets: A Survey," 2022 International Arab Conference on Information Technology (ACIT), Abu Dhabi, United Arab Emirates, 2022, pp. 1-7, doi: 10.1109/ACIT57182.2022.9994201.

[3] Hota, H.S., Shrivas, A.K, 2014. Decision tree techniques applied on NSL-KDD dataand its comparison with various feature selection techniques. Adv. Comput.Netw. Inform.1.205-211.

[4] Zhang, B, Liu, Z.Y, Jia, Y.G, Ren, J.D., Zhao, X.L, 2018. Network intrusion detectionmethod based on PCA and Bayes algorithm. Secur, Commun. Netw. 2018 (10).1-11.

[5] Shen, K., Parvin, H, Qasem, S.N, Tuan, B.A, Pho, K.H, 2020. A classification modelbased on SVM and fuzzy rough set for network intrusion detection. J. Intell.Fuzzy Syst. 39 (1),1-17.

[6] Wang, S., Jin, z.G, 2020. IDS classification algorithm based on fuzzy SVM model. Appl. Res.Comput.37 (02),187-190.

[7] lwendi, C, Khan, S., Anajemba, J.H, Mittal, M, Alenezi, M, Alazab, M, 2020. Theuse of ensemble models for multiple class and binary class classification forimproving intrusion detection systems. Sensors 20 (9), 2559.

[8] Qiao, N, Li, z.X, Zhao, Gs, 2022. Intrusion detection model of internet ofthings based on XGBoost-RF. J. Chin. Mini Micro Comput. Syst. 43 (01), 152-158.

[9] Y. Yang, K. Zheng, C. Wu and Y. Yang, ”Improving the classification effectiveness of intrusion detection by using improved conditional variational autoencoder and deep neural network,” Sensors, vol. 19, p. 2528, 2019.

[10]  Li, Y.M., Xu, Y.Y, Liu, Z., Hou, HX, Zheng, Y.S, Xin, Y, et al, 2020. Robust detectionfor network intrusion of industrial loT based on multi-CNN fusion. Measure-ment 154.107450.

[11] Mulyanto, M., Faisal, M, Prakosa, S.W, Leu, JS, 2021. Effectiveness of focal loss forminority classification in network intrusion detection systems. Symmetry 13 (1),4.

[12] Y. Imrana, Y. Xiang, L. Ali and Z. Abdul-Rauf, ”A bidirectional LSTM deep learning approach for intrusion detection,” Expert Systems with Applications, vol. 185, p. 115524, 2021.

[13]  Wei W, Chen Y, Lin Q, et al. Multi-objective evolving long-short term memory networks with attention for network intrusion detection[J]. Applied Soft Computing, 2023: 110216.

[14] A. Binbusayyis and T. Vaiyapuri, ”Unsupervised deep learning approach for network intrusion detection combining convolutional autoencoder and one-class SVM,” Applied Intelligence, vol. 51, p. 7094–7108, 2021.

[15] J. Cui, L. Zong, J. Xie and M. Tang, ”A novel multi-module integrated intrusion detection system for high dimensional imbalanced data,” Applied Intelligence, vol. 53, p. 272–288, 2023.

[16] S. Huang and K. Lei, ”IGAN-IDS: An imbalanced generative adversarial network towards intrusion detection system in ad-hoc networks,” Ad Hoc Networks, vol. 105, p. 102177, 2020.

Soleymanzadeh R,Kashef R Efficient intrusion detection using multi-player generative adversarialnetworks(GANs): an ensemble-based deep learning architecturelJ. Neural Computing and Applications2023: 1-19.