隨著威脅參與者不斷發(fā)展其策略和技術(shù)(例如，在加密流量中隱藏攻擊)，保護(hù)組織變得越來(lái)越具有挑戰(zhàn)性。

ML 加密流量分析

為了幫助解決這些問(wèn)題，許多網(wǎng)絡(luò)安全和運(yùn)營(yíng)團(tuán)隊(duì)更多地依賴機(jī)器學(xué)習(xí) (ML) 技術(shù)來(lái)識(shí)別網(wǎng)絡(luò)流量中的故障、異常和威脅。但隨著加密流量日益成為常態(tài)，傳統(tǒng)的ML技術(shù)也需要發(fā)展。在本文中，我想看看今天使用的ML模型的類型，并探索如何將它們與Deep Packet Dynamics(DPD)技術(shù)配對(duì)，以了解可能隱藏在加密流量中的威脅。

要成功使用 ML、NOC 和 SOC 團(tuán)隊(duì)，需要三件事：數(shù)據(jù)收集、數(shù)據(jù)工程和模型評(píng)分。

數(shù)據(jù)收集涉及直接從網(wǎng)絡(luò)數(shù)據(jù)包流中提取元數(shù)據(jù)。數(shù)據(jù)工程是將原始數(shù)據(jù)移動(dòng)到正確的位置并將其轉(zhuǎn)換為模型輸入的過(guò)程。這包括數(shù)據(jù)標(biāo)準(zhǔn)化和功能創(chuàng)建等任務(wù)。模型評(píng)分是將 ML 算法應(yīng)用于數(shù)據(jù)的最后階段。這包括訓(xùn)練和測(cè)試模型的必要步驟。

從歷史上看，ML一直依賴于批處理模型。對(duì)于花園式大數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)管道運(yùn)行良好。模型使用歷史回顧性數(shù)據(jù)進(jìn)行離線訓(xùn)練。稍后，它將部署在已保存以供分析的數(shù)據(jù)上。

它的工作原理是這樣的：首先，團(tuán)隊(duì)創(chuàng)建了一個(gè)高度工程化的數(shù)據(jù)管道，將所有數(shù)據(jù)移植回一個(gè)巨大的數(shù)據(jù)湖中。接下來(lái)，通過(guò)運(yùn)行查詢和預(yù)處理腳本來(lái)創(chuàng)建歷史要素。最后，在大量數(shù)據(jù)集合上訓(xùn)練模型。準(zhǔn)備就緒后，訓(xùn)練的模型將移動(dòng)到生產(chǎn)環(huán)境，這需要將每個(gè)數(shù)據(jù)處理步驟轉(zhuǎn)換為面向外部的應(yīng)用程序。

存儲(chǔ)和處理大量數(shù)據(jù)(即需要專用工具進(jìn)行存儲(chǔ)和處理的“大”數(shù)據(jù)，而不是以傳統(tǒng)數(shù)據(jù)庫(kù)記錄格式存儲(chǔ))的成本可能過(guò)高，這可能會(huì)使人望而卻步。這種 ML 方法需要大量的擴(kuò)展和資源。它對(duì)于具有較大時(shí)間范圍的模型開發(fā)和預(yù)測(cè)模型非常有用。

但是，隨著網(wǎng)絡(luò)流量的增長(zhǎng)，有一種較新的替代方案稱為流式ML。它利用的資源占用空間要小得多，同時(shí)超過(guò)了最高帶寬網(wǎng)絡(luò)的性能要求。當(dāng)與加密流量分析相結(jié)合時(shí)，組織擁有一個(gè)強(qiáng)大的工具，可以提供有關(guān)網(wǎng)絡(luò)威脅的可見性。從歷史上看，對(duì)網(wǎng)絡(luò)流量的研究是使用深度數(shù)據(jù)包檢測(cè)(DPI)完成的，但是隨著越來(lái)越多的流量現(xiàn)在被加密，它變得越來(lái)越?jīng)]有用處。這推動(dòng)了市場(chǎng)采用一種稱為Deep Packet Dynamics(DPD)的新技術(shù)，該技術(shù)提供了豐富的元數(shù)據(jù)集，無(wú)需有效載荷檢查即可完成。

DPD 功能包括流量特征，如生產(chǎn)者/使用者比率、抖動(dòng)、RST、重新傳輸、數(shù)據(jù)包長(zhǎng)度和時(shí)間序列 (SPLT)、字節(jié)分布、連接設(shè)置時(shí)間、往返時(shí)間等。它提供了非常適合 ML 的高級(jí)功能，并且可以有效地識(shí)別簡(jiǎn)單和增強(qiáng)方法無(wú)法捕獲的模式和異常。但它們不能以追溯方式計(jì)算，它們必須在流量實(shí)時(shí)流經(jīng)時(shí)捕獲。這種形式的密碼分析通過(guò)消除解密和檢查流量的處理密集型中間人(MITM)技術(shù)來(lái)增強(qiáng)隱私。

通過(guò)將流式處理 ML 與 DPD 相結(jié)合，SOC 和 NOC 團(tuán)隊(duì)可以更輕松地實(shí)時(shí)檢測(cè)高級(jí)威脅。例如，這種方法可以發(fā)現(xiàn)網(wǎng)絡(luò)上正在進(jìn)行的勒索軟件攻擊，包括橫向移動(dòng)，高級(jí)網(wǎng)絡(luò)釣魚和水坑攻擊，內(nèi)部威脅活動(dòng)等等。這種方法還消除了加密盲區(qū)，并恢復(fù)了網(wǎng)絡(luò)防御者的可見性。

到2025年，幾乎所有的網(wǎng)絡(luò)流量都將被加密。隨著加密的增長(zhǎng)(以及新的威脅)，組織必須更加依賴流式ML(包括機(jī)器學(xué)習(xí)引擎)和加密流量分析，以獲得對(duì)異常流量的必要可見性。沒(méi)有它，攻擊者將繼續(xù)繞過(guò)傳統(tǒng)的安全機(jī)制，隱藏在加密中，并成功完成攻擊。