高級持續(xù)性威脅擁有著形式多變、持久化、對抗性與隱蔽性強等特點，是目前各大企業(yè)在威脅監(jiān)測方面所面臨的一項嚴峻挑戰(zhàn)。而AI技術的賦能，能夠使高級威脅檢測技術的檢測效率與準確性大幅提升。在不久前的【T·Talk】系列技術分享活動的第十期中，我們特別邀請到了金睛云華技術總監(jiān)富吉祥為廣大聽眾分享如何利用AI技術解決傳統(tǒng)特征檢測技術難以解決的安全問題?！?span style="color: #333333;">T·Talk】也將本期分享的核心內容進行了整理，希望能為大家?guī)硪恍﹩l(fā)。
?
高級威脅檢測技術挑戰(zhàn)
高級持續(xù)性威脅通常指有組織的團隊，針對特定目標，綜合利用其所了解的信息，構造相應的武器和攻擊手段，在長周期中對目標進行持續(xù)滲透的網絡攻擊活動。攻擊鏈包括不同階段，例如掃描探測、嘗試攻擊、漏洞利用、木馬下載、遠程控制、橫向滲透、行動收割。整個攻擊過程是復雜的，攻擊手段、攻擊武器與載荷是高明的。業(yè)內通常將這類威脅定義為高級持續(xù)性威脅。
在高級持續(xù)性威脅的攻擊過程中，需要對攻擊手段進行檢測和發(fā)現，以便對其進行響應和處置。但目前傳統(tǒng)的特征檢測技術，并沒有辦法很好地應對其中的高級攻擊。傳統(tǒng)的攻防手段對抗過程，通常是在一個新的威脅產生后，防守方要想辦法獲得樣本，再基于樣本對其進行特征分析并識別威脅，最后更新到可以對威脅進行防御或檢測的網絡安全設備中，升級后具備檢測能力。
但在升級安全防護或檢測設備前，未知威脅存在防御真空期。此外，還有一些惡意代碼的變種，例如目前互聯網上有很多惡意樣本、木馬病毒。攻擊者會賦予樣本繞過防御手段或者檢測手段的能力。在這個過程中，攻擊者會改造樣本，把能被殺軟發(fā)現的特征隱藏或混淆，將樣本進行變種。在此之后，殺軟、文件哈希碼或特征碼就已經無法再對其進行有效檢測了。
在整個攻擊鏈條的過程中，有些行為是容易被檢測引擎或不同手段發(fā)現的。但在過程中也會存在一些難以發(fā)現的隱藏部分，對攻擊過程的判斷同樣是非常重要的。例如目前很多的網絡攻擊已經采用了加密手段，在整個網絡流量中，我們只能看到一些握手交互和證書信息。僅通過這些信息并沒有辦法判斷加密的流量載荷是否存在問題，以及是否潛藏木馬與惡意攻擊行為。
當攻擊入侵成功之后，會與其命令控制服務器進行回聯，以時刻保持通信的暢通，并接收攻擊者下一步的攻擊指令。防火墻是目前常見的網絡安全設備，它通常不會對DNS、HTTP、ICMP等常用協(xié)議進行攔截或者深度檢查。因此在上述的回連過程中，如果想去隱蔽的通信，使用標準的網絡協(xié)議去進行命令與控制通信會是一種比較好的手段。
而惡意的加密代理會將整個會話過程完全加密。像比較常見的的洋蔥頭、暗網瀏覽器，可以隱蔽訪問行為和訪問的內容。Open VPN也可以很好地將通信行為隱蔽掉。這些線索就是發(fā)現整個攻擊鏈條的關鍵。
人工智能技術在高級威脅檢測領域的實踐
網絡中的行為是通過協(xié)議進行交互的，訪問網站、發(fā)送消息或郵件，都會在網絡中產生雙向的交互行為，客戶端和要訪問的服務端，之間會有多輪的交互。在這個過程中，發(fā)送的請求信息通常比較少，網站端返回的信息則比較多。針對這一過程，我們可以將其可視化的呈現出來，并對網絡行為進行建模。
在木馬數據外泄的過程中，也涉及多輪的數據交互。這個過程中會話數據在時間和數據包大小上的分布，會形成一個顯性的模式。在對這個模式進行識別的過程中，需要想辦法去對整個流量的模式進行構建。對此，可以通過人工智能建模的方法將這一模式學習下來。
現階段多應用人工智能技術，例如蘋果的siri語音識別。首先捕獲語音，然后將語音信號轉化成數字信號，再對其進行線性參數提取，目標是要將其通過多維的數據形成特征向量。最后再交由人工智能算法對其進行建模。建立好模型后，就可以對訓練過的語音進行有效識別。
同理，當需要識別網絡流量模式時，也可以借助相似的過程。首先采集樣本，包括上行和下行這種雙向的網絡會話包，然后對其進行數字化，以解析數據包中的內容。再通過不同方式，例如網絡層、傳輸層和應用層的協(xié)議解析，解析其中的內容。在這個過程中也可以對數據包進行統(tǒng)計，再使用預先調制好的算法對數據進行學習，最后將其應用到檢測和防御的網絡安全設備之中。
在上述過程中，首先需要關注的就是數據的來源?；ヂ摼W上很多木馬外聯的時候是外發(fā)的加密流量。在這種情況下，可以將木馬樣本捕獲，并將其放到沙箱集群環(huán)境中，讓其與互聯網產生網絡流量，并對加密的PCAP流量進行捕獲。同時，許多網站或學術的機構也會公開一些加密的PCAP流量，包括公司或學術組織也會積累一些在此研究領域的惡意加密流量，這些都是有效的數據來源。
當然，并不是所有原始流量或文件都可以直接應用的。在完成捕獲后，還需要對其進行分析，判斷數據質量并篩選數據。將流量通過標準引擎或安全設備引擎進行解析，以便提取其中的特征數據和統(tǒng)計數據。獲取到數據后，AI工程師對數據進行判斷，并將數據分成幾類，用幾個模型或算法對其進行識別與分類。
分類的第一個維度是判斷流量中是否存在相關的其他協(xié)議流量。很多木馬會考慮模擬正常的web訪問行為，以降低其惡意行為的被發(fā)現概率。這種情況下，可以將會話相關的DNS上下文捕獲，并對其進行分析與數據提取。第二個維度是會話要先進行TLS的加密身份認證，部分會話沒有完成認證過程，部分會話完成了身份認證過程，這樣可以獲得不同類型的交互數據。
我們可以根據上述的兩個維度：DNS是否有關聯，還有其身份認證是否完整，去進行實踐。把數據分成四組，后續(xù)通過這些數據進行分別訓練，讓不同模型對相應的子類別的數據進行有效的識別。
對數據進行分類后，就需要提取特征以構建特征向量。首先可以根據是否有DNS關聯的數據來區(qū)分它要提的內容。如沒有DNS關聯的數據，則提取它的統(tǒng)計數據和TLS協(xié)議數據。其次是加密證書相關的數據。將這些數據合在一起，生成特征向量。對于有DNS關聯類別的數據，則要考慮將DNS相關的域名長度、域名后綴、TTL等字段進行提取，以形成特征向量。
接下來，在建模與訓練前還需要進行可視化的數據降維分析。判斷AI算法是否能有效地將數據進行分類。AI算法要對數據做分類，從降維數據圖來看，實際上可以理解為在找一個曲線或曲面，其能夠將兩類數據很好地區(qū)分開。降維的算法有很多，例如PCA算法等，可以根據不同的實踐過程選用不同的算法。
接下來則是建模的過程。人工智能有不同的算法類別，例如傳統(tǒng)的機器學習以及近幾年熱門的深度學習。對惡意加密流量識別效果更好一些的是通過集成學習的算法，在一個集成學習模型里使用多個機器學習算法，或用一個機器學習算法去建立多個子模型。集成環(huán)境下的識別效果和準確率會更高。
第二類問題，高級威脅其中一種是惡意文件的變種，其變化速度很快。傳統(tǒng)的特征碼很難跟得上樣本新變種的產生速度。對此，可以將文件轉化成圖像，并通過卷積神經網絡對圖像的識別能力來對文件本身進行間接識別。相比于傳統(tǒng)的特征檢測算法，使用卷積神經網絡對圖像識別，它的計算復雜性并沒有那么高。
這里首先需要將惡意代碼映射為灰度圖像，并提取其灰度圖像特征。而后利用惡意代碼灰度圖像特征進行聚類，將聚類結果進行惡意代碼家族標注。再建立卷積神經元網絡CNN模型，并設置網絡結構參數和訓練參數。接著利用惡意代碼家族灰度圖像集合訓練卷積神經網絡，并建立檢測模型。最后利用檢測模型對惡意代碼及其變種進行家族檢測。
另一類問題是目前很多惡意程序從企業(yè)內部向外通信的時候，會使用隱蔽隧道。其中，DNS隱蔽隧道可以將待外泄數據以BASE64編碼后作為子域名，利用DNS協(xié)議穿過防火墻將數據傳送到受控服務器。也可以使用DNS協(xié)議的TXT等記錄類型發(fā)送請求和響應。同理，黑客注冊這個域的解析服務器，以獲取想要的數據內容。
ICMP隧道是比較常用的手段之一。它主要可以利用ICMP的Echo、Reply的數據包，找到其中的字段，然后將我們的數據進行填充。同理，也可以去通過編碼或者加密將外發(fā)數據轉化形式，然后通過一次次的多頻次的外發(fā)，將數據外發(fā)到受控的控制端上去。
HTTP隧道同樣是一種常用的隱蔽隧道。HTTP是一個應用層協(xié)議，應用層協(xié)議在兩端建立好訪問通道之后，我們可以用HTTP隧道去承載一些傳輸層、TCP/IP層的數據，其實就是通過上層的應用層去承載數據。在這樣的情況下，防火墻很難去對它進行有效攔截。
針對上述問題的建模，第一步是要獲得相應的工具流量或真實的隧道流量。之后對DNS等協(xié)議流量的特征向量進行提取，提取的內容包括協(xié)議本身的內容，以及統(tǒng)計的特征值，共同構成特征向量。最后再給到機器學習模型或集成學習算法模型進行訓練。模型訓練好之后，就可以有效地對前面提到的這些工具進行流量的模式識別。
上述所提到的模型，可以使用一些方式提升其準確率。與人工智能相關的是，可以使用不同的算法針對一個細分問題的不同類別數據進行分別建模，再將模型集成應用?；蚴褂猛粋€算法針對不同數據進行建模，再將模型并行使用。除了使用人工智能方式外，我們也可以考慮利用黑名單或白名單等手段提升模型準確度。
在建模的整體過程中，其實需要大量的流程和工具，可以通過建模平臺和工具腳本將整個過程串聯起來。目前許多算法平臺以及TensorFlow、MLlib等庫都是可以應用的。后續(xù)也可以通過多輪地迭代，去持續(xù)提升模型對新的樣本類別的適應性或降低模型的誤報率。
應用案例與實踐效果解析
應用層面，如果數據輸入來源是流量，則可以將訓練后的模型放到設備之中，而后將原始的網絡流量給到設備，這樣設備就可以去用內置解析引擎對流量進行協(xié)議解析，特征向量提取，之后可以給到AI模型檢測。
在對模型的訓練過程中，特別是神經網絡這類深度學習算法對算力的要求比較高，可以使用多臺設備或多塊顯卡進行訓練，機器學習算法對算力要求不高。同時，也可以使用一個分布式的架構對模型進行應用，前端設備專門進行流量的協(xié)議解析，解析之后生成元數據，后端的設備提取特征向量，再將特征向量給到模型進行檢測。
針對威脅的判斷過程中，不光可以用AI模型，也可以綜合其他的檢測手段。例如殺毒軟件引擎、Yara、特征、情報等，都可以去綜合地結合在一起應用，而不僅是使用AI模型的檢測效果。針對惡意加密流量，可以在現網中應用，但對惡意加密流量在現網中的應用會有一個困難，就是如果發(fā)現了問題，很難去判斷這個問題是否真實存在，對此可以通過其他的間接手段來進行校驗。
例如發(fā)現內部主機訪問了外部的服務器，產生了惡意加密流量的告警行為。則可以對原主機進行判斷，確認其近期是否受過攻擊，是否存在惡意樣本或病毒木馬，是否受到過漏洞攻擊成功的行為。同時，遠端可以根據IP或域名情報判斷遠程的服務器是否存在問題，如果兩端存在問題，則整個事件是惡意的概率就會比較大。
如果是web類的攻擊，我們則可以去提取它的載荷，比如它是SQL注入，SQL注入之后，在流量中能提取到它注入的內容，經過解碼之后，就可以看到它注入的語句。像Webshell也是可以看到它里面的內容是否是一個不正常的訪問行為，XSS等威脅同理。
用AI算法進行威脅檢測后，也可以通過智能方法將威脅和我們所關注的資產、資產的網絡行為以及外部的威脅情報等不同維度的元素進行關聯，并利用知識圖譜技術，形成了一張動態(tài)圖。相對于只看表單數據，然后在不同數據間進行關聯，智能關聯能夠有效提升分析溯源的效率，是提升運營效率的一個有效手段。
最后列舉一個案例，下圖是一個完整的攻擊過程。一個勒索軟件被投遞到內部關注的資產，資產進行了DNS的解析行為，得到了IP，再之后發(fā)生了HTTP的隱蔽隧道，整個流程中不同的事件都會被原始地記錄下來。同時，系統(tǒng)自動將不同的事件串起來，形成一個更高級的告警。同時整個過程也可以可視化的動態(tài)的展示出來，便于我們理解、回溯到底哪些資產、哪些外部的IP或設備與我們產生了聯系。
?
嘉賓介紹
富吉祥，畢業(yè)于東北大學信息安全專業(yè)。曾就職于KDDI中國、華為、盛邦安全，目前在金睛云華任職售前負責人和技術總監(jiān)，從事產品與解決方案工作。具有超過10年的網絡安全領域經驗，擅長人工智能、大數據和網絡流量分析技術高級威脅檢測分析領域的應用。歷年來以演講嘉賓身份受邀出席ISC網絡安全大會、XCon安全焦點信息安全技術峰會，接受權威媒體安全?！杜Ｈ嗽L談》專訪，在《企業(yè)高級威脅防護指南》報告發(fā)布會上做演講分享，在業(yè)界享有良好口碑。
