引言

傳統(tǒng)的網(wǎng)絡(luò)安全防護(hù)手段主要是通過(guò)單點(diǎn)的網(wǎng)絡(luò)安全設(shè)備，隨著網(wǎng)絡(luò)攻擊的方式和手段不斷地變化，大數(shù)據(jù)和人工智能技術(shù)也在最近十年飛速地發(fā)展，網(wǎng)絡(luò)安全防護(hù)也逐漸開(kāi)始擁抱大數(shù)據(jù)和人工智能。傳統(tǒng)的安全設(shè)備和防護(hù)手段容易形成數(shù)據(jù)孤島，一種設(shè)備只能解決某一方面的問(wèn)題，基于已有特征進(jìn)行匹配，未將數(shù)據(jù)進(jìn)行集中、組合和關(guān)聯(lián)，缺乏有效的上下文分析，無(wú)法進(jìn)行深度分析，無(wú)法發(fā)現(xiàn)未知或隱蔽的威脅。通過(guò)大數(shù)據(jù)和人工智能的方法，可以將各種網(wǎng)絡(luò)安全相關(guān)的數(shù)據(jù)集中關(guān)聯(lián)和分析，這是網(wǎng)絡(luò)安全分析的長(zhǎng)期發(fā)展方向。

一、當(dāng)前存在的問(wèn)題

網(wǎng)絡(luò)安全大數(shù)據(jù)這塊也經(jīng)歷了很多年發(fā)展，但是在工程實(shí)踐中，針對(duì)網(wǎng)絡(luò)安全問(wèn)題的防護(hù)還是存在很多欠缺的地方，市場(chǎng)這塊也集中在監(jiān)管類的安全大數(shù)據(jù)產(chǎn)品，運(yùn)營(yíng)類安全大數(shù)據(jù)市場(chǎng)需求偏少。結(jié)合自己對(duì)網(wǎng)絡(luò)安全大數(shù)據(jù)的了解，存在以下幾方面的問(wèn)題：

1.數(shù)據(jù)對(duì)接成本高

涉及到不同廠商、不同設(shè)備的數(shù)據(jù)對(duì)接，缺乏統(tǒng)一的數(shù)據(jù)對(duì)接標(biāo)準(zhǔn)和規(guī)范，都是歷史遺留的問(wèn)題，不光是技術(shù)升級(jí)的成本，還涉及到廠商設(shè)備升級(jí)的費(fèi)用問(wèn)題，畢竟天下沒(méi)有免費(fèi)的午餐，項(xiàng)目本身的協(xié)調(diào)成本大于技術(shù)維護(hù)成本。如何通過(guò)技術(shù)改進(jìn)，實(shí)現(xiàn)快速對(duì)接降低成本是需要考慮的。

2.檢測(cè)能力普遍不足

目前各大廠商對(duì)安全大數(shù)據(jù)的宣傳是解決未知和隱蔽的高級(jí)可持續(xù)性威脅，但是基于產(chǎn)品應(yīng)用的情況來(lái)看，很多遠(yuǎn)遠(yuǎn)滿足不了這個(gè)宣傳策略。那問(wèn)題點(diǎn)在哪里了，站在我思考的角度來(lái)看，還是出在數(shù)據(jù)問(wèn)題上，目前接入的一些網(wǎng)絡(luò)安全設(shè)備數(shù)據(jù)，本質(zhì)上還是接入的基于特征匹配的部分日志數(shù)據(jù)，而基于主機(jī)、服務(wù)器、程序等實(shí)體對(duì)象操作行為數(shù)據(jù)和流量數(shù)據(jù)偏少。應(yīng)當(dāng)摒棄過(guò)度依賴基于特征匹配的思路，而應(yīng)當(dāng)從數(shù)據(jù)的選擇上就要考慮需要基于原始行為和原始流量的數(shù)據(jù)進(jìn)行分析，避免部分特征匹配的數(shù)據(jù)成為分析的干擾源。

3.業(yè)務(wù)理解程度不夠

網(wǎng)絡(luò)安全大數(shù)據(jù)產(chǎn)品目前主要還是以相關(guān)國(guó)家標(biāo)準(zhǔn)進(jìn)行建設(shè)，重點(diǎn)還是停留在合規(guī)監(jiān)管層面，產(chǎn)品研發(fā)更多地在按標(biāo)準(zhǔn)依葫蘆畫瓢，以達(dá)到國(guó)家相關(guān)部門的測(cè)評(píng)為準(zhǔn)則，其實(shí)國(guó)家相關(guān)部門出的標(biāo)準(zhǔn)和測(cè)試都是基于單點(diǎn)的思路和規(guī)則，沒(méi)有從整體和全局的角度去系統(tǒng)性測(cè)試產(chǎn)品，很多廠商為了應(yīng)付測(cè)試也鉆了空子。正常情況下，應(yīng)當(dāng)是和相關(guān)部門、企業(yè)一起結(jié)合實(shí)際的網(wǎng)絡(luò)安全防護(hù)場(chǎng)景進(jìn)行研究，以攻為守，基于業(yè)務(wù)需求進(jìn)行建模，以滿足實(shí)用實(shí)戰(zhàn)為導(dǎo)向。

4.系統(tǒng)和運(yùn)營(yíng)沒(méi)有深度結(jié)合

很多部門、企業(yè)建設(shè)了網(wǎng)絡(luò)安全大數(shù)據(jù)相關(guān)的系統(tǒng)，僅僅只停留在應(yīng)對(duì)上級(jí)主管部門檢查的層面，沒(méi)有很好利用系統(tǒng)，沒(méi)有專門的網(wǎng)絡(luò)安全人員進(jìn)行運(yùn)營(yíng)管理。就好比軍工廠交付武器給軍隊(duì)，如何將武器的作用發(fā)揮至最大化，如何改進(jìn)武器適應(yīng)戰(zhàn)場(chǎng)，還得練兵備戰(zhàn)，與人的意志結(jié)合，將武器效能最大化。安全大數(shù)據(jù)系統(tǒng)也一樣，必須有專業(yè)的網(wǎng)絡(luò)安全人員進(jìn)行運(yùn)營(yíng)和管理，將系統(tǒng)的作用最大化，提升安全大數(shù)據(jù)系統(tǒng)練兵備戰(zhàn)的能力。

二、安全大數(shù)據(jù)的基本過(guò)程

安全大數(shù)據(jù)基本過(guò)程包括數(shù)據(jù)采集、數(shù)據(jù)接入、數(shù)據(jù)預(yù)處理、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析、結(jié)果展示，各行各業(yè)大數(shù)據(jù)分析都是這個(gè)思路和流程，只是需要處理的問(wèn)題不一樣，我們面向的是網(wǎng)絡(luò)安全大數(shù)據(jù)這塊。

1.數(shù)據(jù)采集

數(shù)據(jù)是基礎(chǔ)，必須接入更多的安全相關(guān)數(shù)據(jù)，安全大數(shù)據(jù)一方面是要解決基于已知特征的數(shù)據(jù)分析，更重要方面是要解決未知或隱蔽的威脅，那就要弄清底層邏輯是什么?；谝阎卣鲾?shù)據(jù)這塊，目前存在一個(gè)點(diǎn)就是不同廠商的安全設(shè)備的能力不一樣，無(wú)法從根本上規(guī)避它提供數(shù)據(jù)的準(zhǔn)確性。那有一個(gè)重要的核心點(diǎn)就是需要什么樣的數(shù)據(jù)，從什么方面去挖掘和分析威脅，任何事物都是運(yùn)動(dòng)的，我們可以變化中尋求最優(yōu)解，網(wǎng)絡(luò)威脅也一樣。我們應(yīng)當(dāng)獲取每個(gè)實(shí)體最原始的行為數(shù)據(jù)，從動(dòng)機(jī)和行為入手，不能忽視最合適的數(shù)據(jù)源。

2.數(shù)據(jù)接入

需要考慮的是多種數(shù)據(jù)源接入和時(shí)間同步問(wèn)題，為什么要考慮這個(gè)問(wèn)題，因?yàn)橛行?shù)據(jù)之間有相互關(guān)聯(lián)，多種數(shù)據(jù)在時(shí)間序列上來(lái)看，就形成了一定的可疑數(shù)據(jù)塊，這就是全局與個(gè)體的關(guān)系，威脅行為任何時(shí)刻都有可能發(fā)生，能提前感知就能減少風(fēng)險(xiǎn)。很多廠商在做產(chǎn)品設(shè)計(jì)的時(shí)候，忽略了數(shù)據(jù)接入的重要性。根據(jù)業(yè)務(wù)場(chǎng)景需求，一定要弄清每種業(yè)務(wù)場(chǎng)景需要的數(shù)據(jù)源接入原則，從時(shí)間、數(shù)據(jù)量上要周全考慮，并不是所有業(yè)務(wù)場(chǎng)景，所有的數(shù)據(jù)接入都是一致性要求，這個(gè)必須要區(qū)別對(duì)待，具體問(wèn)題具體分析。

3.數(shù)據(jù)預(yù)處理

需要對(duì)接入的數(shù)據(jù)進(jìn)行批量、快速處理滿足需求，如何預(yù)處理數(shù)據(jù)，這個(gè)需要考慮的點(diǎn)也是要根據(jù)業(yè)務(wù)場(chǎng)景來(lái)定義。通過(guò)逆向方式分析，以結(jié)果為導(dǎo)向，從數(shù)據(jù)分析和存儲(chǔ)要求進(jìn)行定義，剔除干擾和多余數(shù)據(jù)，減少數(shù)據(jù)分析時(shí)系統(tǒng)的開(kāi)銷。

4. 數(shù)據(jù)存儲(chǔ)

采用基于開(kāi)源的大數(shù)據(jù)技術(shù)框架，每個(gè)公司的技術(shù)實(shí)現(xiàn)都大同小異，重點(diǎn)需要考慮的是數(shù)據(jù)的寫入和查詢效率，數(shù)據(jù)的備份恢復(fù)問(wèn)題。

5.數(shù)據(jù)分析

大數(shù)據(jù)分析的前提是要借助流式計(jì)算引擎，目前主流廠商都是選擇Flink。數(shù)據(jù)分析的前提是要有具體的業(yè)務(wù)場(chǎng)景，再基于業(yè)務(wù)場(chǎng)景進(jìn)行業(yè)務(wù)建模，再根據(jù)業(yè)務(wù)模型確定采用什么技術(shù)方案實(shí)現(xiàn)業(yè)務(wù)需求。一般會(huì)從普通規(guī)則、動(dòng)態(tài)基線、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等技術(shù)方法去實(shí)現(xiàn)，通過(guò)普通規(guī)則去匹配，也可以運(yùn)用基線比較方法，也可以使用機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的方法進(jìn)行異常行為分析。

下面重點(diǎn)講一下機(jī)器學(xué)習(xí)和深度學(xué)習(xí)相關(guān)的數(shù)據(jù)分析方法。首先我們理清幾個(gè)概念，模型、算法、數(shù)據(jù)、訓(xùn)練程序的關(guān)系。

模型就是根據(jù)數(shù)據(jù)訓(xùn)練出來(lái)的一段程序，針對(duì)某一業(yè)務(wù)場(chǎng)景需求，系統(tǒng)程序調(diào)用模型，輸入數(shù)據(jù)，得出分析結(jié)果。那模型一般如何訓(xùn)練?那就可以分為系統(tǒng)外訓(xùn)練和系統(tǒng)內(nèi)訓(xùn)練了。

系統(tǒng)外訓(xùn)練就是與現(xiàn)有系統(tǒng)獨(dú)立，互不干涉，有專門的訓(xùn)練環(huán)境，模型訓(xùn)練好了，導(dǎo)入現(xiàn)有系統(tǒng)升級(jí)進(jìn)行使用，再通過(guò)現(xiàn)有系統(tǒng)使用情況進(jìn)行評(píng)估和反饋，不斷地在訓(xùn)練環(huán)境進(jìn)行訓(xùn)練，這樣形成一個(gè)閉環(huán)反饋機(jī)制。

系統(tǒng)內(nèi)訓(xùn)練就是基于現(xiàn)有系統(tǒng)數(shù)據(jù)進(jìn)行訓(xùn)練，模型訓(xùn)練好了，系統(tǒng)程序直接進(jìn)行調(diào)用，差不多是個(gè)半自動(dòng)化的過(guò)程，同時(shí)網(wǎng)絡(luò)安全運(yùn)營(yíng)人員也可以根據(jù)人為的經(jīng)驗(yàn)和現(xiàn)有模型的結(jié)果不斷地去分析和標(biāo)記數(shù)據(jù)，借助人的作用不斷去強(qiáng)化訓(xùn)練這個(gè)模型，這樣系統(tǒng)就包括兩部分功能，一部分是業(yè)務(wù)使用，一部分是基于現(xiàn)有業(yè)務(wù)數(shù)據(jù)在系統(tǒng)內(nèi)不斷訓(xùn)練模型，不斷地智能驗(yàn)證效果，減少人為過(guò)多地干預(yù)，這樣安全運(yùn)營(yíng)人員和系統(tǒng)就深度綁定了，因?yàn)榘踩髷?shù)據(jù)產(chǎn)品設(shè)計(jì)過(guò)程中，要充分考慮和借助專業(yè)的網(wǎng)絡(luò)安全人員來(lái)訓(xùn)練模型，說(shuō)個(gè)題外話，網(wǎng)絡(luò)安全人員不能脫離人工智能相關(guān)的技術(shù)。

算法是核心，基于業(yè)務(wù)場(chǎng)景的分析，解決客戶什么問(wèn)題，考慮周全之后，確定需要分析的數(shù)據(jù)源，希望達(dá)到的預(yù)期效果，選擇合適的人工智能算法，算法也不是可以解決所有問(wèn)題，它是根據(jù)不同的問(wèn)題有對(duì)應(yīng)的算法，一旦確定了算法，在訓(xùn)練過(guò)程中不能隨便去變更算法，那這樣之前的訓(xùn)練就白做了。

數(shù)據(jù)是基礎(chǔ)，往往網(wǎng)絡(luò)安全的數(shù)據(jù)問(wèn)題是個(gè)難點(diǎn)，很多場(chǎng)景很難找到合適的樣本數(shù)據(jù)，比如說(shuō)客戶提供一個(gè)新場(chǎng)景，自己覺(jué)得可以用何種算法來(lái)實(shí)現(xiàn)，但是樣本數(shù)據(jù)滿足不了要求。對(duì)數(shù)據(jù)的整合和規(guī)范，這個(gè)是網(wǎng)絡(luò)安全采用人工智能學(xué)習(xí)的一個(gè)難點(diǎn)和未來(lái)必須要解決的方向。

訓(xùn)練程序顧名思義就是訓(xùn)練模型的程序，這個(gè)也不存在技術(shù)難點(diǎn)。

6.結(jié)果展示

將存儲(chǔ)和分析結(jié)果數(shù)據(jù)如何進(jìn)行展示，這個(gè)也是一個(gè)重點(diǎn)，以什么方式傳遞給用戶很關(guān)鍵。安全大數(shù)據(jù)主要是通過(guò)機(jī)器進(jìn)行數(shù)據(jù)分析直接得出結(jié)果，還有基于原始數(shù)據(jù)的結(jié)果。一定要基于這兩方面的結(jié)果數(shù)據(jù)進(jìn)行考慮，因?yàn)闄C(jī)器和程序分析的始終無(wú)法代替人的大腦思考，況且人腦思考問(wèn)題和決策也不能保證萬(wàn)無(wú)一失。所以說(shuō)在產(chǎn)品設(shè)計(jì)的時(shí)候，一定要基于兩方面的考慮：一是要支持原始數(shù)據(jù)的查詢和統(tǒng)計(jì)，用戶根據(jù)自己的安全經(jīng)驗(yàn)進(jìn)行分析，就像刑偵人員基于自己的經(jīng)驗(yàn)進(jìn)行辦案一樣，任何辦案技術(shù)加持情況下，也離不開(kāi)偵查員的分析，任何精確制導(dǎo)和火炮打擊情況下，在特定情況下也離不開(kāi)特種兵的目標(biāo)引導(dǎo);二是基于機(jī)器和程序分析的結(jié)果進(jìn)行展示和二次分析驗(yàn)證，機(jī)器永遠(yuǎn)只是輔助人類進(jìn)行思考和決策。

三、總結(jié)

網(wǎng)絡(luò)安全的本質(zhì)在于對(duì)抗 ，對(duì)抗的本質(zhì)在于攻防兩端能力的較量，在于人性的較量，道高一尺，魔高一丈，魔高一尺，道高一丈，此消彼長(zhǎng)，網(wǎng)絡(luò)安全永不停步，現(xiàn)在很多產(chǎn)品的設(shè)計(jì)脫離了攻防對(duì)抗的本質(zhì)，不管是物理隔離的涉密網(wǎng)、互聯(lián)網(wǎng)都離不開(kāi)攻防對(duì)抗的思路，應(yīng)當(dāng)將紅藍(lán)對(duì)抗的經(jīng)驗(yàn)和數(shù)據(jù)應(yīng)用到產(chǎn)品中，進(jìn)攻是最好的防守，沒(méi)有攻防數(shù)據(jù)的支撐，人工智能在網(wǎng)絡(luò)安全分析中的應(yīng)用也是巧婦難為無(wú)米之炊。網(wǎng)絡(luò)安全離不開(kāi)人性研究、攻防對(duì)抗、云計(jì)算、大數(shù)據(jù)及人工智能的加持。道阻且長(zhǎng)，行則將至，行而不輟，未來(lái)可期。