隨著互聯(lián)網(wǎng)、智能移動設備、物聯(lián)網(wǎng)技術和云計算的快速發(fā)展和不斷應用，組織和企業(yè)的網(wǎng)絡和信息系統(tǒng)每天都在產(chǎn)生大量的數(shù)據(jù)，而且產(chǎn)生的速度越來越快，這使得我們已經(jīng)進入了大數(shù)據(jù)時代。大數(shù)據(jù)時代的安全信息具有海量、高速、多樣、低價值密度等特點，如何對安全大數(shù)據(jù)進行管理和分析，幫助用戶獲取智能的、深入的有價值的信息變成了信息安全分析和管理領域的重要課題之一。

盡管傳統(tǒng)的安全管理平臺在滿足客戶安全管理需求、支撐客戶安全管理工作方面起了很關鍵的作用，但隨著信息安全威脅的不斷變化，企業(yè)和組織的日常信息安全管理工作面臨著新的形勢。企業(yè)和組織需要應對的攻擊和威脅變得日益復雜，這些威脅具有隱蔽性強、潛伏期長、持續(xù)性強的特點。針對復雜攻擊，企業(yè)和組織尤其需要加強對核心敏感數(shù)據(jù)和業(yè)務系統(tǒng)的保護，防止由于安全攻擊給企業(yè)和組織帶來損害。同時，企業(yè)和組織需依法加強對信息安全的管理以滿足國家政策法規(guī)的要求，這對企業(yè)和組織的信息安全管理和分析提出了新的挑戰(zhàn)。

傳統(tǒng)安全管理平臺的分析方法和處理能力已無法滿足海量數(shù)據(jù)環(huán)境下的信息安全分析和管理的需求，主要表現(xiàn)在以下幾個方面：

1) 高速海量安全數(shù)據(jù)的采集和存儲變得非常困難

不同規(guī)模的大型企業(yè)和組織每天發(fā)生的事件在上百億到上千億條之間。隨著企業(yè)和組織規(guī)模的擴大，雇員的增加，部署設備的數(shù)量增加和性能擴大，應用系統(tǒng)的日益增多，IT環(huán)境向云計算架構的遷移，大型組織和企業(yè)的用戶環(huán)境發(fā)生了很大的變化，安全信息的規(guī)模變得非常龐大和種類繁多。企業(yè)和組織為了應對安全威脅的挑戰(zhàn)，需要采集的信息種類增加，數(shù)量增大，這使以日志和事件為代表的安全信息的采集規(guī)模變得日益龐大，由傳統(tǒng)的數(shù)千EPS（Event Per Second）提升到數(shù)萬EPS，如US CERT在2013年時每天利用SIEM分析的事件量為20億條；中國CNCERT2014年時每天捕獲的網(wǎng)絡安全事件約為2000億條，近10大類。如此海量的數(shù)據(jù)規(guī)模的采集和存儲，這對使用傳統(tǒng)技術如關系型數(shù)據(jù)庫（OldSQL）的安全管理平臺（SOC）來說是不可完成的任務。傳統(tǒng)的關系型數(shù)據(jù)庫技術架構在處理數(shù)據(jù)擴展上遇到了困難，當數(shù)據(jù)表不斷擴大，單臺機器存儲不夠用時，需要使用多臺機器，傳統(tǒng)的關系型數(shù)據(jù)庫為了應對這種情況，需要使用復雜的技術將多個關系表分片到多臺機器上，但隨著數(shù)據(jù)量繼續(xù)增大，數(shù)量最多的數(shù)據(jù)表又無法放在一臺機器上，這將會成為瓶頸。因此，傳統(tǒng)的安全管理平臺的數(shù)據(jù)處理架構無法滿足大數(shù)據(jù)流量的現(xiàn)實情況。

2) 異構數(shù)據(jù)的存儲和管理變得困難

最新的安全檢測和分析技術不僅有對安全日志和事件的分析（日志審計），還有對原始流量的分析（IDS/ IPS），對網(wǎng)絡流的分析（NBA/DDoS Detector），對全包流量（Sniffer）和對文件的分析（APT檢測/沙箱/郵件阻斷系統(tǒng)）等，這些分析技術僅能對多種異構數(shù)據(jù)進行快速檢測和小數(shù)據(jù)存儲，而無法對海量的歷史數(shù)據(jù)進行存儲及后期的分析，即無法檢測長周期數(shù)據(jù)，這使得后期的取證和分析變得困難。

3) 對歷史數(shù)據(jù)的分析能力偏弱

傳統(tǒng)的安全管理平臺可以保存歷史數(shù)據(jù)。當安全分析人員創(chuàng)建一條關聯(lián)分析規(guī)則識別威脅時，想了解歷史數(shù)據(jù)中是否有相同的威脅，則需對歷史數(shù)據(jù)進行檢測以發(fā)現(xiàn)歷史上已發(fā)生的威脅。隨著海量事件的增加，對歷史數(shù)據(jù)的分析和檢測變得異常困難。首先，以前保留大量的數(shù)據(jù)在經(jīng)濟上不可行，盡管隨著存儲成本的下降，使組織和企業(yè)可以保存較長時間的安全數(shù)據(jù)，同時還需要低成本的數(shù)據(jù)倉庫技術用于管理數(shù)據(jù)，隨著歷史數(shù)據(jù)的增大，搜索速度則快速下降，導致安全分析人員對歷史數(shù)據(jù)的分析效率和時間無法忍受，同時會耗費大量的計算資源，影響系統(tǒng)工作。針對其他的實時分析工具，由于無法保存歷史數(shù)據(jù)，更無法對歷史數(shù)據(jù)進行檢測。低成本的海量數(shù)據(jù)的存儲與管理，快速高效的歷史數(shù)據(jù)的分析對傳統(tǒng)的安全管理平臺提出了挑戰(zhàn)。

4) 安全事件的調查效率較低

在信息安全分析和管理工作中，盡管有安全分析等自動化工具的大量建設和部署，但最重要的仍然是人——安全分析師。安全分析師的工作是無法被替代和減少的，只能越來越重要。而在大數(shù)據(jù)時代，安全分析師必須借助有效的分析工具才能完成對海量數(shù)據(jù)的分析和調查，否則將會被浩如煙海的數(shù)據(jù)累死而一無所獲。傳統(tǒng)的安全管理平臺通過對關系型數(shù)據(jù)庫的查詢來幫助安全分析人員完成安全事件的調查，隨著數(shù)據(jù)量增大，查詢效率變得非常低，查詢延時大，再加上復雜的組合查詢條件，查詢效率和時延根本無法滿足安全分析人員對事件調查的需求，亟需改變這種查詢低效的問題。

5) 有效的分析方法依然缺乏

事件關聯(lián)分析一直被認為是傳統(tǒng)的安全管理平臺中識別安全威脅的關鍵技術。但多年以來，一直飽受詬病。傳統(tǒng)的關聯(lián)分析基本都屬于基于規(guī)則的關聯(lián)分析，即針對威脅的已知場景提取威脅特征，并依據(jù)這些特征對后續(xù)數(shù)據(jù)進行匹配和分析，以發(fā)現(xiàn)符合特征的安全威脅，特征關聯(lián)只能快速識別規(guī)則所能描述的已知的問題，無法識別未知的攻擊，或者是尚未被描述成規(guī)則的攻擊和行為。當前的攻擊和違規(guī)越來越隱蔽和復雜，如0Day漏洞和APT攻擊都利用了未知的漏洞和威脅方法，基于規(guī)則的分析則無能為力。這種被動關聯(lián)的效果嚴重受制于規(guī)則庫的積累。而規(guī)則的撰寫又需要專業(yè)的安全領域知識，因此實用性受到很大制約。客戶迫切需要一種更加有效的高級分析機制，借助機器學習技術和行為建模技術，智能化地去識別網(wǎng)絡中的攻擊，尤其是未知的攻擊行為。

傳統(tǒng)的關聯(lián)分析以事件為主要分析對象。由于事件自身存在很多局限性，分析出來的結果也難以準確。因此，需要將更廣泛的安全要素信息納入關聯(lián)分析的范圍之中，包括情境信息（譬如資產(chǎn)信息、拓撲性能、可用性與性能信息、弱點信息、威脅情報信息、身份信息、業(yè)務信息等）、網(wǎng)絡流信息，甚至是原始報文信息。

大數(shù)據(jù)時代的信息安全分析正在轉變成為如何對海量的數(shù)據(jù)進行分析和挖掘。通過海量數(shù)據(jù)的深度挖掘與機器學習，使安全分析人員可以有效地應對高級可持續(xù)性威脅（APT，Advanced Persistent Threat）和來自內部人員的威脅，發(fā)現(xiàn)未知威脅。只有通過針對海量數(shù)據(jù)的分析挖掘才能使客戶應對日益復雜的攻擊和威脅，實現(xiàn)由“被動發(fā)現(xiàn)”到“主動發(fā)現(xiàn)”的信息安全分析和管理的升級。

6) 對于趨勢性的東西預測較難，對早期預警的能力不足

隨著信息安全建設逐步引向深入，管理者越發(fā)體會到了安全工作是全局一盤棋。正所謂“不謀全局者，不足謀一域”，網(wǎng)絡安全管理工作急切需要獲悉全網(wǎng)的整體安全態(tài)勢。傳統(tǒng)的安全管理平臺對實時產(chǎn)生的數(shù)據(jù)進行分析的能力較強，為組織的安全管理人員在海量數(shù)據(jù)態(tài)勢要素信息的獲取、分析和展示等諸多方面提供有力的支撐，幫助安全管理人員掌握整體安全態(tài)勢。但如何從當前和歷史數(shù)據(jù)中對未來趨勢進行預測的能力較弱。目前態(tài)勢感知和分析的方法還比較少，如何根據(jù)已有的數(shù)據(jù)產(chǎn)生早期預警，對可能發(fā)生的威脅進行提前預防，這將能更好的提高組織的信息安全分析和管理水平。隨著處理數(shù)據(jù)規(guī)模的快速增長，如何從海量數(shù)據(jù)中快速感知當前組織面臨的信息安全態(tài)勢對安全管理平臺提出了新的挑戰(zhàn)。

7) 系統(tǒng)交互能力有限，數(shù)據(jù)展示效果有待提高

盡管傳統(tǒng)的安全管理平臺提供了一些數(shù)據(jù)可視化的工具，可使安全分析的數(shù)據(jù)和結果可視化的呈現(xiàn)給安全分析人員。但現(xiàn)有系統(tǒng)的交互能力都較弱，安全分析人員使用安全管理平臺與數(shù)據(jù)進行交互分析，如事件調查，歷史回溯，條件組合查詢，結果查看等的效果都有待提高，才能滿足安全分析人員的需求。無論何時，人都是信息安全分析和管理的第一要素，因此良好的人機交互才能為安全分析人員提供了一個有力的武器，良好的工作舞臺。

8) 如何進行積極主動的安全管理？

當前的安全管理平臺以安全事件為核心分析要素，偏事后分析，以被動響應為主。安全事件是對已經(jīng)或者正在發(fā)生的行為的描述，分析結果更多地指導我們進行故障處置和應急響應。對于客戶而言，更希望安全管理平臺能夠告訴他們哪里可能會出問題，而不僅僅是哪里出了問題。因此，積極主動的安全管理至關重要，客戶迫切需要一套前攝性的安全分析、管理機制和技術支撐手段，尤其是能夠主動地應用各種安全威脅情報信息。

針對以上安管平臺面臨的新挑戰(zhàn)，我們該如何辦？

應對安全大數(shù)據(jù)帶來的新問題，還需要用大數(shù)據(jù)的技術來解決。只有將大數(shù)據(jù)分析技術充分融合到現(xiàn)有的安管平臺技術架構中才能使傳統(tǒng)的安管平臺煥發(fā)新生。我們將融合大數(shù)據(jù)技術的新一代安管平臺及其配套機制稱作SOC3.0。

在SOC3.0時代，安管平臺將繼續(xù)緊密圍繞業(yè)務、采用主動的和真正具有安全智能的管理技術，并采用融合大數(shù)據(jù)技術的軟件架構，為組織的核心戰(zhàn)略和業(yè)務使命達成服務，滿足安全合規(guī)和監(jiān)管需求，為安全運維人員和分析師提供日常安全分析和威脅管理的工作利器，為組織運營管理提供決策支撐，真正成為組織信息安全保障體系中的核心和工作中樞。

在DT時代，融合大數(shù)據(jù)技術的SOC3.0應具有以下技術特征：以數(shù)據(jù)為核心，有新技術提供低成本、高可靠、可彈性擴展的數(shù)據(jù)處理能力，滿足組織對異構海量安全數(shù)據(jù)的處理需求；以關聯(lián)分析（知所已知）和行為分析（知所未知）為兩翼，為安全管理人員提供智能化分析方法，以應對日益復雜的隱蔽攻擊和威脅，從數(shù)據(jù)中發(fā)現(xiàn)價值；以運維和管理為動力，提供流程輔助、合規(guī)管控、安全分析和決策支持等能力；同時，通過可視化技術和人機交互為安全管理人員提供工作接口，展現(xiàn)數(shù)據(jù)價值。

最后，必須指出，SOC3.0不是對現(xiàn)有安管平臺的否定和顛覆，現(xiàn)有的安管平臺仍將具備應用場景。SOC3.0是順應大數(shù)據(jù)時代要求的產(chǎn)物，但目前、甚至最近幾年還有很多企業(yè)和組織的安全管理并非都居于大數(shù)據(jù)場景之下，我們也不能一味求變，還需要切合自身實際。因此，SOC3.0仍將與現(xiàn)有安管平臺并存一段時間。