關(guān)于企業(yè)安全威脅數(shù)據(jù)收集分析是一個(gè)系統(tǒng)工程，每天在我們網(wǎng)絡(luò)環(huán)境中，都會(huì)產(chǎn)生各種形式的威脅數(shù)據(jù)。為了網(wǎng)絡(luò)安全防護(hù)，會(huì)收集各種流量日志、審計(jì)日志、報(bào)警日志、上網(wǎng)設(shè)備日志，安防設(shè)備日志等等。很多公司都有自己的數(shù)據(jù)處理流程，大數(shù)據(jù)管理工具。我們根據(jù)過(guò)去的實(shí)踐經(jīng)驗(yàn)，總結(jié)出了一個(gè)威脅數(shù)據(jù)處理模型，因?yàn)橐迷鲩L(zhǎng)黑客的模型的命名方式，我們稱這種模式為：沙漏式威脅信息處理模型。

網(wǎng)絡(luò)環(huán)境下構(gòu)建的安全發(fā)現(xiàn)設(shè)備或服務(wù)，其主要的作用是，增加我方的防御厚度，減緩攻方的攻速，能通過(guò)足夠厚的防御措施，在攻方攻破之前發(fā)現(xiàn)威脅，殘血堅(jiān)持到最后等回血，并且提醒友方人員的服務(wù)不要輕易送人頭。

一、沙漏威脅處理模型

圖1.威脅分析沙漏模型

威脅數(shù)據(jù)組織：

我們參考軟件設(shè)計(jì)模式、神經(jīng)網(wǎng)絡(luò)層、增長(zhǎng)黑客模型的歸納方法，歸納出一個(gè)威脅數(shù)據(jù)處理模型。通過(guò)這個(gè)模型，可以看出數(shù)據(jù)收集、處理、展現(xiàn)基本流程脈絡(luò)，根據(jù)自己的實(shí)際需求情況，精簡(jiǎn)模型或是擴(kuò)展模型，來(lái)夠建我們的防御系統(tǒng)。

下面我們根據(jù)實(shí)際情況，概況出一個(gè)基本的模型，由若干層和多種元素構(gòu)成。一個(gè)綜合威脅信息聚合模型，像一個(gè)軟件系統(tǒng)服務(wù)一樣， 有輸入層、處理層、輸出層。輸入層的數(shù)據(jù)源來(lái)自不同的分類數(shù)據(jù)類型：代理流量、鏡像流量、真實(shí)流量、主機(jī)數(shù)據(jù)、設(shè)備數(shù)據(jù)、掃描數(shù)據(jù)等等。

通過(guò)收集不同級(jí)別的威脅信息數(shù)據(jù)碎片，根據(jù)威脅信息碎片類型分類、價(jià)值權(quán)重級(jí)別、數(shù)據(jù)的屬性。將低信息量的威脅信息數(shù)據(jù)碎片，用信息化手段升級(jí)。將不同屬性的數(shù)據(jù)碎片組合，提升威脅發(fā)現(xiàn)能力。

• 代理流量：代理是一種概括的統(tǒng)稱，很多企業(yè)都有網(wǎng)關(guān)設(shè)備，7層或4層，這種設(shè)備服務(wù)會(huì)產(chǎn)生流相關(guān)量日志數(shù)據(jù)，并具有準(zhǔn)入認(rèn)證的功能。
• 鏡像流量：鏡像流量比較常見，通過(guò)流量鏡像發(fā)給威脅分析設(shè)備與分析服務(wù)，設(shè)備系統(tǒng)反饋威脅檢測(cè)報(bào)警。
• 真實(shí)流量：Nginx日志， 蜜罐日志等真實(shí)服務(wù)的流量數(shù)據(jù)產(chǎn)生的落地日志信息。
• 主機(jī)數(shù)據(jù)：無(wú)論是探針APM、Zabbix Agent、OSQuery、HIDS都會(huì)產(chǎn)生與主機(jī)相關(guān)的指標(biāo)數(shù)據(jù)， 這些數(shù)據(jù)異常閥值同樣能起動(dòng)預(yù)示報(bào)警的作用。
• 設(shè)備數(shù)據(jù)：重要敏感設(shè)備產(chǎn)生的數(shù)據(jù)， 這數(shù)據(jù)有自己的異常數(shù)據(jù)監(jiān)控。
• 掃描數(shù)據(jù)：主動(dòng)掃描采集的數(shù)據(jù)：端口、服務(wù)掃描等。

層次劃分：

第一層：輸入層(數(shù)據(jù)集中)：在輸入層出現(xiàn)了以上提到的各種服務(wù)、設(shè)備產(chǎn)生的數(shù)據(jù)。這一層關(guān)鍵點(diǎn)是數(shù)據(jù)的收集，如果沒(méi)有數(shù)據(jù)的收集，后續(xù)的橫向和垂直的分析工作都無(wú)數(shù)據(jù)可分析處理。

第二層：處理層(數(shù)據(jù)加工)：數(shù)據(jù)只是收集而不處理，只是一種數(shù)據(jù)的堆砌。在數(shù)據(jù)處理層做了幾件事情，

• 比如數(shù)據(jù)的快速非格式化。(切割)
• 后期數(shù)據(jù)聚類統(tǒng)計(jì)提純的結(jié)構(gòu)化。(整形)
• 數(shù)據(jù)清洗過(guò)濾與打標(biāo)簽。(加工)

威脅情報(bào)數(shù)據(jù)可以有多種形態(tài)，基于流數(shù)據(jù)形式的信息，比較適合使用管道處理模式，在管道處理模式，根據(jù)不同的信息數(shù)據(jù)輸入，在處理槽中，采用部署不同的數(shù)據(jù)處理技能單元。

裝備、技能：

[[282774]]

第三層：輸出層(威脅發(fā)現(xiàn))：對(duì)數(shù)據(jù)進(jìn)行去偽存真后，根據(jù)被打過(guò)的標(biāo)簽進(jìn)行策略分析落地，最后根據(jù)策略分析產(chǎn)出威脅信息數(shù)據(jù)。根據(jù)安全規(guī)則進(jìn)行報(bào)警信息推送。對(duì)加工好的威脅數(shù)據(jù)，進(jìn)行統(tǒng)計(jì)展示給用戶。

為什么采用漏斗的方式表達(dá)這種模型，因?yàn)橥{情報(bào)，去誤報(bào)的過(guò)程，整體就是過(guò)濾信息的過(guò)程，威脅信息由多變少的，逐漸的減少誤報(bào)。最后將過(guò)濾后的威脅情報(bào)進(jìn)行匯總，積累成區(qū)域型威脅情報(bào)庫(kù)，不斷的更新迭代。

二、安全角色分工

安全運(yùn)維人員當(dāng)面對(duì)如此之多的日志數(shù)據(jù)時(shí)，如何組織這些數(shù)據(jù)，在這些數(shù)據(jù)當(dāng)中發(fā)現(xiàn)有價(jià)值的信息，是一件很多挑戰(zhàn)的事情，不同的人在整個(gè)威脅發(fā)現(xiàn)系統(tǒng)構(gòu)建的過(guò)程中擔(dān)當(dāng)不同的角色。

每一種職業(yè)種類，都有自己特長(zhǎng)的和弱點(diǎn)，在某些場(chǎng)景下工作，有人適合在對(duì)抗路，有人適合在后期發(fā)力。各種職業(yè)人對(duì)威脅信息碎片組合不一樣，不同威脅碎片信息的屬性，不同的職業(yè)有不同的解讀和運(yùn)用。

• 安全運(yùn)維：對(duì)于安全維護(hù)相關(guān)人員來(lái)說(shuō)，最喜歡的體驗(yàn)是，將每天產(chǎn)生的原始威脅數(shù)據(jù)情報(bào)當(dāng)中的可疑信息，選最重要與危害最大的問(wèn)題進(jìn)行優(yōu)先報(bào)警，并找到相關(guān)責(zé)任人推送報(bào)警信息。安全運(yùn)維人員，需要不斷的迭代制作安全策略與報(bào)警規(guī)則。
• 數(shù)據(jù)運(yùn)維：將各種可見的威脅信息日志，進(jìn)行整理集中，運(yùn)用各種大數(shù)據(jù)工具，將數(shù)據(jù)進(jìn)行合理的存儲(chǔ)，保證數(shù)據(jù)完整性、有效性。
• 安全開發(fā)：提供操作界面，都所有可用的日志數(shù)據(jù)，提供查詢界面，查詢接口，完成信息查詢交互。
• 大數(shù)據(jù)算法：AI分析是安全分析的大腦。安全威脅發(fā)的方式方法有很多的種類，比如DNS解析相關(guān)、僵尸網(wǎng)絡(luò)相關(guān)、 WEB相關(guān)的，比如：XSS反射、SQL注入等等。

面一種同一種威脅事件數(shù)據(jù)，有多種檢測(cè)方法，比如針對(duì) SQL注意和XSS注入這種威脅的發(fā)現(xiàn)方式就有：

• 基于正則匹配。
• 基于SQL Injection模式配對(duì)。
• 基于自然語(yǔ)言處理算法。
• 基于神經(jīng)網(wǎng)絡(luò)算法。

同樣是神經(jīng)網(wǎng)絡(luò)，使用的具體算法不同，樣本不同，效果也不同， 比如：LSTM、MLP等。

有開源的檢測(cè)軟件，有商業(yè)軟件都具備威脅分析報(bào)警的功能，可以作為平時(shí)網(wǎng)絡(luò)環(huán)境中檢測(cè)威脅事件的手段。商業(yè)軟件的威脅分析過(guò)程是黑盒完成，用戶看不到具體威脅實(shí)現(xiàn)的方法策略，屬于產(chǎn)品核心的一部分。并且，無(wú)論是商業(yè)軟件，還是開源軟件都存在誤報(bào)的情況的，還有漏報(bào)的情況。針對(duì)這種情況，在實(shí)踐過(guò)程，我們采用相應(yīng)方法處理。

為了強(qiáng)化某些防御技能，加厚防御，有時(shí)需要疊加防御裝備，而疊加的防御裝備又不能千篇一律，可以根據(jù)不同的攻擊類型，在增加防御的同時(shí)，有減速的攻擊防御手段，有迷惑眩暈的對(duì)方的防御手段，有終結(jié)阻斷的對(duì)方攻擊的防御手段，有抵抗對(duì)方挖礦控制快速脫離受控的手段，等等。

1. 過(guò)濾：交叉檢查(垂直)

疊加檢測(cè)分析裝備與服務(wù)，提取頭部信息，是為了盡量的消除誤報(bào)。

舉例來(lái)說(shuō)，我們能通過(guò)流量鏡像的方式，將網(wǎng)絡(luò)中的一部分流量，導(dǎo)入某個(gè)威脅分析系統(tǒng)，分析系統(tǒng)會(huì)為我們產(chǎn)生各種類型的報(bào)警信息，但是，報(bào)警信息是會(huì)存在誤報(bào)的。我們就可以用冗余威脅手段多次，對(duì)同一個(gè)威脅信息，進(jìn)行威脅重疊判斷，降低誤報(bào)。

比如，我們可以對(duì)于基于正則模式匹配XSS分析結(jié)果，再用自然語(yǔ)言處理的方式進(jìn)行確認(rèn)，也可以對(duì)基于自然語(yǔ)言處理的報(bào)警，通過(guò)神經(jīng)網(wǎng)絡(luò)算法，或是開源威脅分析庫(kù)的方式多次分析，通過(guò)交叉檢查的方式，進(jìn)行誤報(bào)過(guò)濾，交叉檢查是對(duì)威脅信息多重檢查，疊加確認(rèn)的過(guò)程。

因?yàn)槊糠N威脅分析都可能會(huì)產(chǎn)生誤報(bào)，產(chǎn)生誤報(bào)疊加。這時(shí)候我們更應(yīng)該關(guān)注的是，每種分析方法的頭部威脅分析結(jié)果。

2. 關(guān)聯(lián)：關(guān)聯(lián)檢查(橫向)

網(wǎng)絡(luò)環(huán)境中不只有一種監(jiān)測(cè)手段存在，我們可以從不同的維度進(jìn)行，對(duì)資產(chǎn)進(jìn)行安全監(jiān)控保護(hù)：

疊加堆砌威脅分析設(shè)備與服務(wù)，是為了提高發(fā)現(xiàn)的威脅準(zhǔn)確率，減少漏報(bào)。有時(shí)會(huì)用多種不同的裝備在同一區(qū)域疊加使用，強(qiáng)化某一效果，A裝備效果不夠快，可以用B裝備。A看不見的，B可以看見。A不便于部署的，B可以便于部署。

舉例來(lái)說(shuō)， 相同網(wǎng)絡(luò)環(huán)境：

• 第1種：流量監(jiān)聽，我們可以會(huì)把相關(guān)某一區(qū)域的網(wǎng)絡(luò)流量，鏡像給網(wǎng)絡(luò)檢查分析模塊(開源商業(yè))，通過(guò)流量分析，分析出針對(duì)某臺(tái)服務(wù)操作的可疑流量數(shù)據(jù)，及威脅報(bào)警。
• 第2種：部署蜜罐，我們會(huì)在重要服務(wù)器所在環(huán)境部署蜜罐系統(tǒng)，通過(guò)蜜罐檢查當(dāng)前網(wǎng)段的可疑行為。
• 第3種：加入審計(jì)監(jiān)聽，我們可以對(duì)服務(wù)器安裝類似OSQuery這種主機(jī)審計(jì)組件，分析主機(jī)配置變化的可疑行為。
• 第4種：主動(dòng)掃描，我們可以定時(shí)對(duì)服務(wù)器發(fā)起主動(dòng)掃描，服務(wù)掃描和端口掃描，通過(guò)掃描返回結(jié)果，建立漏洞庫(kù)等相關(guān)情況，判斷主機(jī)是否異常。
• 第5種：訪問(wèn)控制，我們可以建立服務(wù)主機(jī)的訪問(wèn)控制，生成通信聚類的白名單與黑名單，分析異常訪問(wèn)行為。
• 第6種：威脅情報(bào)庫(kù)，我們可以將訪問(wèn)服務(wù)的IP與威脅情報(bào)庫(kù)進(jìn)行對(duì)比，發(fā)現(xiàn)異常訪問(wèn)行為。

橫向的威脅檢查方法可能還會(huì)很多，這里只是舉例一些。

他們都有一個(gè)公同之處：這些檢測(cè)分析服務(wù)都會(huì)產(chǎn)生，圍繞同一主體的威脅報(bào)警信息，所以對(duì)于同一IP主體，可以通過(guò)各種檢測(cè)手段，垂直確認(rèn)后，再橫向與其它分析模塊的威脅數(shù)據(jù)進(jìn)行比較。

威脅的確認(rèn)，誤報(bào)的情況是可能發(fā)生的，但是如果多種檢測(cè)方式，都出現(xiàn)了威脅事件的發(fā)生，就降低了誤報(bào)的可能性，具體的控制細(xì)節(jié)需要實(shí)施者具體控制的。

比如：一臺(tái)機(jī)器，同時(shí)有掃描行為，還訪問(wèn)敏感端口，還觸碰蜜罐，服務(wù)負(fù)載情況在異常時(shí)間發(fā)生異常變化，這一系列的操作，多個(gè)威脅事件同時(shí)指向一個(gè)主體，說(shuō)明服務(wù)可能真的出現(xiàn)問(wèn)題了。

如果用各種裝備來(lái)強(qiáng)化防御厚度，并且可靈活上下線， 可以終結(jié)控制，可以阻斷訪問(wèn)，效果更佳。

三、實(shí)現(xiàn)工具技術(shù)棧

圖2.威脅分析沙漏模型(技術(shù)棧)

如果有多種檢查手段，我們一定有多種威脅情報(bào)的，從技術(shù)工具層面，我們?nèi)绻芾磉@些數(shù)據(jù)，如何挖掘、利用、驅(qū)動(dòng)這些數(shù)據(jù)是一個(gè)問(wèn)題。

今天的開源社區(qū)變的異常的強(qiáng)大，可以用各種開源軟件，構(gòu)建我們的安全檢測(cè)系統(tǒng)，大家使用有類似的技術(shù)棧、像ELK、Hadoop、Spark這種工具都非常的常見，大家使用的技術(shù)工具手段都非常常見。

• 實(shí)現(xiàn)技術(shù)：技術(shù)屬于技能屬性，不同職業(yè)人有著自己領(lǐng)域?qū)俚募寄茉兀耸羌夹g(shù)技能的一種載體。
• 實(shí)現(xiàn)工具：工具是構(gòu)建服務(wù)的武器，武器有不同的屬性。

威脅發(fā)現(xiàn)系統(tǒng)是一個(gè)漸進(jìn)發(fā)展的過(guò)程，在時(shí)間線上，根據(jù)規(guī)模和發(fā)展的狀況不同，調(diào)用合適工具武器來(lái)達(dá)到自己奪標(biāo)的目的，規(guī)模小的時(shí)候，發(fā)展初期，可以使用一般的統(tǒng)計(jì)工具就可以， ES單結(jié)點(diǎn)，Mysql數(shù)據(jù)，隨著規(guī)模和時(shí)間的發(fā)展， 適應(yīng)大的數(shù)據(jù)量，就可以更重型的武器來(lái)解決，更復(fù)雜的需求。

ES單結(jié)點(diǎn)無(wú)法滿足就使用集群，一個(gè)集群不夠，使用多個(gè)集群。 MySQL不夠就用ClickHouse。

系統(tǒng)都是從小到大，不斷迭代的過(guò)程，數(shù)據(jù)也從單機(jī)到集群，從一個(gè)集群到多個(gè)集群。檢測(cè)系統(tǒng)、設(shè)備、日志格式都在不斷的積累增多，越變?cè)綇?fù)雜。但是基礎(chǔ)模式越來(lái)越清晰。

我們從實(shí)現(xiàn)的技術(shù)棧的角度分析具體使用過(guò)技術(shù)手段。

• 第一層.輸入層：對(duì)于數(shù)據(jù)輸入收集階段，各種各樣的數(shù)據(jù)收集手段都能利用上。filebeat、nxlog、logstash、syslog等，各種能便捷取得數(shù)據(jù)的手段都可以用，根據(jù)不同的平臺(tái)。
• 第二層.處理層：數(shù)據(jù)的處理之前是要對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)的，不然也沒(méi)法分析數(shù)據(jù)。安全大數(shù)據(jù)中很重要的一點(diǎn)是數(shù)據(jù)緩存，解決輸入數(shù)據(jù)量過(guò)大，處理不過(guò)來(lái)的問(wèn)題。ElasticSearch是現(xiàn)在最行的一種數(shù)據(jù)存儲(chǔ)方案之一，我們也不例外的使用的ES保存數(shù)據(jù)。

用ES一個(gè)很大的好處是，我們不用想使用關(guān)系型數(shù)據(jù)庫(kù)時(shí)先創(chuàng)建表結(jié)構(gòu)，可快速想報(bào)警數(shù)據(jù)收集。對(duì)安全威脅數(shù)據(jù)來(lái)說(shuō)，ES前期收集數(shù)據(jù)更快捷。高危的報(bào)警數(shù)據(jù)，理論上應(yīng)該和交通數(shù)據(jù)不一樣，那么巨大的并發(fā)量，所以一般的ES就可以，另外ES本身可以擴(kuò)展吞吐量。

我們對(duì)大量的日志數(shù)據(jù)驅(qū)動(dòng)，還是比較擔(dān)心的，所以我們用了ClickHouse。ClickHouse相對(duì)于其它的大數(shù)據(jù)工具，上手更快，更輕量，但是效果速度確實(shí)相當(dāng)?shù)暮?。我們可以在Clickhouse對(duì)威脅進(jìn)行打標(biāo)簽。如果數(shù)據(jù)的級(jí)別沒(méi)有達(dá)到這個(gè)量，可以使用Mysql。其實(shí)ES同樣可以實(shí)現(xiàn)索引的SQL查詢。

• 第三層.輸出層: 數(shù)據(jù)準(zhǔn)備就位以后，可以用各種手段分析、展示、報(bào)警數(shù)據(jù)，可能根據(jù)偏向技術(shù)棧，使用開源的解決方案，比如商業(yè)BI分析工具superset等。

沙漏模式就是將數(shù)據(jù)由多變少，人肉一天處理幾萬(wàn)報(bào)警，是處理不過(guò)來(lái)的。

四、流模式威脅處理模型

圖3.威脅分析處理流模型

威脅數(shù)據(jù)的湖泊海洋都是由一條條的數(shù)據(jù)河流匯聚而成的。在早期“數(shù)據(jù)流”模式，收集數(shù)據(jù)操作起來(lái)靈活方便。因?yàn)閿?shù)據(jù)，無(wú)論是接入，還是存儲(chǔ)都不能一步到位的，采用增量的流模式數(shù)據(jù)處理比較適合。

各種信息數(shù)據(jù)，就像小河匯入湖泊一樣，積少成多，最后形成更大數(shù)據(jù)動(dòng)勢(shì)，對(duì)于新的威脅檢查手段加入，靈活的新加入一條威脅信息數(shù)據(jù)流，流入到我們的數(shù)據(jù)池子中就好。

使用ES收集數(shù)據(jù)的幾個(gè)好處，如果結(jié)構(gòu)化數(shù)據(jù)庫(kù)相關(guān)于“定長(zhǎng)表”來(lái)說(shuō)， ES的儲(chǔ)存是一種“變長(zhǎng)表”，數(shù)據(jù)的“字段”可以靈活的增加或是減少。當(dāng)輸入段的數(shù)據(jù)結(jié)構(gòu)發(fā)生變化時(shí)，數(shù)據(jù)結(jié)構(gòu)不用頻繁變更字段的定義，不用頻繁的修改表結(jié)構(gòu)。利用這種靈活性，可以在這個(gè)階段對(duì)數(shù)據(jù)進(jìn)行整形處理，數(shù)據(jù)的維護(hù)成本會(huì)降低。

采用 ClickHouse與MySQL數(shù)據(jù)庫(kù)是為了結(jié)構(gòu)化查詢，能用SQL解決的問(wèn)題，其實(shí)不用再多寫很多的腳本，可減少腳本編寫量，SQL本身可以當(dāng)成很強(qiáng)大的DSL使用，對(duì)于主機(jī)審計(jì)應(yīng)用OSQuery來(lái)說(shuō)，支持SQL審計(jì)也是一種提高審計(jì)效率的方法。

五、威脅數(shù)據(jù)處理過(guò)濾模式(PULL、PUSH)

圖4.傳統(tǒng)威脅處理模型A

面對(duì)各種分類的海量數(shù)據(jù)，如何進(jìn)行數(shù)據(jù)處理?

方法一個(gè)個(gè)針對(duì)性的處理。從歷史發(fā)展迭代出來(lái)，基本可以歸類的模式有2種，實(shí)際的威脅分析應(yīng)用，本質(zhì)上就是兩大操作：

• 單數(shù)據(jù)流的威脅垂直多重威脅判定確認(rèn)。
• 多分析模塊間的威脅數(shù)據(jù)的橫向比較關(guān)聯(lián)。

1. A/B模式數(shù)據(jù)采集與威脅分析過(guò)程

• PULL模式:分析服務(wù)主動(dòng)拉取各威脅分析模塊的威脅報(bào)警信息數(shù)據(jù)，集中監(jiān)聽模式分析。需要把各種報(bào)警，分表異結(jié)構(gòu)存儲(chǔ)。(多表異構(gòu))
• PUSH模式：各威脅過(guò)濾模塊，針對(duì)不同的報(bào)警進(jìn)行垂直過(guò)濾后，將過(guò)濾后的數(shù)據(jù)

按同樣的結(jié)構(gòu)推送到，集中的威脅數(shù)據(jù)表中。(單表同構(gòu))

圖5.傳統(tǒng)威脅處理模型B

實(shí)際情況是， 威脅分析的模式這兩種情況是并存的。

隨著數(shù)據(jù)的集中處理工作的演進(jìn)， 這種兩種模，最后混合成到了一起，只是不同的場(chǎng)景運(yùn)用了不同有的分析模式。

2. A/B模式的優(yōu)缺點(diǎn)對(duì)比

PULL處理模式：

• 優(yōu)點(diǎn)：快速審計(jì)分析，PULL模式最快，不同分析模塊間的威脅數(shù)據(jù)互相不干擾，處理異構(gòu)數(shù)據(jù)，操作很多關(guān)聯(lián)數(shù)據(jù)，但是對(duì)單威脅數(shù)據(jù)流審計(jì)，沒(méi)有那些關(guān)聯(lián)數(shù)據(jù)操作。
• 缺點(diǎn)：數(shù)據(jù)不集中，相對(duì)不利于統(tǒng)計(jì)，要進(jìn)行各種SQL和腳本的關(guān)聯(lián)。

PUSH處理模式：

• 優(yōu)點(diǎn)：如果單Stream數(shù)據(jù)流過(guò)濾之后，多準(zhǔn)備一份數(shù)據(jù)處理，把報(bào)警威脅信息過(guò)濾后，本地存一份，在集中表中再存儲(chǔ)一份同構(gòu)數(shù)據(jù)。之后統(tǒng)計(jì)威脅關(guān)聯(lián)，只操作一份數(shù)據(jù)就可以了，減少了關(guān)聯(lián)數(shù)據(jù)的多次操作。
• 缺點(diǎn)：威脅數(shù)據(jù)過(guò)于耦合。

六、碰撞表:威脅檢測(cè)模式

圖6.威脅分析碰撞表模型

如果我們采用了PUSH模式，將各種數(shù)據(jù)收集，我們就可以對(duì)不同標(biāo)簽來(lái)源數(shù)據(jù)進(jìn)行整合。在威脅數(shù)據(jù)被格式化之前，我們都是針對(duì)不同的威脅數(shù)據(jù)進(jìn)行了一定程度的垂直過(guò)濾。然后把可能是真的威脅，放入我們的中心威脅情報(bào)表結(jié)構(gòu)：

為了便于記憶，叫威脅比對(duì)模式為：碰撞表。

所謂碰撞表，就是能過(guò)建立一個(gè)統(tǒng)一屬性結(jié)構(gòu)的威脅報(bào)警二維關(guān)系表，將不同設(shè)備和服務(wù)的報(bào)警數(shù)據(jù)集中存儲(chǔ)，根據(jù)威脅情報(bào)在表中，重復(fù)次數(shù)的多少，威脅等級(jí)的高低，綜合累計(jì)威脅事件的多寡，來(lái)判斷威脅的嚴(yán)重性。

簡(jiǎn)單說(shuō)，同一個(gè)IP有多個(gè)威脅事件發(fā)生的越多，并且情報(bào)源來(lái)自不同服務(wù)和設(shè)備，威脅越大。

PULL的模式是對(duì)數(shù)據(jù)進(jìn)行關(guān)聯(lián)， 通 過(guò)腳本讀取結(jié)構(gòu)數(shù)據(jù)關(guān)聯(lián)，通過(guò)表關(guān)聯(lián)。

而在PUSH處理模式下生成的集中碰撞表，是按威脅共通屬性進(jìn)行威脅信息集中的，無(wú)論是什么類型的威脅那都是威脅，區(qū)別在于威脅級(jí)別和威脅分析有來(lái)源不一樣，如果我們?cè)谂鲎脖碇?，發(fā)現(xiàn)同一個(gè)IP多次出現(xiàn)，來(lái)自不同的威脅分析模塊，而且威脅的級(jí)別還很高。各種威脅事件發(fā)生都這個(gè)IP相關(guān)，就需要關(guān)注一下這個(gè)IP。

我們對(duì)不同的威脅級(jí)別打分，并對(duì)同一IP累計(jì)分?jǐn)?shù)，最后得出一個(gè)分?jǐn)?shù)， 最后根據(jù)得分的高低，匹配不同的處理級(jí)別，報(bào)警級(jí)別。

攻擊者的情報(bào)，我們可以在積累的內(nèi)外部威脅情報(bào)中， 尋找回溯歷史數(shù)據(jù)。被攻擊者的情報(bào)， 我們可以在CMDB資產(chǎn)系統(tǒng)中，找到資產(chǎn)對(duì)應(yīng)的責(zé)任人。將爆破表中的威脅情報(bào)，進(jìn)行分類、統(tǒng)計(jì)、可視化給安全運(yùn)維人員做報(bào)警提示。

以上就是舉例說(shuō)明，威脅信息能過(guò)沙漏威脅處理模型，進(jìn)行威脅數(shù)據(jù)信息處理的一種策略舉例。

七、總結(jié)

不同規(guī)模的環(huán)境中：

• 輸入層：輸入源的收集數(shù)據(jù)信息的多寡，數(shù)據(jù)量大小。
• 處理層：對(duì)數(shù)據(jù)分析處理邏輯復(fù)雜程度。
• 輸出層：信息提示的多樣性。綜合起來(lái)決定的防護(hù)系統(tǒng)防護(hù)能力和構(gòu)建成本。

過(guò)去我們?cè)谶\(yùn)用ES和ClickHouse大數(shù)據(jù)工具的實(shí)踐中，迭代演進(jìn)，總結(jié)出了這種沙漏式的威脅處理模型，然后摸索出了一些共通性的內(nèi)容，這篇沒(méi)有過(guò)多涉及到具體的代碼和工具使用方法。