隨著各種網(wǎng)絡(luò)應(yīng)用迅速增加，由此帶來(lái)了網(wǎng)絡(luò)流量的激增。在這些流量中，網(wǎng)絡(luò)用戶的上網(wǎng)行為如何管理?各種類型的流量如何分布?在這種情況下，可以使用NetFlow這一有效工具以滿足對(duì)網(wǎng)絡(luò)流量管理的需求。

[[169285]]

NetFlow最初是由Cisco開(kāi)發(fā)的，由于使用廣泛，目前很多廠家都可以實(shí)現(xiàn)，如：Juniper、Extreme、Foundry、H3C等。Cisco的NetFlow也有多種版本，如V5、V7、V8、V9。目前NetFlow V5是主流。因此本文主要針對(duì)NetFlow V5，該版本數(shù)據(jù)包中的基本元素包含哪些內(nèi)容呢?首先從Flow講起，一個(gè)IP數(shù)據(jù)包的Flow至少定義了下面7個(gè)關(guān)鍵元素：

Ø 源IP地址;

Ø 目的IP地址;

Ø 源端口號(hào);

Ø 目的端口號(hào);

Ø 第三層協(xié)議的類型;

Ø TOS字段;

Ø 網(wǎng)絡(luò)設(shè)備輸入/輸出的邏輯端口(if index)

以上7個(gè)字段定義了一個(gè)基本的Flow信息。 Netflow就是利用分析IP數(shù)據(jù)包的上述7種屬性，快速區(qū)分網(wǎng)絡(luò)中傳送的各種類型的業(yè)務(wù)數(shù)據(jù)流。

1. Cache管理

在NetFlow中有兩個(gè)關(guān)鍵組件：

(1) NetFlow Cache，主要描述流緩存(或者說(shuō)源數(shù)據(jù))如何存放在Cache中。

NetFlow緩存管理機(jī)制中包含一系列高度精細(xì)化算法，能夠有效地判斷一個(gè)報(bào)文是屬于已存在Flow的一部分還是應(yīng)該在緩存中產(chǎn)生一條新的Flow。這些算法也能動(dòng)態(tài)更新緩存中Flow的信息，并且判斷哪些Flow應(yīng)該到期終止。

(2) NetFlow Export，數(shù)據(jù)流的輸出機(jī)制，主要描述了數(shù)據(jù)流是如何輸出并被分析器接收的。

首先了解NetFlow Cache(緩存機(jī)制)。當(dāng)緩存中的Flow到期后，就產(chǎn)生一個(gè)將Flow輸出的動(dòng)作。將超時(shí)的Flow信息以數(shù)據(jù)報(bào)文的方式輸出，叫做“NetFlow Export”，這些輸出的報(bào)文包含30條以上的Flow信息。這些NetFlow信息一般是無(wú)法識(shí)別的，需由專用收集器(Flow Collector)采集到并做出進(jìn)一步分析，這些Flow Collector能夠識(shí)別NetFlow的特殊格式。

2.輸出格式

NetFlow的輸出報(bào)文包含報(bào)頭和一系列的Flow流，報(bào)頭包含系列號(hào)、記錄數(shù)、系統(tǒng)時(shí)間等，F(xiàn)low流包含具體內(nèi)容，如IP地址、端口、路由信息等。各個(gè)版本的NetFlow格式都相同，且NetFlow采用UDP報(bào)文，這更有利于大流量情況下的數(shù)據(jù)報(bào)文傳輸。換句話說(shuō)，在路由器，防火墻等網(wǎng)絡(luò)設(shè)備中如要使用NetFlow就不能禁用UDP端口，否則無(wú)法接收設(shè)備傳遞的信息。

3 .抽樣機(jī)制

在Netflow的實(shí)際應(yīng)用中，它不是時(shí)刻都把數(shù)據(jù)包抓取過(guò)來(lái)，而是采用抽樣的機(jī)制，通過(guò)使用抽樣技術(shù)可以降低路由器的CPU利用率，減少Flow的輸出量，但仍然可以監(jiān)測(cè)到大多數(shù)的流量信息。當(dāng)我們不需要了解網(wǎng)絡(luò)流量的每個(gè)Flow的具體細(xì)節(jié)的時(shí)候，抽樣就成了比較好的選擇。但流量計(jì)費(fèi)系統(tǒng)采用NetFlow會(huì)造成誤差，使得NetFlow輸出有時(shí)不能準(zhǔn)確反映流量的實(shí)際情況。這時(shí)如果你的流量計(jì)費(fèi)系統(tǒng)選用Netflow就不太合適了。

4.性能影響

使用任何一種技術(shù)作為工程師最應(yīng)該關(guān)注它的性能問(wèn)題。由于在設(shè)備緩存中Flow的生成，需要消耗系統(tǒng)資源同樣，將Flow格式化成特定的輸出報(bào)文并將報(bào)文輸出，也是要消耗系統(tǒng)資源，因此在設(shè)備上使用NetFlow時(shí)，肯定就會(huì)影響設(shè)備性能。由于高端Cisco設(shè)備(如6500、7600系列等)都是通過(guò)ASIC硬件處理數(shù)據(jù)包，所以占用10%～20%利用率均屬正常。注意，在使用中CPU的利用率會(huì)隨著緩存中Flow條目的增大而增加，所以在高負(fù)載情況下，一定要慎用Netflow功能。

5.在蠕蟲(chóng)病毒監(jiān)測(cè)中的舉例

前些年Code Red、SQL Slammer、沖擊波、振蕩波等蠕蟲(chóng)病毒的相繼爆發(fā)，不但對(duì)用戶主機(jī)造成影響，而且對(duì)網(wǎng)絡(luò)的正常運(yùn)行也構(gòu)成了的危害，因?yàn)檫@些病毒具有掃描網(wǎng)絡(luò)，主動(dòng)傳播病毒的能力，會(huì)大量占用網(wǎng)絡(luò)帶寬或網(wǎng)絡(luò)設(shè)備系統(tǒng)資源。這些蠕蟲(chóng)在網(wǎng)絡(luò)行為上都有某些共同特征，我們可以利用NetFlow的信息篩選出這些數(shù)據(jù)包，從而快速發(fā)現(xiàn)問(wèn)題。

例1：CodeRed的Flow特征是destination port=80,、packets=3、size=144bytes。雖然在Internet上，符合上述特性的正常行為是存在的(如使用ICQ)，但是一般正常使用的主機(jī)不會(huì)在連續(xù)幾段時(shí)間內(nèi)發(fā)出大量的這些報(bào)文。

因此監(jiān)測(cè)CodeRed 可采用的方法是:取幾個(gè)不同時(shí)間段，例如每段時(shí)間5分鐘，如果每個(gè)時(shí)間段內(nèi)符合特征的Flow大于上限值，則可以判斷為Code Red。

例2：感染了Nimda病毒的主機(jī)會(huì)向外部地址(往往是TCP 80端口)發(fā)起大量連接，Nimda的Flow特征是每個(gè)Flow代表一次連接destination port=80的行為，如果普通的客戶機(jī)在一段時(shí)間內(nèi)(例如5分鐘)Flow數(shù)量過(guò)大，那么很有可能遭受病毒感染或者有其他針對(duì)HTTP的攻擊行為。

因此監(jiān)測(cè)Nimda可采用的策略是：取幾個(gè)不同時(shí)間段，每段時(shí)間5分鐘，如果每個(gè)時(shí)間段內(nèi)符合特征的Flow超過(guò)上限值，則可以判斷為Nimda病毒或其他攻擊行為。另外，如果Apache Http Server感染了Slapper Worm的話，也會(huì)產(chǎn)生大量的Http報(bào)文。

例3：震蕩波(Worm.Sasser)的特征是一個(gè)IP同時(shí)向隨機(jī)生成的多個(gè)IP發(fā)起445端口的TCP連接。因此檢測(cè)條件是：相同源IP，大量不同目的IP，目的端口為445，當(dāng)符合的Flow達(dá)到上限值時(shí)，則可以認(rèn)定是振蕩波病毒。

例4：幾年前臭名昭著的微軟SQL-Server漏洞造成了很大的影響，它的特征是目的端口為1433的TCP流。表13-2是根據(jù)此條件篩選出的NetFlow統(tǒng)計(jì)數(shù)據(jù)，可以得知IP地址66.190.144.166正在對(duì)某網(wǎng)段進(jìn)行SQL漏洞掃描。

表1 篩選的NetFlow數(shù)據(jù)

例5：用NetFlow分析DOS攻擊流量

DOS攻擊使用非正常的數(shù)據(jù)流量攻擊網(wǎng)絡(luò)設(shè)備或其接入的服務(wù)器，致使網(wǎng)絡(luò)設(shè)備或服務(wù)器的性能下降，或占用網(wǎng)絡(luò)帶寬，影響其他相關(guān)用戶流量的正常通信，最終可能導(dǎo)致網(wǎng)絡(luò)服務(wù)不可用。例如DOS可以利用TCP協(xié)議的缺陷，通過(guò)SYN打開(kāi)半開(kāi)的TCP連接，占用系統(tǒng)資源，使合法用戶被排斥而不能建立正常的TCP連接。以下為一個(gè)典型的DoS SYN攻擊的NetFlow數(shù)據(jù)實(shí)例，該案例中多個(gè)偽造的源IP同時(shí)向一個(gè)目的IP發(fā)起TCP SYN攻擊。

111.*.68.35|202.*.*.80|Others|64851|3|2|10000|10000|6|1|40|1

105.*.93.91|202.*.*.80|Others|64851|3|2|5557|5928|6|1|40|1

158.*.25.208|202.*.*.80|Others|64851|3|2|3330|10000|6|1|40|1

日常工作中發(fā)現(xiàn)，除了遇到DOS 以外還有許多攻擊屬于DDOS攻擊，只不過(guò)攻擊類別不同，有些為Ping Death，另一些則為SYN Flooding。

DDOS攻擊基本上都造成這樣一種結(jié)果：服務(wù)器無(wú)法處理源源不斷如潮水般涌來(lái)的請(qǐng)求，從而造成響應(yīng)遲緩，直至系統(tǒng)資源耗盡而宕機(jī)。DDOS攻擊的共同點(diǎn)是來(lái)源廣泛，針對(duì)一臺(tái)主機(jī)，大量數(shù)據(jù)包。

因此檢測(cè)ICMP攻擊就可以根據(jù)下面的條件：在連續(xù)的幾個(gè)時(shí)間段，假設(shè)每個(gè)時(shí)間段為5分鐘，各個(gè)時(shí)間段內(nèi)ICMP報(bào)文大于5000。符合這個(gè)條件的，可以認(rèn)為受到了ICMP攻擊。

下面是ICMP流的NetFlow實(shí)例。

另外，還有一種DDOS攻擊是SYN flooding，它的特征是TCP報(bào)頭中的SYN被置位，且有大量的SYN特征數(shù)據(jù)包。NetFlow輸出格式中提供了Flag位，為我們判斷SYN攻擊創(chuàng)造了條件。

因此檢測(cè)SYN flooding的條件是：在連續(xù)的幾個(gè)時(shí)間段，假設(shè)每個(gè)時(shí)間段為5分鐘，產(chǎn)生大量flag=2的數(shù)據(jù)包，正常連接不會(huì)產(chǎn)生這么多flag=2的數(shù)據(jù)包，所以可以設(shè)置閾值為5000。超過(guò)這個(gè)數(shù)值就認(rèn)為服務(wù)器受到SYN flooding攻擊。如果主機(jī)發(fā)出flag=2的數(shù)據(jù)包數(shù)量超過(guò)1000，則可以認(rèn)為主機(jī)在發(fā)起攻擊。以下是SYN特征的NetFlow實(shí)例。

各種DDOS攻擊的特征都是在短時(shí)間內(nèi)產(chǎn)生大量的數(shù)據(jù)包，因此，即使不知道攻擊報(bào)文的特征，也可以在NetFlow的輸出結(jié)果中進(jìn)行相應(yīng)的查找，找到符合條件的異常Flow。這就為及時(shí)發(fā)現(xiàn)和防范網(wǎng)絡(luò)上的不安全因素提供了有效的手段。

案例6：NetFlow在網(wǎng)絡(luò)取證方面的應(yīng)用

假設(shè)圖1中的ADSL撥號(hào)用戶從Internet上某FTP服務(wù)器上下載了可疑文件，在客戶端PC上留有下載日期時(shí)間戳信息，在局端的接入服務(wù)器上也可以看到特定IP地址在相應(yīng)時(shí)間內(nèi)被分配給客戶端PC，通過(guò)在ISP方面的ANI(Automatic Number Identification)日志就能將客戶端的所在家庭電話號(hào)碼與上網(wǎng)撥號(hào)信息聯(lián)系到一起，與此同時(shí)，在ISP的路由器上記錄(一般會(huì)保留30天左右)著FTP下載/上傳網(wǎng)絡(luò)流量(NetFlow)日志，這個(gè)流量至關(guān)重要。最后在Ftp服務(wù)器上還有完整的下載記錄。

圖 1 分析下載可疑文件

由上圖可以看出，從客戶端發(fā)起連接到FTP服務(wù)器下載分為四個(gè)階段，分別是客戶端發(fā)送/接受、接入服務(wù)器驗(yàn)證、路由器轉(zhuǎn)發(fā)及FTP服務(wù)器接受下載，每個(gè)階段都有日志記錄信息包含用戶賬號(hào)、登錄時(shí)間、IP、端口、發(fā)送數(shù)據(jù)包大小及日期及時(shí)間戳等。這些日志信息分別存放在不同的設(shè)備上，即便是某些日志遭到了一定程度破壞(例如篡改IP，丟失了某些日志等)也不會(huì)影響全局，所以這些相關(guān)信息，在調(diào)查人員進(jìn)行計(jì)算機(jī)網(wǎng)絡(luò)取證時(shí)就顯得尤為重要，希望引起管理人員重視。

在某些情況下，設(shè)備不支持Netflow，怎么對(duì)流量進(jìn)行檢測(cè)呢?對(duì)于這樣的環(huán)境也有相應(yīng)的解決方法，那就是使用Fprobe。利用Fprobe來(lái)生成Netflow報(bào)文，其默認(rèn)格式為V5版本。最初Fprobe是一款在BSD環(huán)境下運(yùn)行的軟件，目前在UNIX/Linux平臺(tái)上均可運(yùn)行。它可以將NIC接口收到的數(shù)據(jù)轉(zhuǎn)化為Netflow數(shù)據(jù)，并發(fā)送至Netflow分析端。我們可以通過(guò)部署這樣一臺(tái)Ossim服務(wù)器，將網(wǎng)絡(luò)流量鏡像至Ossim服務(wù)器，實(shí)現(xiàn)網(wǎng)絡(luò)流量分析。Ossim服務(wù)器中的Netflow分析器，由下列三個(gè)工具組成：

Ø Fprobe: 從遠(yuǎn)程主機(jī)發(fā)送數(shù)據(jù)流;

Ø NfSen: NetFlow的分析圖形前端;

Ø Nfdump: NetFlow采集模塊;

有關(guān)Ossim結(jié)構(gòu)大家可以先參看本書(shū)第14章，這里介紹Netflow分析數(shù)據(jù)包的過(guò)程。首先，在網(wǎng)絡(luò)接口接收網(wǎng)絡(luò)數(shù)據(jù)，然后由Fprobe程序?qū)⑹占臄?shù)據(jù)按照一定規(guī)則和格式進(jìn)行轉(zhuǎn)換(Netflow格式)，再發(fā)到系統(tǒng)的555端口(查看/etc/default/fprobe能得知詳情)，再由Nfsen系統(tǒng)中的Nfdump程序?qū)⑥D(zhuǎn)換后的數(shù)據(jù)統(tǒng)一存放在/var/cache/nfdump/flows/目錄下，最后由Web前端程序Nfsen來(lái)讀取，數(shù)據(jù)通過(guò)555端口接收，同時(shí)結(jié)果會(huì)顯示在前臺(tái)Web界面上(在Ossim系統(tǒng)中路徑為Situational Awareness→Network→Traffic，顯示效果在Ossim右側(cè)導(dǎo)航欄里可以查看)，分析Netflow過(guò)程如圖2所示。

圖 2 Ossim系統(tǒng)分析Netflow數(shù)據(jù)

在Ossim4.1系統(tǒng)中查詢 Netflow流量如圖13-3所示。

圖 3 Netflow流量源端口Top 10

在Ossim 4.1系統(tǒng)中由Netflow收集的數(shù)據(jù)放置在/var/cache/nfdump/flows/live/ossim/目錄下，并存儲(chǔ)為二進(jìn)制文件格式，以天為單位分別設(shè)置目錄，方便查看。這些數(shù)據(jù)按照一定的時(shí)間組織起來(lái)，每5分鐘采集一次數(shù)據(jù)，同時(shí)由nfcapd產(chǎn)生新的文件，并用當(dāng)前時(shí)間來(lái)命名，例如nfcapd.2013053112035包含的數(shù)據(jù)是從2013年5月31日12小時(shí)35分鐘開(kāi)始的數(shù)據(jù)。

圖 4 nfcapd產(chǎn)生的數(shù)據(jù)

從系統(tǒng)捕獲數(shù)據(jù)包的過(guò)程來(lái)看Nfdump這一過(guò)程至關(guān)重要，它由nfcpad、fddump、nfprofile和nfreplay這4個(gè)進(jìn)程組成，功能見(jiàn)表2所示。

表2 nfdump工具組成

6.分布式環(huán)境數(shù)據(jù)流處理

本節(jié)內(nèi)容是對(duì)上述知識(shí)點(diǎn)的總結(jié)，下面這個(gè)實(shí)驗(yàn)在一個(gè)模擬的分布式環(huán)境中完成，其中有一臺(tái)混合安裝的Ossim USM，兩臺(tái)Sensor，三臺(tái)接入層交換機(jī)和一臺(tái)核心交換機(jī)以及若干PC組成，為簡(jiǎn)化實(shí)驗(yàn)這些設(shè)備均在同一個(gè)VLAN中，實(shí)際生產(chǎn)中應(yīng)在多個(gè)VLAN。拓?fù)淙鐖D5所示。

圖5 Ossim分布式部署

第2章講解了如何添加Sensor，并與Server進(jìn)行連接，下面接著啟用Netflow服務(wù)，交換機(jī)上Netflow也必須同時(shí)設(shè)置正確，注意nfcapd進(jìn)程在12000和120001端口進(jìn)行監(jiān)聽(tīng)。各主機(jī)IP、UUID及端口如表3所示。

表3 Ossim服務(wù)器傳感器配置

前面已經(jīng)講過(guò)查看UUID的方法下面依次在終端下輸入如下命令：

所有數(shù)據(jù)存儲(chǔ)在Ossim Server端，所以我們到Server命令行下輸入以下命令進(jìn)行驗(yàn)證：

為了確保在SensorA、SensorB和Sensor上都能展現(xiàn)其Netflow數(shù)據(jù)要確保nfsen都收到數(shù)據(jù)，我們?cè)贠ssim Server的終端控制臺(tái)下，操作以下命令

接著觀察目錄的內(nèi)容，我們進(jìn)入目錄564db4303295cb66ae8a8141c00f6233，在該目錄下有若干Pcap格式的文件，每隔5分鐘生成一個(gè)，每個(gè)文件大小在500KB~1000KB(大小并不固定)，每天會(huì)產(chǎn)生100~200MB的抓包文件。

如果在實(shí)驗(yàn)中發(fā)現(xiàn)沒(méi)有收到Sensor數(shù)據(jù)包，首先檢查設(shè)置是否正確，接下來(lái)用tcpdump來(lái)抓包分析，具體抓包操作如下圖所示。

或tcpdump -i eth0 ‘port 12001’ 。

通過(guò)nfdump可以實(shí)現(xiàn)Netflow記錄的過(guò)濾、Top統(tǒng)計(jì)和排序等功能，在Ossim通過(guò)Web UI能輕松的展現(xiàn)給用戶，如圖6所示。

圖6 Netflow多傳感器顯示

作為系統(tǒng)維護(hù)人員需要了解后臺(tái)執(zhí)行的命令，例如我們進(jìn)入2015-05-01目錄，對(duì)其數(shù)據(jù)包按端口排序輸入命令nfdump –r nfcapd.201505010315 –s dstport –n 10

又如

7.交換機(jī)上配置

下面歸納一下實(shí)施流量監(jiān)控的步驟(以Cisco 6000系列交換機(jī)為例)：

1) 在Cisco 6509上配置NetFlow(或其他網(wǎng)絡(luò)設(shè)備)，并輸出到指定到Ossim采集器(IP)的固定UDP端口。

2) 采集器軟件為Ossim系統(tǒng)的Flow-tool工具，該軟件監(jiān)聽(tīng)UDP端口，接收進(jìn)入的NetFlow數(shù)據(jù)包并存儲(chǔ)為特定格式。

3) 使用Nfsen等軟件包中的工具對(duì)NetFlow源文件進(jìn)行讀取，轉(zhuǎn)換成可讀的ASICII格式，再用Ossim內(nèi)的Perl程序?qū)etFlow進(jìn)行分析和規(guī)范格式的操作，并將讀取的NetFlow信息存儲(chǔ)入Ossim數(shù)據(jù)庫(kù)中。

4) 依據(jù)蠕蟲(chóng)和DDOS攻擊等異常報(bào)文的流量特征，在分析程序中預(yù)設(shè)各種觸發(fā)條件，定時(shí)運(yùn)行，從中發(fā)現(xiàn)滿足這些條件的Flow。

5) 將分析結(jié)果在Web客戶端中展示，或者通過(guò)E-mail、短信等接口發(fā)送。也可以通過(guò)與設(shè)備聯(lián)動(dòng)的方式，采用ACL對(duì)設(shè)備進(jìn)行自動(dòng)配置，等攻擊流消退后再自動(dòng)取消ACL。

除了OSSIM之外，還有些商業(yè)軟件都提供了很好的分析工具，例如Solarwinds NetFlow Traffic Analysis 和Manage Engine NetFlow Analyzer這兩款軟件如圖7所示，它們都是不錯(cuò)的選擇。

圖7 Manage Engine NetFlow Analyzer