詳解網絡流量監(jiān)控
網絡的行為特征可以通過其承載的流量的動態(tài)特性來反映,所以有針對性地監(jiān)測網絡中流量的各種參數(如接收和發(fā)送數據報大小、丟包率、數據報延遲等信息),能從這些參數中分析網絡的運行狀態(tài)。通過分析和研究網絡上所運載的流量特性,有可能提供一條有效的探索網絡內部運行機制的途徑。
另外,網絡流量反映了網絡的運行狀態(tài),是判別網絡運行是否正常的關鍵。如果網絡所接收的流量超過其實際運載能力,就會引起網絡性能下降。通過流量測量不僅能反映網絡設備(如路由器、交換機等)工作是否正常,而且能反映出整個網絡運行的資源瓶頸。所以,企業(yè)網中網絡流量的健康程度,就如同人體中的血液一樣重要。
一、網絡監(jiān)聽關鍵技術
1.網絡監(jiān)聽
網絡監(jiān)聽是一種監(jiān)視網絡狀態(tài)、數據流程,以及網絡上信息傳輸的管理工具,其監(jiān)聽的工作流程是:監(jiān)聽者通過單一探針或分布式的探針,收集目標網絡段數據流,通過預定的隧道匯總到遠程/本地數據中心,并利用網絡流量/協(xié)議分析系統(tǒng)完成對海量數據的初步分析和預處理,最后根據任務需求,對其中的關鍵數據完成識別、地理位置的定位和評估,為進一步的行動提供依據。網絡監(jiān)聽包括兩種核心技術,即數據流采集技術和網絡流量/協(xié)議分析技術。數據流采集,指通過在特定位置部署網絡監(jiān)聽探針,從監(jiān)聽的對象(包括單機或內網網段)處采集數據流;協(xié)議分析,通常指采用計算機人工智能與情報分析專家協(xié)同處理的方式,從海量數據中發(fā)現任務所需的關鍵信息,并力圖在工作效率和準確性方面取得最佳平衡。
網絡流量/協(xié)議分析技術能幫助網絡運行維護人員充分了解和掌握網絡的流量占用、應用分布、通信連接、數據包原始內容等所有網絡行為,以及整個網絡的運行情況,使其能在網絡出現問題時,快速準確地分析問題原因、定位關鍵點、故障點和威脅點并進行相應處理,確保網絡按預期目標運行。它能幫助我們弄清楚“網絡內部的運作細節(jié)”
2. SNMP協(xié)議的不足
SNMP是RMON模型的前身。目前,SNMP是基于TCP/IP并在Internet中應用比較廣泛的網管協(xié)議,網絡管理員可以使用它來監(jiān)視和分析網絡運行情況,但是SNMP也有一些明顯的不足之處。SNMP使用輪詢采集數據,而在大型網絡中輪詢會產生巨大的網絡管理報文,從而導致網絡擁塞。SNMP僅提供一般的驗證,不能提供可靠的安全保證。此外,SNMP也不支持分布式管理,而采用集中式管理。由于只有網管工作站負責采集數據和分析數據,所以網管工作站的處理能力可能成為瓶頸。為了提高傳送管理報文的有效性,減少網管工作站的負載,滿足網絡管理員監(jiān)控網段性能的需求,IETF開發(fā)了RMON用以解決SNMP在日益擴大的分布式互聯(lián)中所面臨的局限性。
3.監(jiān)聽關鍵技術
網絡監(jiān)聽系統(tǒng)中包括兩個方面的核心技術:數據流采集技術和網絡流量/協(xié)議分析技術。與此同時,業(yè)界也存在另一種劃分方法,將網絡監(jiān)聽的關鍵技術概括為以下三個方面的內容:
數據流采集技術解決“如何從網絡的不同位置獲取我們所需要的絡數據流”這一問題。從數據采集的位置看,可以分為基于網絡、基于主機及混合采集三種:
(1)流量監(jiān)測技術
流量監(jiān)測技術主要包括基于SNMP的流量監(jiān)測和基于Netflow的流量監(jiān)測?;赟NMP的流量信息采集。通過提取網絡設備代理提供的MIB收集一些具體設備及與流量信息有關的變量?;赟NMP收集的網絡流量信息包括輸字節(jié)數、廣播包數、丟包數和輸出隊長列長度等。
(2)基于Netflow流量信息采集
基于網絡設備提供的Netflow機制實現的網絡流量采集,在此基礎上實現的流量信息采集效率和效果均能夠滿足網絡流量異常監(jiān)測的需求?;谝陨系牧髁繖z測技術,目前有很多流量監(jiān)控管理軟件,此類軟件是判斷異常流量流向的有效工具,通過流量大小變化的監(jiān)控,可以幫助網管人員發(fā)現異常流量,特別是大流量異常流量的流向,從而進一步查找異常流量的源地址和目的地址。
(3)協(xié)議分析技術
協(xié)議分析技術用于解決了解掌握用戶具體使用了什么協(xié)議和應用,主要包括協(xié)議和應用識別、數據包解碼分析等。
4 NetFlow與sFlow的區(qū)別
目前基于流量的解決方案主要分為sFlow和NetFlow兩種。sFlow是由惠普和Foundry Networks聯(lián)合開發(fā)它采用隨機數據流采集技術,可以適應超大網絡流量例如在萬兆流量的環(huán)境中,進行實施分析網絡傳輸,但是支持sFlow的硬件設備并不多,目前有惠普和FoundryNetworks以及Extreme Networks廠家的設備支持。NetFlow是思科的技術目前廣泛的在各種中高端設備都支持,但目前對萬兆流量支持的并不理想,它采用了定時抽樣采集數據。Ntop工具的插件中就提供了sFlow和Netflow流量采集的支持。
5.協(xié)議和應用識別
根據采集的數據報報頭的內容,采用基于協(xié)議自動機的流量識別技術,綜合分析包括IP地址、端口號、關鍵字、報文格式、傳輸層協(xié)議等在內的多種特征,對流量進行分類并完成對各種應用層協(xié)議的準確識別,如數據庫協(xié)議、使用動態(tài)端口分配的P2P、加密型或非加密型即時通信、虛擬隧道應用等都將無所遁形。
基于數據包解碼的分析。首先將采集到的數據報按照報文格式定義解碼為可讀的數據段,然后對海量的數據段進行智能化狀態(tài)模式匹配。這種技術的原理是以與會話中的客戶端或者服務器端相同的方式解碼,各個協(xié)議組件在識別通信數據的各個部分類型之后根據RFC定義的規(guī)則搜尋信息模式,在某些情況下可以通過在某個特定的協(xié)議域中進行模式匹配來進行,而有些則需要采用一些更加先進的技術或引入人工干預,如根據一些特定的變量(如某個域的長度或者自變量的數量)進行檢測等。
6.網絡數據流采集技術
掌控網絡通信情況的最佳辦法是對網絡數據流進行全面采集。目前主要有兩種類即硬件探針和軟件代理。網絡探針(Sensor)通常借助Hub/交換機/TAP等設備,如常見的交換機端口分析器(SPAN)功能,本書中涉及的監(jiān)控部分都是利用此功能;還可采取在網段中串接TAP設備的方式;使用集線器(Hub)作為網絡中心交換設備的網絡為共享式網絡,集線器以共享帶寬的方式工作,所有接在集線器上的設備均處在一個沖突域中,因此,如果用戶網絡的中心交換設備是集線器,只需將監(jiān)聽設備與集線器相連,即可捕獲整個子網中所有的數據通信。
交換機端口分析器(俗稱SPAN)是平時比較常見的,且作用在交換機上的網絡數據流采集端口。網絡管理員配置交換機上的一個端口作為SPAN端口,然后交換機就將其指定端口/VLAN的流量復制并發(fā)送到SPAN端口,用于監(jiān)聽網絡流量。當然是用SPAN方式也有它的不足,它工作時逼近要以犧牲交換機性能為代價(正常情況下啟用SPAN后交換機CPU的使用率在10%以下,如果過半那么就不能使用SPAN方案),為了解決這個問題,在千兆速率以上的網絡中要試試流量收集分析,就要用到硬件加速技術,目前比較好的是Endace公司開發(fā)的GAG系列檢測卡,有興趣的讀者可以在網上深入查詢。
7 .SPAN的局限性
在《開源安全運維平臺-OSSIM最佳實踐》一書中全部案例都用到了SPAN技術,但應該指出的是思科、華為等廠商在SPAN方面有著一些限制:
- SPAN會話中目的端口只能有一個;
- 不同的SPAN會話目的端口只能有一個;
- 一般中檔的思科設備通常只支持一個會話;
在安全級別和要求比較高的場合(例如多個IDS系統(tǒng)+多個流量分析系統(tǒng)并行使用的情況),會要求使用它2個以上的安全設備或者流量分析設備,這時由于交換機SPAN端口數量上的限制,無法滿足要求,所以用戶通常會考慮采用專用流量分析接入設備—TAP(Test Access Point)方式,而傳統(tǒng)的SPAN可以作為補充?;赥AP的流量復制/匯聚器,它是個硬件設備,作用是支持多端口的流量匯聚,而且能做到真正的全線速,也就是能夠完整的復制到多個監(jiān)聽端口上供多套分析系統(tǒng)使用。為什么它能這么強悍,因為TAP設備內部采用了硬件ASIC方式復制交換引擎,所以可以保證千兆全線速復制監(jiān)聽。通常部署方式是將TAP設備串聯(lián)在防火墻和核心交換機之間,然后將IDS/IPS等多套安全設備接到TAP的指定端口就能實現多個安全設備同時工作的目的。下面通過表1,讓讀者對三者優(yōu)缺有個清晰的認識
表1 HUB/SPAN/TAP 監(jiān)聽方法比較
在一些網絡應用非常發(fā)達的大型企業(yè)中,架設用戶后臺使用IBM WebSphere應用,當出現問題是,運維人員會在多個交換機上創(chuàng)建SPAN端口,我們知道Cisco6500系列交換機只能設置2個SPAN端口,這時如果有多套監(jiān)控系統(tǒng)就無法同時使用。而且當負載大時也無法使用SPAN,這時使用矩陣交換機就可以保證監(jiān)控工具正常運行。并且能夠將更多的網絡嗅探工具接到上面進行分析。矩陣交換機比起TAP更多的是使用內置的過濾功能,他可以讓運維人員選擇特定的數據流通過指定的工具。試想一下在一個不能過濾的TAP接口中,一下子會被來自萬兆通道的數據沖垮。使用了矩陣交換機的過濾功能就不會使嗅探器工具過載。
二、用Netflow分析網絡異常流量
隨著各種網絡應用迅速增加,由此帶來網絡流量的激增。在這些流量中網絡用戶的上網行為如何?各種類型的流量如何分布?在這種情況下,可以使用NetFlow這一有效工具以滿足對網絡流量管理的需求,這個工具就是NetFlow。最初NetFlow是由Cisco開發(fā),由于使用廣泛,目前很多廠家都可以實現類似NetFlow的功能,如:Juniper、Extreme、Foundry、H3C。對于Cisco來說,NetFlow有多種版本,如:V5、V7、V8、V9。目前NetFlow V5是主流。因此本文主要針對NetFlowV5,這一版本數據包中的基本元素包含哪些內容呢,首先從Flow講起。詳情請參閱《開源安全運維平臺-OSSIM最佳實踐》。在書中不僅介紹如何部署Netflow系統(tǒng),如何使用它來分析異常流量,還詳細利用另一款開源工具來分析應用層的流量,最后在奉上如何預防嗅探技術的方法,全面滿足你的胃口。