IT安全的發(fā)展是圍繞數(shù)據(jù)，生成、收集、收集、存儲和分析數(shù)據(jù)是安全日志的重要部分，但這些大型數(shù)據(jù)集給存儲和處理資源帶來巨大壓力。

[[165217]]

在專業(yè)生產(chǎn)環(huán)境中，應(yīng)該部署著良好的數(shù)據(jù)收集和分析基礎(chǔ)設(shè)施，并有足夠的資源進(jìn)行可靠和穩(wěn)定的設(shè)置。

然而，現(xiàn)實情況是，由于預(yù)算限制以及對更大靈活性的需求，安全專家通常需要在更小的環(huán)境中實施和測試數(shù)據(jù)分析及處理。幸運的是，即使預(yù)算低且時間有限，我們?nèi)匀挥修k法可以測試數(shù)據(jù)分析。本文中，讓我們看看在小環(huán)境中有限預(yù)算情況下測試數(shù)據(jù)分析的方法。并且，讓我們看看在小型環(huán)境有效運行數(shù)據(jù)分析的方法。

虛擬化

為了保持低成本以及高配置靈活性，我們應(yīng)該盡可能多地利用虛擬化硬件。Vmware ESXi是數(shù)據(jù)分析測試實驗室的不錯選擇，Parallels、VirtualBox和Hyper-V等其他產(chǎn)品也可以使用。在這個例子中，我們將使用Vmware。在免費注冊許可證后，這個管理程序可安裝在相對廉價的硬件中—但是要注意支持的CPU要求，否則也可能會很昂貴。在管理程序上，我們可以通過虛擬網(wǎng)絡(luò)安裝和連接很多不同的虛擬主機。例如，這包括基于Linux和Unix的代理服務(wù)器、IDS和防火墻設(shè)備，以及Splunk和Syslog服務(wù)器。

代理服務(wù)器

代理服務(wù)器可提供對網(wǎng)絡(luò)流量的可視性，并可處理流量直到ISO模型的應(yīng)用層。例如，它可顯示HTTP和FTP特定通信?，F(xiàn)在有很多免費的開源代理服務(wù)器，例如ClearOS、CacheGuard和pfSense。pfSense是基于FreeBSD，這是最容易管理的代理服務(wù)器之一，并且它內(nèi)置很多高級功能，例如Squid Proxy、SSL檢查、防病毒和VPN。遠(yuǎn)程Syslog是防火墻日志的可選項，但為了輸出代理服務(wù)器日志，還需要在代理服務(wù)器設(shè)置的自定義選項字段添加以下命令行：access_log syslog:LOG_LOCAL4，這之后會進(jìn)行重新啟動。對于SSL檢查，則需要通過Web UI安裝Squid 3 Proxy軟件包，SSL檢查可提供hTTPS代理日志記錄。

Splunk

Splunk Light是集中日志記錄的起點，它還可以為安全性運行測試數(shù)據(jù)分析程序。在注冊后，它免費可供使用，并可很容易地安裝在Ubuntu服務(wù)器?？紤]到主機本身是虛擬化，整個服務(wù)器不會增加任何成本。另一個選擇是Splunk企業(yè)免費版，它提供60天免費試用，允許每天索引500 MB數(shù)據(jù)，但在60天后需要付費轉(zhuǎn)為永久Splunk企業(yè)版。

在pfSense Remote Syslog的情況下，我們需要Splunk通用轉(zhuǎn)發(fā)器來收集日志以及轉(zhuǎn)發(fā)日志到Splunk索引。這個轉(zhuǎn)發(fā)器可與Splunk Light Search Head(上文所述的Web UI)相同的主機或者在單獨主機上。我們可通過Splunk Web界面來完成對這個Splunk通用轉(zhuǎn)發(fā)器的數(shù)據(jù)來源和監(jiān)聽端口的配置和自定義。

Hadoop

數(shù)據(jù)挖掘和數(shù)據(jù)科學(xué)是目前的熱門話題。對于任何想要深入研究這個問題的人來說，可以選擇運行Hadoop測試服務(wù)器。通常情況下，Hadoop運行在群集配置中，但這也可以降至單節(jié)點群集，這種單臺服務(wù)器將同時包含數(shù)據(jù)節(jié)點和名稱節(jié)點。為了互換Splunk和Hadoop服務(wù)器之間的數(shù)據(jù)，可以下載和安裝Hadoop Connect。這需要安裝Splunk Enterprise Free，并由于Splunk內(nèi)的應(yīng)用支持要求，它將無法在Splunk Light運行。安裝手冊和視頻提供在Splunk網(wǎng)站。

總結(jié)

總之，安全完全是關(guān)于數(shù)據(jù)。在設(shè)置這個測試實驗室后，需要生成可用數(shù)據(jù)。這需要虛擬網(wǎng)絡(luò)內(nèi)的一些活動，例如通過代理服務(wù)器運行家庭LAN、在網(wǎng)絡(luò)外圍設(shè)置蜜罐或者在網(wǎng)絡(luò)內(nèi)運行模擬攻擊。由于使用了虛擬組件，這個測試實驗室將具有足夠的靈活性以適應(yīng)所要求的情況，并將能夠生成很多類型的數(shù)據(jù)用于分析。