[[194049]]

(一)前言

時(shí)間序列數(shù)據(jù)(TIME-SERIES DATA)、 大數(shù)據(jù)(BIG DATA)。無論您稱之什么，機(jī)器數(shù)據(jù)(machine data)都是任何組織中最容易低估的資產(chǎn)之一。 而且，不幸的是，數(shù)據(jù)通常保留一段很短的時(shí)間，然后就被丟棄，再也看不見。

但是，您可以從中獲得的一些最重要的見解，這通常隱藏在這些數(shù)據(jù)中：哪里出問題，如何優(yōu)化客戶體驗(yàn)，以及欺詐證據(jù)。所有這些見解都可以在組織的正常操作所生成的機(jī)器數(shù)據(jù)中找到。

機(jī)器數(shù)據(jù)是有價(jià)值的，因?yàn)樗蛻?、用戶、交易、?yīng)用程序、服務(wù)器、網(wǎng)絡(luò)和移動設(shè)備的所有活動和行為的確定性記錄。它包括配置，來自API的數(shù)據(jù)、消息隊(duì)列、事件，診斷命令的輸出，來電詳細(xì)記錄和工業(yè)系統(tǒng)等的傳感器數(shù)據(jù)。

利用機(jī)器數(shù)據(jù)的挑戰(zhàn)在于它令人眼花繚亂的不可預(yù)測的格式，傳統(tǒng)的監(jiān)控和分析工具無法應(yīng)對數(shù)據(jù)的種類、速度、容量或變化。但是，利用這些數(shù)據(jù)的組織有很大的優(yōu)勢，包括快速診斷服務(wù)問題，檢測復(fù)雜的安全威脅，了解遠(yuǎn)程設(shè)備的運(yùn)行狀況和性能并證明合規(guī)性。

在實(shí)踐中使用機(jī)器數(shù)據(jù)

使用機(jī)器數(shù)據(jù)需要三個(gè)(看似簡單的)步驟：攝取、關(guān)聯(lián)和分析。

從機(jī)器數(shù)據(jù)獲得最大價(jià)值的組織能夠區(qū)分不同的數(shù)據(jù)類型，將它們鏈接在一起，并從結(jié)果中獲得價(jià)值。 但是最大的挑戰(zhàn)之一就是理解你應(yīng)該攝取哪些數(shù)據(jù)。

根據(jù)需求，定義use cases – 無論是安全性、IT操作、業(yè)務(wù)分析還是物聯(lián)網(wǎng) – 你可以開始識別數(shù)據(jù)源，并開始關(guān)聯(lián)。

本書提供了幾乎所有規(guī)模的組織中最常見的機(jī)器數(shù)據(jù)類型的概述。 雖然每個(gè)組織的需求和數(shù)據(jù)來源將隨著供應(yīng)商、產(chǎn)品和基礎(chǔ)設(shè)施的不同而不同，但本書詳細(xì)介紹了應(yīng)該查找機(jī)器數(shù)據(jù)的位置及價(jià)值。

本書中列出的許多數(shù)據(jù)源可以支持多種use cases – 這是驅(qū)動機(jī)器數(shù)據(jù)巨大價(jià)值的主要部分。 每個(gè)數(shù)據(jù)源支持的use cases可以用下面的圖標(biāo)輕松識別。

(二)數(shù)據(jù)源

可用的數(shù)據(jù)源有：用戶數(shù)據(jù)、應(yīng)用數(shù)據(jù)、中間件數(shù)據(jù)、網(wǎng)絡(luò)數(shù)據(jù)、操作系統(tǒng)數(shù)據(jù)、基礎(chǔ)設(shè)施數(shù)據(jù)、物聯(lián)網(wǎng)數(shù)據(jù)及其他數(shù)據(jù)源，本文列出了8大類，59小類數(shù)據(jù)。

其中每種數(shù)據(jù)前面的不同的顏色代表不同的價(jià)值，其中安全相關(guān)的是黃色的，共43小類，也可以看出安全能用的數(shù)據(jù)真不少。

以下抽樣幾種與安全相關(guān)的數(shù)據(jù)介紹，原文見：https://www.splunk.com/pdfs/ebooks/the-essential-guide-to-machine-data.pdf

(三)用戶數(shù)據(jù)介紹

用戶類兩種：認(rèn)證數(shù)據(jù)和VPN數(shù)據(jù)，以認(rèn)證數(shù)據(jù)為例：

use cases：安全與合規(guī)，IT運(yùn)營，應(yīng)用交付

示例：AD、LDAP、身份管理，單點(diǎn)登錄

IT操作和應(yīng)用交付：驗(yàn)證數(shù)據(jù)支持IT操作團(tuán)隊(duì)，因?yàn)槟軐ι矸蒡?yàn)證相關(guān)的問題進(jìn)行排錯(cuò)。

安全合規(guī)性：為了安全起見，認(rèn)證數(shù)據(jù)提供了大量關(guān)于用戶活動的信息，例如在給定時(shí)間窗口內(nèi)多次登錄失敗或成功，在一定時(shí)間內(nèi)來自不同位置的登錄，以及暴力破解活動。特別：

• Active Directory域控制器日志包含有關(guān)用戶帳戶的信息，例如特權(quán)帳戶活動，以及有關(guān)遠(yuǎn)程訪問，新建帳戶創(chuàng)建和過期帳戶活動的詳細(xì)信息。
• LDAP日志包括用戶登錄系統(tǒng)的時(shí)間和地點(diǎn)以及訪問信息的記錄。
• 身份管理數(shù)據(jù)顯示用戶、組和職位的訪問權(quán)限(例如CEO，主管或普通用戶)。該數(shù)據(jù)可用于識別可能存在潛在的訪問異常 – 例如，CEO訪問低級網(wǎng)絡(luò)設(shè)備或通過CEO帳戶的進(jìn)行網(wǎng)絡(luò)管理。

(四)應(yīng)用數(shù)據(jù)介紹

應(yīng)用類以漏洞掃描類數(shù)據(jù)為例：

Use Cases:安全合規(guī)

示例: ncircle IP360, Nessus

找到安全漏洞的有效方法是從攻擊者的角度來檢查基礎(chǔ)設(shè)施。漏洞掃描探測組織的網(wǎng)絡(luò)，以獲得為外部攻擊者提供入口點(diǎn)的已知軟件缺陷。這些掃描產(chǎn)生關(guān)于開放端口和IP地址的數(shù)據(jù)，攻擊者可以利用這些數(shù)據(jù)來獲取進(jìn)入特定系統(tǒng)或整個(gè)網(wǎng)絡(luò)。

默認(rèn)情況下，系統(tǒng)通常會保持網(wǎng)絡(luò)服務(wù)運(yùn)行。這些運(yùn)行的、不受監(jiān)控的服務(wù)是外部攻擊的常見方式，因?yàn)樗鼈兛赡軟]有更新補(bǔ)丁。大規(guī)模漏洞掃描可以揭示的安全漏洞。

安全與合規(guī)性：漏洞掃描產(chǎn)生有關(guān)惡意代理程序可以使用的開放端口和IP地址的數(shù)據(jù)，以獲取進(jìn)入特定系統(tǒng)或網(wǎng)絡(luò)。數(shù)據(jù)可用于識別：

• 系統(tǒng)配置錯(cuò)誤導(dǎo)致安全漏洞
• 過時(shí)的補(bǔ)丁
• 不必要的網(wǎng)絡(luò)服務(wù)端口
• 配置不當(dāng)?shù)奈募到y(tǒng)，用戶或應(yīng)用程序
• 系統(tǒng)配置變更
• 各種用戶，應(yīng)用或文件系統(tǒng)權(quán)限的變更

(五)中間件數(shù)據(jù)介紹

Middleware Data以web服務(wù)器數(shù)據(jù)為例：

Use Cases: IT Operations, Application Delivery, Security & Compliance,

Business Analytics

Examples: Java J2EE, Apache, Application Usage Logs, IIS logs, nginx

Web服務(wù)器是每個(gè)web網(wǎng)站后端應(yīng)用，傳遞瀏覽器客戶端所看到的所有內(nèi)容。 Web服務(wù)器訪問靜態(tài)HTML頁面，并以各種語言運(yùn)行應(yīng)用程序腳本，生成動態(tài)內(nèi)容，并調(diào)用其他應(yīng)用程序(如中間件)。

安全合規(guī)性：Web日志記錄錯(cuò)誤條件，例如訪問沒有適當(dāng)權(quán)限的文件的請求，并且還跟蹤標(biāo)記為安全攻擊(例如未經(jīng)授權(quán)進(jìn)入或DDoS)的用戶活動。 它還可以幫助識別SQL注入，并支持關(guān)聯(lián)欺詐交易。

• 由于Java app經(jīng)常訪問網(wǎng)絡(luò)服務(wù)和敏感數(shù)據(jù)庫，安全團(tuán)隊(duì)可以使用日志數(shù)據(jù)來檢查J2EE應(yīng)用程序的完整性，識別可疑應(yīng)用程序行為和應(yīng)用程序漏洞。
• Apache Web日志可告警安全攻擊，如嘗試未經(jīng)授權(quán)的進(jìn)入，XSS，緩沖區(qū)溢出或DDoS。
• 與Web日志一樣，Application Usage Logs可以告警未經(jīng)授權(quán)的訪問，例如某人比平時(shí)消耗更多資源，或在奇怪的時(shí)間使用應(yīng)用。

(六)網(wǎng)絡(luò)數(shù)據(jù)介紹

以DNS數(shù)據(jù)為例：

Use Cases: IT Operations, Security & Compliance

Examples: BIND, PowerDNS, Unbound, Dnsmasq, Erl-DNS

安全合規(guī)性：安全團(tuán)隊(duì)可以使用DNS日志來調(diào)查客戶端地址請求，例如將查找表與活動相關(guān)聯(lián)，調(diào)查：請求是否針對不適當(dāng)、其他可疑網(wǎng)站以及站點(diǎn)或域的相對受歡迎程度。 由于DNS服務(wù)器是DDoS攻擊的重點(diǎn)目標(biāo)，日志可以顯示來自外部源的異常高數(shù)量的請求。 同樣，由于受攻擊的DNS服務(wù)器本身通常用于對其他站點(diǎn)發(fā)起DDoS攻擊，因此DNS日志可以顯示組織的服務(wù)器是否已被攻擊。 DNS數(shù)據(jù)還可以提供對未知域名，惡意域名和臨時(shí)域名的檢測。

(七)操作系統(tǒng)數(shù)據(jù)

Use Cases: IT Operations, Application Delivery, Security & Compliance

Examples: Unix, Windows, Mac OS

安全與合規(guī)：系統(tǒng)日志包括各種安全信息，如嘗試登錄、文件訪問和系統(tǒng)防火墻行為。 這些條目可以對網(wǎng)絡(luò)攻擊，安全漏洞或受到攻擊的軟件做出告警。 它們也是安全事件取證分析中寶貴的資料來源。 例如，數(shù)據(jù)可用于識別用戶或特權(quán)用戶執(zhí)行的系統(tǒng)配置和命令的變更。

(八)虛擬化基礎(chǔ)設(shè)施數(shù)據(jù)

Use Cases:IT Operations, Security & Compliance

Examples:CloudTrail, CloudWatch, Config, S3

AWS是最多和最廣泛使用的公共云基礎(chǔ)設(shè)施，通過基于消費(fèi)的定價(jià)提供按需計(jì)算，存儲，數(shù)據(jù)庫，大數(shù)據(jù)和應(yīng)用服務(wù)。 AWS可用于替代傳統(tǒng)企業(yè)虛擬服務(wù)器基礎(chǔ)架構(gòu)。 AWS包括一系列服務(wù)管理，自動化，安全，網(wǎng)絡(luò)和監(jiān)控服務(wù)。

安全合規(guī)性：來自AWS服務(wù)的安全數(shù)據(jù)包括登錄登出事件和嘗試，來自網(wǎng)絡(luò)和Web應(yīng)用程序防火墻的API調(diào)用和日志。 

(九)物聯(lián)網(wǎng)數(shù)據(jù)

Use Cases: IT Operations, Security, Business Analytics, Internet of Things

Examples:Binary and numeric values including switch state, temperature, pressure, frequency, flow, from MQTT, AMQP and CoAP brokers,

HTTP event collector

安全與合規(guī)性：傳感器數(shù)據(jù)可以幫助保護(hù)關(guān)鍵任務(wù)資產(chǎn)和工業(yè)系統(tǒng)免受網(wǎng)絡(luò)安全威脅，提供對系統(tǒng)性能的可視化或設(shè)置點(diǎn)，避免機(jī)器或人員處于危險(xiǎn)之中。 數(shù)據(jù)也可用于滿足合規(guī)報(bào)告要求。