機(jī)器數(shù)據(jù)，所有的設(shè)備，操作系統(tǒng)、硬件服務(wù)器、機(jī)房的感應(yīng)器，包括你的應(yīng)用，你的服務(wù)器，你的中間件所有產(chǎn)生的數(shù)據(jù)就是機(jī)器數(shù)據(jù)。

　　機(jī)器數(shù)據(jù)可以進(jìn)行數(shù)據(jù)故障的分析，可以看到它的性能數(shù)據(jù)，同時(shí)機(jī)器數(shù)據(jù)還有安全審計(jì)、業(yè)務(wù)分析的能力。

　　安全審計(jì)主要是防止安全侵入尤其是遇到從外部的侵入時(shí)，這個(gè)機(jī)器數(shù)據(jù)是沒(méi)有用的

　　業(yè)務(wù)分析主要是從日志里面去把這些業(yè)務(wù)的一些關(guān)鍵信息，把它摳出來(lái)，一般都是放在數(shù)據(jù)庫(kù)里面去。在日志里面，把各個(gè)系統(tǒng)關(guān)聯(lián)起來(lái)之后，這部分其實(shí)是很重要的。

[[167520]]

　　日志，不是把它單純當(dāng)做文件而是要把它當(dāng)作一個(gè)消息來(lái)看。有價(jià)值的日志理解方式，應(yīng)該是一條一條的消息。

　　因?yàn)槲磥?lái)，就算是不說(shuō)云，單是應(yīng)用系統(tǒng)是要跟我們的底層的基礎(chǔ)設(shè)施要接上的，那么未來(lái)我們的日志的看法就不會(huì)是文件，而是消息。

　　日志擁有的生命周期其實(shí)是很奇怪的，先記錄、傳輸、分析，然后再存儲(chǔ)，然后再刪除，實(shí)際上是這樣一個(gè)過(guò)程，其實(shí)很多公司也有這樣一個(gè)過(guò)程，隨著日志的不斷增加，由原來(lái)的周期慢慢演變?yōu)橛涗?、傳輸、存?chǔ)、刪除，但是卻沒(méi)有了分析。

　　同時(shí)日志的保存的期限是有嚴(yán)格的要求，把那些日志撈回來(lái)，再看里面的內(nèi)容，其實(shí)是很少有這樣的一個(gè)回放的過(guò)程，而且也很痛苦。大量的日志內(nèi)容往往很少能過(guò)全部閱覽完畢。甚至到***演變成了記錄、刪除這樣一個(gè)沒(méi)有任何作用的習(xí)慣性過(guò)程。

　　想要有效利用日志進(jìn)行審計(jì)及分析數(shù)據(jù)，三無(wú)主義是***的選擇，沒(méi)有界面，沒(méi)有歸檔，沒(méi)有批量，就是不能批量去撈日志，沒(méi)有歸檔，也沒(méi)有一個(gè)直觀的日志的可視化的界面去看，但是在那樣的一個(gè)情況下，其實(shí)是分析日志數(shù)據(jù)最理想的狀態(tài)。

　　如何進(jìn)行日志的管理，建議通過(guò)Nginx去做歸檔，定期的把日志備份到NAS，再?gòu)腘AS到磁帶。有意義的日志的結(jié)構(gòu)化是很有限的，結(jié)構(gòu)化可以體現(xiàn)出日志告警，準(zhǔn)確找出分析數(shù)據(jù)的異常。

　　日志進(jìn)行結(jié)構(gòu)化可以使日志分析的時(shí)候，都是做全功能檢索，列一條信息做全功能檢索，沒(méi)有什么索引，沒(méi)有什么統(tǒng)計(jì)，這樣便于數(shù)據(jù)的分析，不會(huì)使得日志數(shù)據(jù)分析痛苦不堪。

　　日志云后端，后端可以用開(kāi)源解決所有的問(wèn)題，這一系統(tǒng)的開(kāi)發(fā)運(yùn)維是很容易搞定，直接依照于開(kāi)源組建的方式去它部署、安裝上去，但只是按照文檔，去安裝，去部署，去配置，但是我們沒(méi)有去做創(chuàng)造。

　　做一個(gè)企業(yè)級(jí)的日志查詢(xún)的綜合頁(yè)面,基本上后臺(tái)其實(shí)是可以和開(kāi)源的所有組建進(jìn)行吻合的, 日志查詢(xún)的綜合頁(yè)面它不僅是我們有一般的，就是檢索的柱狀圖、日期，還有一些趨勢(shì)分析，同時(shí)也會(huì)具備遠(yuǎn)程去控制你的Heka，可視化的界面用過(guò)一段時(shí)間之后，有一些查詢(xún)的規(guī)則，它是沒(méi)有辦法通過(guò)這個(gè)界面直接搞定的，只能通過(guò)結(jié)構(gòu)化進(jìn)行關(guān)聯(lián)分析。

　　CEP是什么?日志的整個(gè)體系結(jié)構(gòu)，完成后就基本上很豐滿了，能夠滿足我們現(xiàn)在互聯(lián)網(wǎng)金融的一個(gè)要求。整個(gè)CEP的關(guān)鍵字就是聯(lián)系不斷的，實(shí)時(shí)處理的數(shù)據(jù)，也就是之前說(shuō)的日志，就是一條一條的事件。它的基礎(chǔ)檢索的數(shù)據(jù)量是很大的，你要存很多數(shù)據(jù)，你有很多數(shù)據(jù)來(lái)源，所以這個(gè)基礎(chǔ)數(shù)據(jù)很大。比如說(shuō)，***面要去做一個(gè)判斷，就是說(shuō)他判斷完這些基礎(chǔ)數(shù)據(jù)之后，要去做一個(gè)事情，要通過(guò)一個(gè)觸發(fā)器把它觸發(fā)，這個(gè)可能也是要很多計(jì)算資源的。