新浪微博系統(tǒng)開發(fā)工程師于炳哲:如何實現(xiàn)更好的日志運維?
原創(chuàng)2016年8月26-27日,由51CTO.com主辦的【W(wǎng)OT2016移動互聯(lián)網(wǎng)技術(shù)峰會】在北京粵財JW萬豪酒店隆重召開。自2012年以來,WOT品牌大會秉承專注技術(shù)、服務技術(shù)人員的理念已經(jīng)成功舉辦十一屆,不僅積累了大量的專家資源,更獲得廣大IT從業(yè)者和技術(shù)愛好者的認可和好評,并成為業(yè)界重要的技術(shù)分享及人脈拓展。來自新浪微博系統(tǒng)開發(fā)工程師于炳哲,為我們帶來了主題為《日志漫談-不同規(guī)模下的日志運維與優(yōu)化》的演講。演講結(jié)束,51CTO記者在***時間采訪了他。
新浪微博系統(tǒng)開發(fā)工程師 于炳哲
企業(yè)的日志運維會遇到很多不同的問題,最主要的是日志量的問題,當企業(yè)日志量過于龐大時,首先我們要考慮日志是否有一些可以進行日志合并對日志格式進行一定的規(guī)范,其次是考慮成本問題,日志越大企業(yè)實際的成本也就越大,所以要選擇有效的數(shù)據(jù)做一些有真正意義的事情。
不同的企業(yè)規(guī)模對日志的要求也不是相同的,這是一個漸進的過程,小企業(yè)的規(guī)模較小但發(fā)展特別快速,所以小企業(yè)日志通過一些企業(yè)的迭代進行架構(gòu)迭代。大企業(yè)在日志方面顯得比較成熟,在成熟的環(huán)境下迭代就不再明顯,更加被強調(diào)出來的是各部門之間的解耦問題,保證好相應的解耦問題,是大企業(yè)在日志運維方面面臨的問題。
企業(yè)優(yōu)化日志運維應該更好的與大數(shù)據(jù)相結(jié)合,相對于普通的日志監(jiān)控,數(shù)據(jù)驅(qū)動是一種很好的優(yōu)化選擇。
從龐大的日志中有效的挖掘有價值的數(shù)據(jù)不僅僅是后期操作就可以的,對日志的前期規(guī)劃也十分重要,為了方便信息的分類收集,就要把同類的信息收集到同一個通道當中,作為數(shù)據(jù)采樣,更不需要全量的龐大數(shù)據(jù),量的減少可以更快的分析出整體的效果,企業(yè)也可以通過技術(shù)的組件做出相應的版塊監(jiān)控。
日志分析首先考慮的就是企業(yè)的規(guī)模,根據(jù)企業(yè)結(jié)構(gòu)來選擇適合企業(yè)的日志架構(gòu),其次是同步與異步架構(gòu)設計需要提前整理好,再者企業(yè)日志分析往往需要根據(jù)業(yè)務方面和技術(shù)方面進行優(yōu)化。***,企業(yè)日志的分析可以通過一些開源組件得到很好的解決,針對企業(yè)當中的業(yè)務的具體情況,相對應的開源組件可以進行符合業(yè)務的一些修改。