如今，隨著云計(jì)算、移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、大數(shù)據(jù)等技術(shù)的快速發(fā)展，企業(yè)逐漸認(rèn)識(shí)到，數(shù)據(jù)的價(jià)值，對數(shù)據(jù)的挖掘分析能力已經(jīng)成為企業(yè)的核心競爭力。對于互聯(lián)網(wǎng)企業(yè)，最有價(jià)值的數(shù)據(jù)都蘊(yùn)藏在網(wǎng)站的日志中。從日志中，我們可以知道網(wǎng)站的訪問量，應(yīng)用的使用量、用戶的相關(guān)數(shù)據(jù)，使用偏好等關(guān)鍵信息，從而更好的改善服務(wù)質(zhì)量，更好的滿足用戶的需求。

但是隨著企業(yè)的用戶規(guī)模不斷擴(kuò)大，以及數(shù)據(jù)量的爆炸式增長，日志的管理和分析變得越來越具有挑戰(zhàn)性。近日，51CTO記者采訪了【W(wǎng)OT2016互聯(lián)網(wǎng)運(yùn)維與開發(fā)者峰會(huì)】特邀講師，又拍云CTO黃慧攀，就海量日志處理系統(tǒng)架構(gòu)進(jìn)行探討。

黃慧攀是2010年加入又拍云，現(xiàn)任又拍云 CTO。他是 aLiLua Web 開發(fā)框架的作者，擁有 14 年互聯(lián)網(wǎng)從業(yè)經(jīng)驗(yàn)，技術(shù)經(jīng)驗(yàn)涵蓋范圍比較廣，早期以前端 Web 開發(fā)為主，后期逐步轉(zhuǎn)到底層研發(fā)方向，在高性能網(wǎng)絡(luò)服務(wù)、分布式存儲(chǔ)系統(tǒng)等方面有較深入的研究。隨著公司發(fā)展，團(tuán)隊(duì)不斷擴(kuò)大，相應(yīng)職責(zé)細(xì)分，目前主要做技術(shù)規(guī)劃和團(tuán)隊(duì)建設(shè)的工作。

黃慧攀此次將會(huì)在WOT 2016互聯(lián)網(wǎng)運(yùn)維與開發(fā)者峰會(huì)上帶來主題為《海量日志處理系統(tǒng)架構(gòu)》的演講。那么海量日志對于企業(yè)來說為何如此重要呢？黃慧攀認(rèn)為，日志的可挖掘價(jià)值確實(shí)非常多，比如廣告領(lǐng)域可以通過日志回溯到某個(gè)具體的用戶對什么產(chǎn)品或服務(wù)感興趣，從而驅(qū)動(dòng)給該用戶投放什么類型的廣告。這也是現(xiàn)在很熱門的大數(shù)據(jù)領(lǐng)域中很重要的一項(xiàng)。而日志對于又拍云來說，重點(diǎn)是在分析平臺(tái)整體性能，并在這些數(shù)據(jù)的基礎(chǔ)上做系統(tǒng)優(yōu)化。另外一個(gè)部分則是為給客戶提供便利而做的統(tǒng)計(jì)分析工作。

那么在信息爆炸的時(shí)代，處理海量日志的挑戰(zhàn)又有哪些呢？海量日志的日志數(shù)據(jù)量非常大，大到單臺(tái)服務(wù)器無法存儲(chǔ)和處理的量級。目前，又拍云現(xiàn)在每天收集到的訪問日志就超過4TB的壓縮數(shù)據(jù)，如果解壓出來高達(dá)120TB文本數(shù)據(jù)。黃慧攀表示，處理如此龐大的數(shù)據(jù)量確實(shí)面臨很多挑戰(zhàn)，光收集存儲(chǔ)這些原始日志都會(huì)成為問題，后續(xù)的處理和統(tǒng)計(jì)的難度就更大了。

現(xiàn)在，業(yè)界在處理海量日志采用比較流行的Hadoop或Spark等分布式計(jì)算系統(tǒng)，這樣的開源技術(shù)無需考慮系統(tǒng)架構(gòu)。黃慧攀強(qiáng)調(diào)，如果要針對特定的業(yè)務(wù)場景，企業(yè)自己研發(fā)日志處理系統(tǒng)則需要一定的經(jīng)驗(yàn)，比如如何規(guī)范數(shù)據(jù)，如何做數(shù)據(jù)分布處理和匯總數(shù)據(jù)等等。

雖然Hadoop和Spark都是業(yè)界比較流行的開源技術(shù)，但是面向特定的業(yè)務(wù)場景很難做到盡善盡美。為此，又拍云獨(dú)辟蹊徑，開發(fā)了海量日志處理系統(tǒng)，來解決日處理TB級的壓縮日志數(shù)據(jù)的方法。至于使用了哪些技術(shù)，黃慧攀則賣起了關(guān)子，感興趣的用戶可以關(guān)注在WOT 2016互聯(lián)網(wǎng)運(yùn)維與開發(fā)者峰會(huì)第二天上午的 【大數(shù)據(jù)與運(yùn)維】專場中黃慧攀的有趣分享。