【51CTO.com原創(chuàng)稿件】2016 年11月25-26日，WOT2016大數(shù)據(jù)峰會(huì)在北京粵財(cái)JW萬(wàn)豪酒店召開(kāi)，50多位大數(shù)據(jù)領(lǐng)域一線專(zhuān)家、數(shù)據(jù)技術(shù)先行者齊聚現(xiàn)場(chǎng)，在圍繞數(shù)據(jù)智能、大 數(shù)據(jù)商業(yè)、區(qū)塊鏈、實(shí)時(shí)計(jì)算、系統(tǒng)架構(gòu)、NoSQL等前沿技術(shù)話題展開(kāi)深度交流和溝通探討的同時(shí)，分享大數(shù)據(jù)領(lǐng)域***實(shí)踐和最熱門(mén)的行業(yè)應(yīng)用。

在WOT2016大數(shù)據(jù)技術(shù)峰會(huì)系統(tǒng)架構(gòu)分會(huì)場(chǎng)，來(lái)自AdMaster的資深架構(gòu)師劉喆發(fā)表了演講，他的演講主題是AdMaster的Lambda架構(gòu)實(shí)踐。會(huì)后51CTO記者在現(xiàn)場(chǎng)對(duì)他進(jìn)行了專(zhuān)訪。

【受訪人簡(jiǎn)介】

[[177154]]

劉喆·AdMaster資深架構(gòu)師

劉喆(Zhe Liu)，目前任現(xiàn)任架構(gòu)師，主要負(fù)責(zé)數(shù)據(jù)處理的全流程技術(shù)支持, 高性能和高可用的分布式架構(gòu)設(shè)計(jì), DSL 語(yǔ)言抽象, Hadoop/HBase/Storm/Spark等大數(shù)據(jù)平臺(tái)優(yōu)化。2010年碩士畢業(yè)后, 劉喆在百度就職, 負(fù)責(zé)當(dāng)時(shí)全球規(guī)模***的 hadoop 平臺(tái)的運(yùn)維開(kāi)發(fā)工作. 2011年底加入人民搜索, 代理運(yùn)維總監(jiān)。近7 年的大學(xué)生活和近 5 年的工作經(jīng)歷中, 劉喆一直在追求簡(jiǎn)單直接,關(guān)注于數(shù)據(jù)挖掘/大數(shù)據(jù)/DSL/系統(tǒng)架構(gòu), 對(duì)分布式計(jì)算/分布式架構(gòu)和程序語(yǔ)言情有獨(dú)鐘, 曾多次被51CTO/spark 峰會(huì)/into100峰會(huì)等邀請(qǐng)為嘉賓分享Hadoop/spark/開(kāi)源軟件等相關(guān)經(jīng)驗(yàn)。

Lambda架構(gòu)從何而來(lái)?他是由Storm的作者Nathan Marz提出，針對(duì)個(gè)實(shí)時(shí)大數(shù)據(jù)處理的一個(gè)框架。Marz在Twitter工作期間開(kāi)發(fā)了著名的實(shí)時(shí)大數(shù)據(jù)處理框架Storm，Lambda架構(gòu)是其根據(jù) 多年進(jìn)行分布式大數(shù)據(jù)系統(tǒng)的經(jīng)驗(yàn)總結(jié)提煉而成。當(dāng)記者問(wèn)及最初選擇Lambda架構(gòu)的原由時(shí)，劉喆這樣回答：“其實(shí)不是我們選了Lambda，而是我們用 了這個(gè)架構(gòu)之后，發(fā)現(xiàn)這個(gè)東西叫Lambda。”

在Lambda架構(gòu)基礎(chǔ)上做開(kāi)發(fā)

Lambda架構(gòu)因?yàn)榫邆涓呷蒎e(cuò)、低延時(shí)和可擴(kuò)展等優(yōu)勢(shì)，被很多數(shù)據(jù)公司選用。劉喆在采訪中說(shuō)道，想要實(shí)時(shí)又快又準(zhǔn)的任意在大數(shù)據(jù)集上進(jìn)行查詢(xún)計(jì)算 等操作，可利用Lambda架構(gòu)分解的三層架構(gòu)來(lái)應(yīng)對(duì)，這三層架構(gòu)分別是Batch Layer，Speed Layer和Serving Layer。AdMaster并沒(méi)有改變Lambda架構(gòu)這三層主體，只是在數(shù)據(jù)接入層方面做一些增強(qiáng)，保證數(shù)據(jù)的完整性，針對(duì)這部分AdMaster開(kāi) 發(fā)自己的系統(tǒng)。數(shù)據(jù)處理方面，如用戶的數(shù)據(jù)是不可變就可做實(shí)時(shí)覆蓋，如用戶的業(yè)務(wù)不能接受，數(shù)據(jù)可變，那就不能做實(shí)時(shí)覆蓋。

Lambda架構(gòu)運(yùn)用于廣告、社交等業(yè)務(wù)

當(dāng)問(wèn)及Lambda架構(gòu)都能支持哪些業(yè)務(wù)時(shí)，劉喆老師表示，對(duì)于廣告線可集中管理、執(zhí)行、監(jiān)控和追蹤網(wǎng)絡(luò)廣告活動(dòng)，提供監(jiān)測(cè)數(shù)據(jù)，用戶可以方便快速地獲取廣告的曝光、點(diǎn)擊、頻次、iGRP、廣告覆蓋人群等信息。社交方面，可品牌輿情和負(fù)面信息預(yù)警實(shí)時(shí)掌握。

Lambda架構(gòu)的缺點(diǎn)及后期運(yùn)維難點(diǎn)

劉喆表示，Lambda架構(gòu)***缺點(diǎn)就是把一份代碼寫(xiě)了兩次，如果下一次升級(jí)用戶業(yè)務(wù)，或者升級(jí)用戶算法時(shí)，就涉及到兩個(gè)算法的修改。在批量處理和 實(shí)時(shí)處理方面，修改是完全不一樣的。社區(qū)針對(duì)這個(gè)問(wèn)題提出兩套方案Apahce beam和kappa，但尚未成熟，現(xiàn)在AdMaster還是以Lambda架構(gòu)為主。針對(duì)這一缺點(diǎn)，AdMaster后期運(yùn)維時(shí)從算法、架構(gòu)、數(shù)據(jù)方 面，增加算法和模塊重用，這樣可以保障只需把架構(gòu)相關(guān)部分重寫(xiě)，算法和數(shù)據(jù)保持原貌，對(duì)于計(jì)算過(guò)的方面直接用，可以***限度的減少重復(fù)。

在采訪***，劉喆老師說(shuō)道：“暫時(shí)看來(lái)，Lambda架構(gòu)可以滿足AdMaster自身業(yè)務(wù)線需求，基本上會(huì)繼續(xù)沿用，直到某一天，社區(qū)真的出現(xiàn)了***融合方案，可能會(huì)考慮”。

【51CTO原創(chuàng)稿件，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文作者和出處為51CTO.com】