WOT講師劉喆:探聽AdMaster的Lambda架構實踐
原創(chuàng)【51CTO.com原創(chuàng)稿件】WOT2016大數(shù)據(jù)峰會將于2016年11月25-26日在北京粵財JW萬豪酒店召開,屆時,數(shù)十位大數(shù)據(jù)領域一線專家、數(shù)據(jù)技術先行者將齊聚現(xiàn)場,在圍繞機器學習、實時計算、系統(tǒng)架構、NoSQL技術實踐等前沿技術話題展開深度交流和溝通探討的同時,分享大數(shù)據(jù)領域***實踐和最熱門的行業(yè)應用。
51CTO記者對即將參加大會演講的AdMaster資深架構師劉喆先生行了專訪,讓我們先睹為快,探聽AdMaster的Lambda架構實踐方面的心得。
劉喆先生簡介:
劉喆(Zhe Liu)先生2013年加入AdMaster,現(xiàn)任架構師,主要負責數(shù)據(jù)處理的全流程技術支持, 高性能和高可用的分布式架構設計, DSL 語言抽象, Hadoop/HBase/Storm/Spark等大數(shù)據(jù)平臺優(yōu)化。2010年碩士畢業(yè)后, 劉喆在百度就職, 負責當時全球規(guī)模***的 hadoop 平臺的運維開發(fā)工作. 2011年底加入人民搜索, 代理運維總監(jiān)。近7 年的大學生活和近 5 年的工作經(jīng)歷中, 劉喆一直在追求簡單直接,關注于數(shù)據(jù)挖掘/大數(shù)據(jù)/DSL/系統(tǒng)架構, 對分布式計算/分布式架構和程序語言情有獨鐘, 曾多次被51CTO/spark 峰會/into100峰會等邀請為嘉賓分享Hadoop/spark/開源軟件等相關經(jīng)驗。
AdMaster簡介:
AdMaster 精碩世紀科技(北京)有限公司是領先的營銷數(shù)據(jù)技術公司,利用先進的大數(shù)據(jù)技術幫助品牌指導營銷策略并預先量化營銷效果。AdMaster架起了品牌、廣告主與消費者之間的橋梁,是貫穿各行業(yè)和領域的數(shù)據(jù)樞紐。AdMaster實時日監(jiān)測并分析來自數(shù)字電視、電腦、智能手機和平板電腦的線上廣告曝光量數(shù)據(jù)高達50億次。我們與國際、國內超百家媒體及上下游合作伙伴保持長期合作關系,保證了AdMaster作為數(shù)據(jù)樞紐的多方數(shù)據(jù)源對接和融合。
51CTO:在峰會現(xiàn)場你為何會選擇《AdMaster的Lambda架構實踐》這個演講題目?
劉喆:總結近幾年主要業(yè)務的一些需求, 以及我們對應的解決方案, 發(fā)現(xiàn) Lambda 架構其實是非常適合業(yè)務需求的, 在系統(tǒng)穩(wěn)定性/可擴展性/高效性等多方面滿足了我們的需求. 我們也通過實踐和趟坑, 完善了我們自己的Lambda 架構. 所以想給大家分享一下我們的實踐, 跟大家交流.
51CTO:能給我們詳細的介紹一下AdMaster 的 Lambda 架構技術的優(yōu)勢嗎?
劉喆:Lambda 架構是一個大的思想和方案, 但是具體的落地和實踐各有各的玩法, AdMaster 的 Lambda 架構在采用了開源界的 flume/kafka/spark/flink 等項目的同時, 加入了我們自己的改進和補充, 達到了查漏補缺和錦上添花的效果, 在穩(wěn)定性/數(shù)據(jù)完整性/低時延/架構可擴展/業(yè)務可擴展 等等方面有我們自己的考慮和實踐。
51CTO:有哪些優(yōu)秀的AdMaster 的 Lambda 架構技術案例跟我們分享一下?
劉喆:一些案例包括:
1) Lambda 構架對高效準確的廣告監(jiān)測支持
2) Lambda 架構對高效豐富的廣告投放支持
3) Lambda 架構對輿情分析的支持
51CTO:您如何看待WOT的?有哪些好的建議或者意見?
劉喆:WOT 我已經(jīng)參加過幾次, 感覺主辦方非常用心, 真正地把前沿的技術帶到會場, 讓大家深入交流, 對于知識的傳播起到了很好的促進作用, 參會者受益匪淺。
【51CTO原創(chuàng)稿件,合作站點轉載請注明原文作者和出處為51CTO.com】