WOT2016易觀CTO郭煒:大數(shù)據(jù)時代的數(shù)據(jù)分析攻略!
原創(chuàng)【51CTO.com原創(chuàng)稿件】WOT2016大數(shù)據(jù)峰會將于2016年11月25-26日在北京粵財JW萬豪酒店召開,屆時,數(shù)十位大數(shù)據(jù)領(lǐng)域一線專家、數(shù)據(jù)技術(shù)先行者將齊聚現(xiàn)場,在圍繞機器學習、實時計算、系統(tǒng)架構(gòu)、NoSQL技術(shù)實踐等前沿技術(shù)話題展開深度交流和溝通探討的同時,分享大數(shù)據(jù)領(lǐng)域最新實踐和最熱門的行業(yè)應用。
51CTO記者對即將參加大會演講的易觀CTO郭煒老師進行了專訪,讓我們先睹為快,探聽企業(yè)實時分析方面的心得。
講師簡介 :郭煒 畢業(yè)于北京大學,曾經(jīng)在Teradata,IBM,中金工作,后來任萬達大數(shù)據(jù)部總經(jīng)理、聯(lián)想大數(shù)據(jù)總監(jiān),后加入易觀。在本次大會上郭煒老師將會為我們帶來關(guān)于企業(yè)實時分析的歷程、實時分析解決了企業(yè)的哪些痛點、企業(yè)建立實時分析平臺時走過那些坑、為什么說實時分析是企業(yè)實施AI的必經(jīng)之路等內(nèi)容的演講。
易觀的特性是分析,具有行業(yè)很多深入的模型。數(shù)據(jù)每個企業(yè)都有,但是能把分析做好的企業(yè)不多,而易觀正是這不多的企業(yè)之一。數(shù)據(jù)、技術(shù)是需要結(jié)合適當?shù)姆治霾趴梢詫崿F(xiàn)最終業(yè)務價值,在大數(shù)據(jù)時代先需要把小數(shù)據(jù)做到極致。
在大數(shù)據(jù)時代數(shù)據(jù)成為企業(yè)的核心,易觀的主要數(shù)據(jù)來源是合作伙伴覆蓋的手機上的SDK,幫助易觀獲得大量的用戶對于APP使用的相關(guān)信息,再根據(jù)這些數(shù)據(jù)形成的用戶畫像標簽與相關(guān)分析報告。
大數(shù)據(jù)時代數(shù)據(jù)安全問題成為了企業(yè)重視的問題之一,易觀的數(shù)據(jù)從采集、加工、展示,每層都有QC(數(shù)據(jù)質(zhì)量監(jiān)控)的規(guī)則和監(jiān)控,同時,易觀也有專業(yè)技術(shù)人員結(jié)合分析師的業(yè)界經(jīng)驗給出的邊界模型,通過數(shù)據(jù)治理體系可以針對279個領(lǐng)域每個不同的APP發(fā)生的異動合理性進行自動監(jiān)測與辨識并自我交叉驗證,以確保每個指標都是精準的反應移動互聯(lián)網(wǎng)的一舉一動。技術(shù)上,除了網(wǎng)絡(luò)防火墻措施、堡壘機、token設(shè)置之外,更多的是技術(shù)管理流程和核心數(shù)據(jù)加密,易觀現(xiàn)在也在做一個更復雜的加密措施,讓關(guān)鍵數(shù)據(jù)離開了生產(chǎn)環(huán)境很難重新被復原。
數(shù)據(jù)云化成為趨勢,易觀使用了混合云來實現(xiàn)自己的大數(shù)據(jù)平臺,大數(shù)據(jù)集群選用了私有云來保證高效處理,產(chǎn)品服務選用了公用云來應對客戶的迅速增長。云服務已經(jīng)由過去的IAAS更變?yōu)镻AAS,給企業(yè)提供了更便利的服務。當然,對于大數(shù)據(jù)等高CPU高IO的服務,目前公有云使用上還需要進一步提升,我們也希望未來能有更好的云服務,將我們的底層大數(shù)據(jù)平臺全部按需購買共有云服務。
大數(shù)據(jù)技術(shù)其實在采集、并發(fā)、大數(shù)據(jù)云遷移以及大數(shù)據(jù)Ad-hoc查詢上都遇到過挑戰(zhàn),現(xiàn)在易觀每日數(shù)據(jù)量級在150億條左右,并發(fā)接收非常頻繁,如何能收發(fā)自如的控制采集端將數(shù)據(jù)有時效性的上傳到服務器上,服務器端如何結(jié)合這樣的高并發(fā)請求,都是有挑戰(zhàn)。特別是在年初做pb級別的大數(shù)據(jù)遷移時,也遇到系統(tǒng)并行要求每日100億條數(shù)據(jù)要通過互聯(lián)網(wǎng)實時復制到不同的云,也是比較大的挑戰(zhàn),最近解決的技術(shù)難題是怎么高性價比地在秒級響應百億條數(shù)據(jù)的匯總查詢,前面也有相關(guān)的技術(shù)分享講解如何解決這些問題。
易觀有千帆、方舟、博閱、萬象四個產(chǎn)品,每個產(chǎn)品其實都有它獨特創(chuàng)新的部分:千帆可以以T+2的方式讓你看到全移動互聯(lián)網(wǎng)的動態(tài),每個APP的活躍情況和粘性等等;方舟可以讓你做到對自身的運營分析,用戶從哪里到到哪里去,他們的畫像是如何的;廣告萬象可以讓你在選擇目標人群后,選擇哪個渠道更適合廣告;博閱可以通過分析報告的方式讓你迅速了解全互聯(lián)網(wǎng)的行業(yè)動態(tài)。每個產(chǎn)品宗旨其實都是對大數(shù)據(jù)的一個落地場景的應用,還是那句話,數(shù)據(jù)本身沒有價值,只有數(shù)據(jù)分析之后才有價值。
數(shù)據(jù)是一種新能源,易觀一直的目標是做數(shù)據(jù)時代下的煉油廠和加油站,數(shù)據(jù)就像原油,從各方而來,經(jīng)過易觀的處理和分析提煉,可以成為各種汽油、柴油為企業(yè)所用。大數(shù)據(jù)分析我一直非常看好,無論是過去通過人、現(xiàn)在通過算法模型,還是未來通過人工智能,將各種各樣的數(shù)據(jù)變?yōu)橛杏玫闹R,變成機器與人之間的反饋交互,都是整個數(shù)據(jù)行業(yè)附加值最高的一部分,也希望更多的企業(yè)加入大數(shù)據(jù)分析的行業(yè),把這個行業(yè)做的更好。
【51CTO原創(chuàng)稿件,合作站點轉(zhuǎn)載請注明原文作者和出處為51CTO.com】