毛波:淘寶數(shù)據(jù)分析挖掘?qū)嵺`及變革
原創(chuàng)2013年4月26日-27日,由51CTO傳媒集團旗下WOT(World Of Tech)品牌主辦的2013大數(shù)據(jù)全球技術(shù)峰會在北京富力萬麗酒店召開。本次峰會將圍繞大數(shù)據(jù)基礎(chǔ)架構(gòu)與上層應(yīng)用的生態(tài)系統(tǒng),解決大規(guī)模數(shù)據(jù)引發(fā)的問題,探索大數(shù)據(jù)基礎(chǔ)的解決方案,激發(fā)數(shù)據(jù)挖掘帶來的競爭力,讓數(shù)據(jù)發(fā)出聲音。51CTO作為本次峰會的主辦方,將全程視頻、圖文直播報道這場數(shù)據(jù)的盛宴,更多內(nèi)容請點擊專題:2013大數(shù)據(jù)全球技術(shù)峰會。
淘寶高級技術(shù)專家毛波為參會者分享了主題為數(shù)據(jù)分析挖掘?qū)嵺`及變革的演講。淘寶自07年以來,在數(shù)據(jù)分析挖掘方面投入了相當大的力量,并且取得了相當大的成果。在數(shù)據(jù)應(yīng)用的格局中,分別開發(fā)了對外和對內(nèi)的數(shù)據(jù)服務(wù),實現(xiàn)了數(shù)據(jù)像水電煤氣一樣,哪里需要就可以接入。
淘寶在08、09年啟動了去IOE的工程,替換掉IBM、Oracle、EMC的服務(wù)器集群解決方案。之后越做越大,在11年開始探索做公有云,到現(xiàn)在開始探索金融服務(wù)和精準營銷等新領(lǐng)域。
數(shù)據(jù)系統(tǒng)變遷需要考慮性能、擴展性、運維三個方面,技術(shù)方案必須圍繞數(shù)據(jù)量、資源和業(yè)務(wù)需求來打造。
淘寶現(xiàn)在的數(shù)據(jù)應(yīng)用格局如下:
對外數(shù)據(jù)產(chǎn)品,如淘寶指數(shù)、量子恒道等。分別對賣家、分析師、買方提供數(shù)據(jù)分析服務(wù)。
數(shù)據(jù)嵌入產(chǎn)品中。如搜索、廣告、推薦等。數(shù)據(jù)就像水電煤氣,哪個地方需要就可以接入。
內(nèi)部數(shù)據(jù)服務(wù)。如淘數(shù)據(jù)門戶、多維數(shù)據(jù)自助查詢平臺。日活躍用戶超過1000,會直接訪問Hadoop集群。
數(shù)據(jù)工具。如天網(wǎng)調(diào)度、元數(shù)據(jù)管理、數(shù)據(jù)地圖等。
新的探索。如金融服務(wù)、全網(wǎng)精準營銷、無線與PC數(shù)據(jù)打通等。這些服務(wù)都需要數(shù)據(jù)分析的幫助,因此數(shù)據(jù)部門直接參與。
***,毛講師還分享了他對于現(xiàn)在大數(shù)據(jù)的一些觀點。
- 數(shù)據(jù)處理是手段,數(shù)據(jù)應(yīng)用是根本。
- 云系統(tǒng)的運維能力是核心競爭力。
- 整合關(guān)聯(lián)讓數(shù)據(jù)價值指數(shù)級增長。
- 數(shù)據(jù)可視化很重要。
- 想大做小,迭代優(yōu)化。
- 關(guān)于隱私。隱私和服務(wù)需要權(quán)衡,控制使用比控制收集更有效,數(shù)據(jù)使用不針對具體個體。
以上是51CTO.com記者從一線為您帶來的精彩報道。后續(xù)我們還有更加精彩的獨家報道,敬請關(guān)注。