揭秘支付寶大數(shù)據(jù)應用 探知數(shù)據(jù)價值
作為前阿里巴巴***DBA,精通Oracle數(shù)據(jù)庫,在OS、主機、存儲領域有豐富經(jīng)驗,對軟硬件的系統(tǒng)整合有豐富經(jīng)驗。帶領數(shù)據(jù)庫團隊期間培養(yǎng)了一批知名數(shù)據(jù)庫專家,現(xiàn)負責支付寶數(shù)據(jù)平臺,專注于分布式存儲和并行計算,構(gòu)建基于hadoop上hive、hbase的系統(tǒng)。本次大會上,馮春培先生分享了支付寶的大數(shù)據(jù)應用實踐。
▲前阿里巴巴***DBA馮春培
科技時代數(shù)據(jù)已成資產(chǎn) 關鍵在于運營
科技時代的企業(yè),尤其是IT企業(yè),說起來對于公司資產(chǎn)的定義往往要比傳統(tǒng)企業(yè)要大的多,因為當今企業(yè)中對除了那些有型的和可以用價值衡量的資產(chǎn)外,還有一些是切實存在但很難直觀評估價值的數(shù)據(jù),但正是這樣的矛盾才讓當今企業(yè)更加關注數(shù)據(jù)資產(chǎn)的價值。馮春培先生的介紹中我們可以充分體會到一個IT企業(yè)對于數(shù)據(jù)是有著多么厚重的需求和管理目標。
▲數(shù)據(jù)平臺愿景
而管理起這些數(shù)據(jù),也正是希望通過這個管理的過程,挖掘數(shù)據(jù)更加更大的價值。馮春培先生認為通過數(shù)據(jù)化的運營,能夠為企業(yè)帶巨大的變化,首先是管理和運營模式的升級,數(shù)據(jù)化運營,重點在運營而非數(shù)據(jù),數(shù)據(jù)是固定的,透過數(shù)據(jù)看到價值是運營的過程。其次,運營數(shù)據(jù)的過程能夠帶來更多的提升:
• 商業(yè)模式的升級
• 數(shù)據(jù)開始成為核心價值
• 重點是數(shù)據(jù)
云時代數(shù)據(jù)價值體現(xiàn)——BI解決方案
似乎在今天不提云就不科技,但事實上,因為云的深入應用能夠滿足更高的可用性和更好的用戶體驗要求,隨之而來的數(shù)據(jù)的增長也和云本身體量一體“爆發(fā)”。支付寶的數(shù)據(jù)現(xiàn)狀分析足以說明這樣的現(xiàn)實,按照目前的增長情況,2012年的數(shù)據(jù)增長預計將會遠超過去。而時間馬上就要到預測點了,是不是這樣我們可以在不久的將來驗證這個數(shù)據(jù)的預測。
在云時代的今天,數(shù)據(jù)的價值如何充分體現(xiàn),可以說支付寶在對數(shù)據(jù)的挖掘上也頗為有意思。從下圖上我們可以看到,根據(jù)數(shù)據(jù)維度不同、數(shù)據(jù)目標不同建立起不同的解決方案,并為相應的解決方案。
看上去似乎滿足了方方面的需求但是,馮春培先生也在演講中表示自己在面臨數(shù)據(jù)時候的壓力與挑戰(zhàn):
• 成千上萬JOB
• PB級數(shù)據(jù)
• SLA
• 前臺的分與后臺的合
• Big data 與 適時計算(T+1 à100ms)
隨著業(yè)務的開展,更多的問題也在挑戰(zhàn)數(shù)據(jù)管理的工作本身:
• 使用數(shù)據(jù)的人越來越多
• 數(shù)據(jù)需求的復雜性增加
• 對數(shù)據(jù)價值的判斷和取舍