在數(shù)據(jù)中淘金前要準(zhǔn)備好三件利器
原創(chuàng)作者：張玉
如果說阿里巴巴是國內(nèi)最有價值的商業(yè)數(shù)據(jù)公司，你同意嗎？我們都知道阿里巴巴旗下有7大業(yè)務(wù)，其中像淘寶和天貓每天都會產(chǎn)生大量的交易數(shù)據(jù)，據(jù)統(tǒng)計2011年，淘寶注冊用戶達(dá)到5億，每天在線商品數(shù)超過8億件，形成了電子商務(wù)生態(tài)圈。
隨著互聯(lián)網(wǎng)技術(shù)及行業(yè)的不斷發(fā)展，越來越多復(fù)雜的互聯(lián)網(wǎng)平臺或應(yīng)用架構(gòu)產(chǎn)生，大規(guī)模數(shù)據(jù)的處理需求日益明顯，而如何有效挖掘這些大數(shù)據(jù)也正在成為大家關(guān)注的焦點。在這種形式下，云計算應(yīng)運而生。云計算滿足了企業(yè)對海量數(shù)據(jù)的低成本、高效處理，實現(xiàn)了不同類型數(shù)據(jù)的大量存儲與海量計算。如何在“大數(shù)據(jù)”技術(shù)上用云計算構(gòu)建下一代數(shù)據(jù)倉庫、如何有效分析挖掘數(shù)據(jù)已經(jīng)成為熱門話題。
阿里巴巴集團(tuán)數(shù)據(jù)平臺總監(jiān)張東暉
如果說阿里巴巴是國內(nèi)最有價值的商業(yè)數(shù)據(jù)公司，你同意嗎？我們都知道阿里巴巴旗下有7大業(yè)務(wù)，其中像淘寶和天貓每天都會產(chǎn)生大量的交易數(shù)據(jù)，據(jù)統(tǒng)計2011年，淘寶注冊用戶達(dá)到5億，每天在線商品數(shù)超過8億件，形成了電子商務(wù)生態(tài)圈。2011年11月11日，日成交超過100萬的店鋪有421家，日成交超過10萬的店鋪有1644家。日成交金額達(dá)到52億。如果說阿里巴巴坐在金山上，也許一點都不為過。
在2012阿里云開發(fā)者大會大數(shù)據(jù)與大規(guī)模計算專場，阿里巴巴集團(tuán)數(shù)據(jù)平臺總監(jiān)張東暉表示，做到數(shù)據(jù)掘金，要做到三件事情：1.好的商業(yè)模型，像阿里金融一樣2.強(qiáng)大的數(shù)據(jù)團(tuán)隊3.淘金工具
ODPS是構(gòu)建在飛天內(nèi)核上的大規(guī)模分布式數(shù)據(jù)處理服務(wù)，提供海量數(shù)據(jù)處理服務(wù)，這個系統(tǒng)主要是做離線處理。據(jù)張東暉介紹，這個ODPS系統(tǒng)有效幫助用戶解決和六大基本問題，張暉介紹，目前數(shù)據(jù)處理系統(tǒng)面臨六大挑戰(zhàn)
***，高可用系統(tǒng)，飛天開放平臺的內(nèi)核本身是一個很好的分布式系統(tǒng)，對于大數(shù)據(jù)處理不丟數(shù)據(jù)。
第二，對電子商務(wù)能夠做數(shù)字業(yè)務(wù)，其工作量是非常大的，規(guī)模的要求是大到幾萬臺機(jī)器都不能滿足需要。
第三是安全性，比其他的一般處理的安全性，商業(yè)數(shù)據(jù)的安全要求非常高，隨著技術(shù)的進(jìn)步數(shù)據(jù)一定是要放在一起的，但是在一個很大的集群中，支付寶的數(shù)據(jù)完全隔離，不會被非法地訪問，也不會被非法的任務(wù)破壞，這是一個很大的挑戰(zhàn)。
第四是正確性，正確性需要滿足阿里金融無擔(dān)保貸款，這是一個非常難的事情，一旦擔(dān)保數(shù)字算的不對的話，會帶來很大的問題。所有的數(shù)據(jù)都是要保證分毫不差。
第五，是服務(wù)型，包括多租戶，我們后面從技術(shù)上講一些技術(shù)的挑戰(zhàn)。
第六，低成本，集群的調(diào)度系統(tǒng)，包括飛天的調(diào)度系統(tǒng)，是做的非常出色的。調(diào)度系統(tǒng)是滿重要的，另外業(yè)務(wù)和工作的調(diào)度也更高一層，這需要充分利用資源，根本的解決方案只是靠底層的調(diào)度還是不夠的，這也是ODPS做的比較多的。
責(zé)任編輯：張玉
來源：
51cto
