如果說(shuō)阿里巴巴是國(guó)內(nèi)最有價(jià)值的商業(yè)數(shù)據(jù)公司，你同意嗎？我們都知道阿里巴巴旗下有7大業(yè)務(wù)，其中像淘寶和天貓每天都會(huì)產(chǎn)生大量的交易數(shù)據(jù)，據(jù)統(tǒng)計(jì)，在剛剛結(jié)束的“雙11”這一天的交易額達(dá)到191億元，天貓132億、淘寶59億，支付寶處理交易筆數(shù)1.058億筆，峰值時(shí)期處理交易筆數(shù)9萬(wàn)筆/分鐘，核心數(shù)據(jù)庫(kù)集群處理了41億個(gè)事務(wù)，支付寶核心數(shù)據(jù)庫(kù)集群執(zhí)行了285億次的查詢。在訪問量方面，當(dāng)天有2.13億獨(dú)立用戶訪問天貓，占到互聯(lián)網(wǎng)用戶的四成。雖然，現(xiàn)在淘寶還沒有對(duì)外公布本次單日產(chǎn)生的數(shù)據(jù)量，但單從上面的數(shù)字信息來(lái)看，這個(gè)數(shù)據(jù)量一定是很驚人的。所以，如果說(shuō)阿里巴巴坐在金山上，也許一點(diǎn)都不為過(guò)。

其實(shí)不只是淘寶，隨著互聯(lián)網(wǎng)技術(shù)及行業(yè)的不斷發(fā)展，越來(lái)越多復(fù)雜的互聯(lián)網(wǎng)平臺(tái)或應(yīng)用架構(gòu)產(chǎn)生，大規(guī)模數(shù)據(jù)的處理需求日益明顯，而如何有效挖掘這些大數(shù)據(jù)也正在成為大家關(guān)注的焦點(diǎn)。在這種形式下，云計(jì)算應(yīng)運(yùn)而生。云計(jì)算滿足了企業(yè)對(duì)海量數(shù)據(jù)的低成本、高效處理，實(shí)現(xiàn)了不同類型數(shù)據(jù)的大量存儲(chǔ)與海量計(jì)算。如何在“大數(shù)據(jù)”技術(shù)上用云計(jì)算構(gòu)建下一代數(shù)據(jù)倉(cāng)庫(kù)、如何有效分析挖掘數(shù)據(jù)已經(jīng)成為熱門話題。

阿里云被稱作是中國(guó)的亞馬遜，他是以數(shù)據(jù)為中心的云計(jì)算服務(wù)公司，目標(biāo)是打造互聯(lián)網(wǎng)數(shù)據(jù)分享第一平臺(tái)。本文將向您介紹，阿里云計(jì)算如何實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的處理與計(jì)算、如何最大化的提高計(jì)算效率？如何有效挖掘大數(shù)據(jù)的價(jià)值？

張東暉，阿里巴巴集團(tuán)數(shù)據(jù)平臺(tái)總監(jiān)，他在第二屆云計(jì)算架構(gòu)師峰會(huì)上提到，讓數(shù)據(jù)變成真正的價(jià)值，并帶來(lái)收益，光有數(shù)據(jù)是不夠的，還需要三大利器：第一，要有好的商業(yè)模型，如阿里金融；第二，強(qiáng)大的數(shù)據(jù)團(tuán)隊(duì)，像現(xiàn)在流行的數(shù)據(jù)科學(xué)家；第三，淘金工具，比如阿里云的開放數(shù)據(jù)處理服務(wù)(ODPS)。

[[103298]]
阿里巴巴集團(tuán)數(shù)據(jù)平臺(tái)總監(jiān)張東暉

ODPS(Open Data Processing Service) 是基于阿里云計(jì)算平臺(tái)構(gòu)建的數(shù)據(jù)存儲(chǔ)與分析的平臺(tái)。ODPS提供大規(guī)模數(shù)據(jù)存儲(chǔ)與數(shù)據(jù)分析，用戶可以使用ODPS平臺(tái)上提供的數(shù)據(jù)模型工具與服務(wù)，同時(shí)也支持用戶自己發(fā)布數(shù)據(jù)分析工具。適用于金融、零售、制造業(yè)和電商企業(yè)的BI團(tuán)隊(duì)進(jìn)行海量數(shù)據(jù)分析和挖掘。ODPS目前暫時(shí)只提供大規(guī)模數(shù)據(jù)存儲(chǔ)與離線數(shù)據(jù)分析服務(wù)。

ODPS的三大技術(shù)特點(diǎn)：

1. 安全性：當(dāng)提到多租戶、多使用概念時(shí)，用戶立刻會(huì)想到安全問題，如果數(shù)據(jù)平臺(tái)不能分享，解決安全問題會(huì)相對(duì)簡(jiǎn)單，但將數(shù)據(jù)分享，并可跨越邊界被訪問時(shí)，就對(duì)安全提出了很大的挑戰(zhàn)。ODPS在這方面采用的是授權(quán)方式，對(duì)訪問數(shù)據(jù)庫(kù)的用戶嚴(yán)格授權(quán)，任何人的程序都無(wú)法看到或破壞里面的數(shù)據(jù)。另外，ODPS為了實(shí)現(xiàn)多租戶的獨(dú)立，做了三層的安全認(rèn)證體系，以保證用戶對(duì)于安全的需要。

2. 編程模型：對(duì)于一個(gè)框架來(lái)講，應(yīng)該支持可以擴(kuò)展多種編程模型。ODPS支持多種編程模型，因?yàn)殡x線都是處理流程，一個(gè)處理流程可以用不同的編程模型編寫。

3. 存儲(chǔ)模型：數(shù)據(jù)量越大，對(duì)于存儲(chǔ)的要求就越高，存儲(chǔ)的難度也會(huì)加大。ODPS在存儲(chǔ)的時(shí)候是將物理存儲(chǔ)和數(shù)據(jù)存儲(chǔ)分開，這樣可以有效解決數(shù)據(jù)的兼容性問題。從存儲(chǔ)模型層面減少IO，數(shù)據(jù)采用統(tǒng)一的展現(xiàn)形式——表。對(duì)小文件提供OTS存儲(chǔ)，另外，將元數(shù)據(jù)保存在OTS中，對(duì)高并發(fā)和規(guī)模擴(kuò)展提供了很好的方式。除此之外，在存儲(chǔ)模型上，還有帶壓縮的列存儲(chǔ)，可以有效減少IO，提高效率。

ODPS 有效的滿足了用戶對(duì)于數(shù)據(jù)的存儲(chǔ)和離線處理的需求。如何更進(jìn)一步的讓這些數(shù)據(jù)產(chǎn)生價(jià)值呢？

#p#    上海天津信息技術(shù)公司梁嵩認(rèn)為，數(shù)據(jù)挖據(jù)是未來(lái)企業(yè)經(jīng)營(yíng)的核心，也是制高點(diǎn)，是統(tǒng)計(jì)學(xué)和數(shù)據(jù)庫(kù)技術(shù)和人工技術(shù)的綜合。大量的數(shù)據(jù)增長(zhǎng)需要集中處理，同時(shí)，還要面對(duì)數(shù)據(jù)爆炸似增長(zhǎng)帶來(lái)的挑戰(zhàn)，這就需要很大的計(jì)算能力。

對(duì)于互聯(lián)網(wǎng)用戶來(lái)說(shuō)，搜索和精準(zhǔn)推薦是兩個(gè)實(shí)用的功能，可以幫助每個(gè)互聯(lián)網(wǎng)的用戶快速找到所需的工具。對(duì)于站長(zhǎng)來(lái)說(shuō)，這兩個(gè)功能的實(shí)現(xiàn)隨著數(shù)據(jù)信息量不斷積累，實(shí)現(xiàn)內(nèi)容的關(guān)聯(lián)性也越難。無(wú)論是從站長(zhǎng)的角度還是用戶的角度來(lái)說(shuō)，對(duì)于搜索和推薦都有著強(qiáng)烈的需求。

阿里云高級(jí)專家韓定一說(shuō)：“用戶對(duì)由業(yè)務(wù)帶來(lái)的對(duì)搜索和精準(zhǔn)營(yíng)銷的需求，要實(shí)現(xiàn)還要面對(duì)三大技術(shù)難點(diǎn)。第一是時(shí)效性和大規(guī)模，第二是精準(zhǔn)與覆蓋，第三是客戶定制的能力，包括不同數(shù)據(jù)結(jié)構(gòu)的定制，包括不同界面的定制。”同時(shí)，他表示大數(shù)據(jù)時(shí)代的個(gè)性化服務(wù)，營(yíng)銷方式越精準(zhǔn)，用戶的成本越低，網(wǎng)站的收益越高。阿里云通過(guò)云推薦、廣告管家和開放云搜索來(lái)支持網(wǎng)站做精準(zhǔn)的個(gè)性化服務(wù)。

阿里云高級(jí)專家韓定一

據(jù)了解，阿里云在大規(guī)模處理方面能支持百億級(jí)別的訪問，能處理十億級(jí)別的網(wǎng)頁(yè)。除了廣告管家之外，阿里云推薦、開放云搜索都是實(shí)時(shí)的處理數(shù)據(jù)，保證了實(shí)效性。據(jù)統(tǒng)計(jì)，使用了阿里云推薦的用戶，平均有5%到10%的流量提升。

老話說(shuō)的好，你不理財(cái)，財(cái)不理你！這對(duì)于大數(shù)據(jù)同理，數(shù)據(jù)如果只放在那里，它就只是一堆無(wú)用的信息，不會(huì)給你帶來(lái)任何價(jià)值。但隨著電子商務(wù)、移動(dòng)互聯(lián)網(wǎng)的發(fā)展，企業(yè)需要重新審視數(shù)據(jù)，如何從數(shù)據(jù)挖掘出新的商業(yè)價(jià)值。未來(lái)，數(shù)據(jù)將是一個(gè)企業(yè)成長(zhǎng)的血液，而我們必須讓它融進(jìn)企業(yè)的業(yè)務(wù)里。而阿里云正是為用戶提供了這樣一個(gè)“掘金”的工具。