IDC中國在10月份剛剛發(fā)布了《中國大數(shù)據(jù)技術(shù)與服務(wù)市場2012-2016年預(yù)測與分析》報告，其中的數(shù)據(jù)顯示，中國大數(shù)據(jù)技術(shù)和服務(wù)市場未來5年的復(fù)合增長率將達(dá)51.4%。報告中指出，淘寶、騰訊，以及百度等互聯(lián)網(wǎng)巨頭是率先使用大數(shù)據(jù)技術(shù)的用戶，同時電信和銀行領(lǐng)域也開始對大數(shù)據(jù)技術(shù)和服務(wù)產(chǎn)生濃厚的興趣。

Gartner也預(yù)測，到2015年，大數(shù)據(jù)將為全球帶來440萬個IT崗位，其中96萬個IT崗位會在亞太地區(qū)。每個大數(shù)據(jù)相關(guān)的崗位將催生三個非IT的就業(yè)機(jī)會，從而使亞太地區(qū)的就業(yè)機(jī)會總計達(dá)到40萬個。種種數(shù)據(jù)表明，大數(shù)據(jù)不僅會為人們的日常生活帶來影響，對整個IT生態(tài)鏈也是一個巨大的機(jī)遇。

生活中的大數(shù)據(jù)

對于普通的用戶來說，雖然不必關(guān)心大數(shù)據(jù)的概念究竟是什么，但一些案例卻可以直入生活。就拿剛剛過去的11月11日，天貓商城所創(chuàng)造的191億元銷售額的傳奇來說，商家已經(jīng)懂得了如何利用用戶以往的購買記錄去推送有針對性的商品。還有沃爾瑪創(chuàng)造的“尿布+啤酒”的營銷傳奇至今還在被人們津津樂道。尿布、啤酒這看似兩種針對客戶群完全不同的產(chǎn)品，卻在沃爾瑪?shù)匿N售記錄里創(chuàng)造了令人驚奇的搭配效果。這個故事講的是，如果太太讓先生去樓下買尿布時，先生一般都會按照自己的需求再順帶捎上兩聽啤酒，因而啤酒和尿布被一起購買的機(jī)會最多。這個案例是由沃爾瑪商場的智能化信息分析系統(tǒng)挖掘出來的秘密，這個系統(tǒng)讓沃爾瑪成為了“最了解消費(fèi)者”的零售商，而這個故事也成為了大數(shù)據(jù)影響人們?nèi)粘Ｉ畹囊粋€經(jīng)典案例。

作為都靈大學(xué)腫瘤學(xué)系的私營且非嬴利機(jī)構(gòu)，該校的癌癥研究所一直致力于了解癌癥基本機(jī)理，為病人提供最佳診斷和治療服務(wù)。目前，研究人員努力讓他們大量的研究數(shù)據(jù)變得更具有意義。他們最新采用了來自Kairos3D 公司生產(chǎn)的名為GenomeCruzer的產(chǎn)品。GenomeCruzer由Gilgamesh大數(shù)據(jù)3D可視化引擎驅(qū)動，提供一個整合有數(shù)據(jù)模式和關(guān)系、且能夠讓整個數(shù)據(jù)集被看到和開發(fā)的環(huán)境。癌癥研究所的Enzo Medico博士說：“這個神奇的工具提升了我們對龐大數(shù)據(jù)集的利用率，并獲得了前所未有的數(shù)據(jù)分析速度。該工具的這一優(yōu)勢已經(jīng)被確認(rèn)。”這種最新的交互式3D大數(shù)據(jù)可視化可以推進(jìn)癌癥研究進(jìn)程，縮短癌癥治療過程。

上述的兩個例子已經(jīng)足以讓我們意識到大數(shù)據(jù)帶來的益處。不僅是在零售、醫(yī)療行業(yè)，PMC公司企業(yè)存儲事業(yè)部市場營銷副總裁Derek Dicker表示：“在眾多垂直行業(yè)中，數(shù)據(jù)量都在快速增長。例如石油、天然氣、氣候建模和預(yù)報、生命科學(xué)等行業(yè)。”以氣候行業(yè)為例，政府機(jī)構(gòu)在研究氣象模式時需要創(chuàng)建并分析大數(shù)據(jù)集，從而更加準(zhǔn)確地預(yù)報氣候變化的強(qiáng)度、方向，以及持續(xù)時間，這將影響數(shù)百萬人的日常生活。為了實(shí)現(xiàn)上述的案例，一個大數(shù)據(jù)分析平臺必不可少，為大數(shù)據(jù)而生的新興技術(shù)也開始層出不窮。

阿里云的大數(shù)據(jù)經(jīng)驗(yàn)

伴隨著大數(shù)據(jù)概念的火熱，以一只大象為代表的Hadoop迅速席卷了IT人士的視野。這種分布式的計算模式幾乎成為了公認(rèn)的大數(shù)據(jù)處理模式，隨之而來的，是IT巨頭紛紛加入Hadoop陣營。雖然開源是個大趨勢，但ESG中國區(qū)總經(jīng)理王叢也認(rèn)為用戶想要真的去利用Hadoop部署自己的項目，首先需要的就是雇傭大量的人才去學(xué)習(xí)Hadoop，人才成本比較高。同時我們也可以看到，國內(nèi)也出現(xiàn)了一些擁有自主知識產(chǎn)權(quán)的大數(shù)據(jù)處理平臺。阿里云是其中的佼佼者。

阿里云作為阿里巴巴旗下的一員，相比淘寶、支付寶等公司低調(diào)許多，但當(dāng)它所自主創(chuàng)建的分布式計算系統(tǒng)進(jìn)入人們眼簾時，引起了業(yè)內(nèi)的巨大反響。阿里云所涉及的業(yè)務(wù)包含了彈性計算、大規(guī)模存儲、大規(guī)模數(shù)據(jù)處理、搜索、地圖、郵箱等等服務(wù)。在阿里云平臺發(fā)展的過程中，研發(fā)過程也曾受阻，期間也曾遭到質(zhì)疑，但不可否認(rèn)的是，阿里云目前已經(jīng)擁有了龐大的用戶群，并且在打造“以數(shù)據(jù)為中心的開放云計算服務(wù)平臺”的道路上越走越順。

阿里云計算有限公司研究員薛貴榮在接受記者采訪時表示，目前接入阿里云的注冊用戶達(dá)到170多萬，平臺租戶已經(jīng)超過了5000家，直接或者間接享受阿里云平臺服務(wù)的終端用戶則可達(dá)到上億的用戶。而阿里云最為看重的就是“數(shù)據(jù)”。結(jié)合當(dāng)前的大數(shù)據(jù)熱潮，阿里云的目的就是提供強(qiáng)大的計算能力，幫助用戶去處理新時代的石油——數(shù)據(jù)。

薛貴榮介紹，經(jīng)過三年的發(fā)展，阿里云打造成了完全自主研發(fā)的大規(guī)模分布式計算系統(tǒng)——飛天。該系統(tǒng)除了MapReduce之外，還支持最廣泛的多種編程模型。而且，阿里云的技術(shù)人員在這個同一平臺之上實(shí)現(xiàn)了數(shù)據(jù)存儲、彈性計算、搜索等多項功能。而這種功能，除了阿里云，世界上也只有Google能夠做到。而阿里云的戰(zhàn)略，我們也可以解讀為Amazon+Google并有所超越，用Google模式的技術(shù)去做Amazon模式的運(yùn)營。

結(jié)合當(dāng)前的Hadoop熱潮，或許有讀者會感到困惑，費(fèi)了半天勁自己研發(fā)了一個大數(shù)據(jù)平臺，為何不直接使用Hadoop呢?對此問題，阿里云有自己的看法。阿里云總裁王堅曾經(jīng)說：“Hadoop在離線大數(shù)據(jù)處理上很有價值，但它無法解決我們公司公共云計算服務(wù)的問題。因?yàn)槲覀円呀?jīng)上線的云服務(wù)已遠(yuǎn)遠(yuǎn)超出Hadoop的能力，這和公司的定位有關(guān)?，F(xiàn)在，飛天已經(jīng)很好地支持了阿里云的各項業(yè)務(wù)，其中包括大數(shù)據(jù)處理，在這方面，飛天實(shí)際已經(jīng)超越了Hadoop。”

薛貴榮也表示，如果沒有一個專業(yè)性較強(qiáng)的Hadoop團(tuán)隊去維護(hù)，Hadoop的能力上升會受到限制。不管如何，在經(jīng)歷了質(zhì)疑、阻礙之后，飛天成功了。而之后，飛天將會在阿里云技術(shù)團(tuán)隊的維護(hù)下，繼續(xù)擴(kuò)充自身的計算能力，提供更加廣泛的大數(shù)據(jù)處理服務(wù)。

談到當(dāng)前的大數(shù)據(jù)問題，薛貴榮總結(jié)了以下四個經(jīng)驗(yàn)與讀者進(jìn)行分享：

第一，就是云計算平臺的建設(shè)。對于大數(shù)據(jù)而言，后端的處理能力是基礎(chǔ)，這也是阿里云最近三年一直致力在做的事情。以搜索業(yè)務(wù)為例，要想把全世界的萬億級別的網(wǎng)頁全部索引一遍，單單依靠一臺機(jī)器去處理是完全不可能實(shí)現(xiàn)的。因此，對于大數(shù)據(jù)的處理平臺來說，如何將幾千、幾萬臺的機(jī)器做成一個集群是最為重要的事情。這種大規(guī)模的分布式計算系統(tǒng)是飛天系統(tǒng)的核心。

薛貴榮介紹，飛天從第一行代碼開始就是自己寫的，目前這個分布式計算模式也在積極與ISV進(jìn)行合作，以便能夠?yàn)槠渌袠I(yè)的用戶提供一種“自主”的大數(shù)據(jù)處理工具。

第二，薛貴榮表示，大數(shù)據(jù)平臺需要有智能化的技術(shù)。他以“命題作文”為例，大數(shù)據(jù)平臺不能是根據(jù)問題去尋找答案，而是應(yīng)該智能地向用戶提供有價值的信息。以IBM的機(jī)器人沃森為例，他能夠回答非固定的問題，后端需要的是一個強(qiáng)大的分析系統(tǒng)。目前在人工智能領(lǐng)域的深度學(xué)習(xí)、自學(xué)習(xí)以及終生學(xué)習(xí)等都取得一些突破性的進(jìn)展，值得去嘗試。

第三，是成本問題。薛貴榮表示，大數(shù)據(jù)不能成為一個燒錢的項目，所以對于用戶而言，成本很重要，因而在阿里云的集群中全部采用了價格比較低廉的PC服務(wù)器。這也是大數(shù)據(jù)與云計算相呼應(yīng)的地方。云計算可以為大數(shù)據(jù)的處理提供一個彈性、低成本的平臺，而大數(shù)據(jù)又促進(jìn)了云計算的發(fā)展。

總而言之，對于一個強(qiáng)大的大數(shù)據(jù)分析平臺來講，智能化、彈性、集群的擴(kuò)展能力都必不可少。但最基礎(chǔ)的部分，底層的IT基礎(chǔ)設(shè)施必須足夠強(qiáng)大，才能夠應(yīng)付上層的這么許多應(yīng)用。因此包括設(shè)備提供商、芯片制造商也都開始在大數(shù)據(jù)領(lǐng)域發(fā)力。 #p# 

IT設(shè)備提供商：

軟硬兼顧，迎合潮流

IDC針對大數(shù)據(jù)所做的一項重要預(yù)測——大數(shù)據(jù)促進(jìn)了針對軟件廠商的并購。就像Derek說的那樣：“大數(shù)據(jù)的出現(xiàn)改變了整個IT產(chǎn)業(yè)供應(yīng)鏈，進(jìn)而促生了一個價值數(shù)十億美元的產(chǎn)業(yè)?？礈?zhǔn)這一市場的軟件和硬件公司得到風(fēng)投的支持，正逐漸浮出水面或被大公司收購。”

例如，EMC在2010年收購了大數(shù)據(jù)公司Greenplum，此后，EMC又收購了敏捷軟件開發(fā)商Pivotal Labs。IBM繼2010年收購數(shù)據(jù)分析公司Netezaa之后，在2012年又接連宣布收購數(shù)據(jù)分析公司Varicent和Vivisimo。作為正向IT綜合解決服務(wù)商轉(zhuǎn)型的戴爾，針對大數(shù)據(jù)的大手筆收購，則是24億美元高價收購的Quest。此外，還與包括Hadoop在內(nèi)的眾多軟件廠商進(jìn)行了合作，以便更好地提升對各種軟件的支持速度。HDS中國區(qū)解決方案與專業(yè)服務(wù)事業(yè)部總監(jiān)陳戈告訴記者，HDS也一直在做大數(shù)據(jù)方面的探索，例如與SAP的HANA推出聯(lián)合捆綁的解決方案，以幫助用戶進(jìn)行數(shù)據(jù)挖掘和分析。

可以看出，上述幾家傳統(tǒng)的“硬件”巨頭都沒有放過未來的軟件機(jī)遇。

但I(xiàn)DC存儲系統(tǒng)項目副總裁Benjamin S. Woo表示：“一直到2015年，軟件和服務(wù)都將占主導(dǎo)地位，但是針對大數(shù)據(jù)部署的基礎(chǔ)設(shè)施技術(shù)，將以44%的年復(fù)合增長快速發(fā)展起來，到2015年這個數(shù)字更是會達(dá)到61.4%。”上述的數(shù)字，估計會令所有的IT基礎(chǔ)設(shè)施供應(yīng)商感到欣喜，基礎(chǔ)設(shè)施市場會伴隨著大數(shù)據(jù)軟件市場一起增長。

戴爾大企業(yè)客戶部市場部高級經(jīng)理詹健表示：“增長份額是否能夠達(dá)到那么高，還要看市場的大環(huán)境。但隨著用戶對IT部門的投入縮減，以及對效率的更高要求，用戶的需求肯定發(fā)生了變化。”以戴爾為例，以往非結(jié)構(gòu)化數(shù)據(jù)對用戶沒有造成很大的困擾，因此一個基于Windows的NAS服務(wù)器就可以滿足需求。但近兩年來看，這種趨勢完全改變了，用戶需要一種可以橫向擴(kuò)展的、支持大容量的，以及能夠按需增加的針對非結(jié)構(gòu)化數(shù)據(jù)的存儲。因此，戴爾在今年連續(xù)發(fā)布了基于流動文件系統(tǒng)針對非結(jié)構(gòu)化數(shù)據(jù)的FS7600，以及FS8600 NAS網(wǎng)關(guān)，幫助用戶實(shí)現(xiàn)可擴(kuò)展的非結(jié)構(gòu)化數(shù)據(jù)的存儲。而戴爾之前收購的Ocarina和Exanet也開始發(fā)力，幫助用戶實(shí)現(xiàn)可擴(kuò)展的文件系統(tǒng)和重復(fù)數(shù)據(jù)刪除及壓縮。另外，詹健表示，對于大數(shù)據(jù)而言，Scale-out架構(gòu)的存儲系統(tǒng)就可以發(fā)揮出優(yōu)勢，在增加容量的同時性能也同步增長，而且完全可以按需擴(kuò)容。

“目前，針對大多數(shù)用戶而言，最重要的難點(diǎn)還是在大數(shù)據(jù)的存儲和管理。” 華為存儲產(chǎn)品線營銷工程部部長龐鑫這樣認(rèn)為。陳戈也表示，針對大數(shù)據(jù)，第一步就是如何存儲大量激增的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，繼而是如何管理，最后才是大數(shù)據(jù)的分析?？梢钥闯?，大數(shù)據(jù)對存儲領(lǐng)域的影響將會比其他領(lǐng)域更為深遠(yuǎn)。

談到大數(shù)據(jù)帶來的存儲機(jī)遇，王叢表示：“大數(shù)據(jù)會刺激集群NAS的增長。”這個觀點(diǎn)在華為的銷售記錄里得到了印證。華為企業(yè)業(yè)務(wù)IT產(chǎn)品線NAS與數(shù)據(jù)保護(hù)領(lǐng)域總經(jīng)理經(jīng)寧表示：“此前都在討論SAN、NAS、集群NAS分別適合用在什么場合，而大數(shù)據(jù)概念的出現(xiàn)，感覺豁然開朗。”華為一直很注意如何將垂直行業(yè)與存儲設(shè)備進(jìn)行有效結(jié)合。而作為華為的集群NAS產(chǎn)品——N8000也一直很受多媒體和高性能計算行業(yè)的青睞。在與行業(yè)用戶的接觸中，結(jié)合大數(shù)據(jù)概念的出現(xiàn)，華為逐漸找出了規(guī)律——集群NAS適合大數(shù)據(jù)時代的數(shù)據(jù)存儲。

集群NAS并不是最近幾年才出現(xiàn)的新產(chǎn)品，但是針對大數(shù)據(jù)，華為對產(chǎn)品進(jìn)行了不斷的改進(jìn)創(chuàng)新。比如，更低的時延、更高的帶寬、更好的容量擴(kuò)展性等方面都進(jìn)行了改進(jìn)。龐鑫表示：“對于很多用戶而言，很大的挑戰(zhàn)在于大數(shù)據(jù)的存儲和管理。而從目前的發(fā)展勢頭來看，傳統(tǒng)的IT基礎(chǔ)設(shè)施，包括服務(wù)器、存儲在內(nèi)，往往還都是縱向擴(kuò)展。很明顯這種架構(gòu)無法滿足海量數(shù)據(jù)存儲、查詢和分析的需求。大數(shù)據(jù)時代理想的架構(gòu)應(yīng)該是橫向擴(kuò)展的，可以讓用戶根據(jù)業(yè)務(wù)發(fā)展需要靈活增加節(jié)點(diǎn)。”

針對上述的需求，華為在今年的云計算大會上，發(fā)布了專門針對大數(shù)據(jù)的MVX創(chuàng)新型解決方案。這款專門針對大數(shù)據(jù)的解決方案將Scale-out NAS、Scale-out DB和Scale-out Backup進(jìn)行了融合，將海量數(shù)據(jù)存儲、共享、分析結(jié)合為一體，為用戶提供非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)的大數(shù)據(jù)存儲共享平臺。

EMC之前收購的Isilon在橫向擴(kuò)展NAS方面也取得了很大的進(jìn)展。EMC宣稱已經(jīng)將Hadoop文件系統(tǒng)集成到Isilon橫向擴(kuò)展NAS中，幫助用戶使用一個單一的共享存儲資源來進(jìn)行數(shù)據(jù)計算和分析。

芯片提供商：

向高性能、高容量持續(xù)發(fā)力

就像之前所說的那樣，大數(shù)據(jù)影響的不是一兩家IT企業(yè)，而是整個IT產(chǎn)業(yè)鏈。而作為芯片廠商，他們該如何抓住大數(shù)據(jù)帶來的機(jī)遇呢?PMC的Derek表示：“在我們的觀察中，有兩類對待升級IT基礎(chǔ)設(shè)施以適應(yīng)大數(shù)據(jù)時代需求的方式;一種是大型的傳統(tǒng)IT公司，會采用循序漸進(jìn)的方式對系統(tǒng)進(jìn)行改進(jìn)。而我們看到的另一類用戶，也就是大多數(shù)的互聯(lián)網(wǎng)公司，對于新技術(shù)的采用則保持非常開放的態(tài)度。我們看到這些用戶對于新技術(shù)的渴望。此類用戶需要利用新技術(shù)在更小的空間內(nèi)集成更大的存儲容量。對此，芯片級解決方案就是最理想且可靠的方案。我們很幸運(yùn)地能夠見證大數(shù)據(jù)的到來，也因此對PMC主要產(chǎn)品線均能做出調(diào)整，以充分利用這一增長機(jī)遇。”

英特爾(中國)有限公司行業(yè)合作與解決方案部中國區(qū)總監(jiān)凌琦在今年的大數(shù)據(jù)論壇上說：“英特爾也看到了大數(shù)據(jù)是一個機(jī)會。因?yàn)樗械姆治鲕浖?、存儲軟件都必須要架?gòu)在一個硬件平臺上。只有硬件平臺發(fā)展到一定程度，才能提供對大數(shù)據(jù)的存儲、分析，以及價值的挖掘。”

英特爾作為IT行業(yè)的巨頭之一，尤其是芯片領(lǐng)域有著強(qiáng)大的優(yōu)勢，在大數(shù)據(jù)時代，英特爾會扮演什么角色呢?英特爾亞太研發(fā)有限公司總經(jīng)理、軟件與服務(wù)事業(yè)部中國區(qū)總經(jīng)理何京翔表示：“從英特爾的產(chǎn)品線來講，正在考慮從CPU、存儲、內(nèi)存等一切的技術(shù)出發(fā)，構(gòu)建新一代的系統(tǒng)架構(gòu)。”另外，英特爾也已經(jīng)推出了基于至強(qiáng)平臺和英特爾發(fā)行版的Hadoop大數(shù)據(jù)處理方案，已經(jīng)與國內(nèi)多個行業(yè)的用戶合作，去解決他們面臨的大數(shù)據(jù)問題。

對于致力于存儲、光網(wǎng)絡(luò)和移動網(wǎng)絡(luò)的PMC公司而言，大數(shù)據(jù)同樣是一個發(fā)展自己的絕佳機(jī)會。Derek表示：“大數(shù)據(jù)讓市場上對于更低功耗、更小體積和更大存儲容量產(chǎn)品的呼聲越來越高，這恰恰是硬件芯片方案的機(jī)遇。”今年，PMC推出了首款支持PCIe 3.0的片上RAID控制器(RoC)，單芯片支持24個SAS或SATA 6Gb/s端口，而目前市場上同類產(chǎn)品都是8端口的。這也就意味著用戶可以直連更多設(shè)備而無須借助擴(kuò)展器，因而節(jié)約空間，降低功耗，并大幅提高性能，這對建立密集型存儲設(shè)備的數(shù)據(jù)中心來說就是關(guān)鍵技術(shù)。

另外，Derek也表示，為了提升數(shù)據(jù)中心的響應(yīng)時間，閃存產(chǎn)品的普及將會加速。PMC也一直將固態(tài)存儲理念運(yùn)用到產(chǎn)品開發(fā)當(dāng)中，并且把PMC在電信行業(yè)的領(lǐng)先技術(shù)——前向糾錯技術(shù)也融入到了其SFM-12G SSD控制器當(dāng)中，從而延長NAND閃存的壽命。

在最近舉行的第五屆加速創(chuàng)新年度峰會上，LSI也打出了“智能芯片、閃存及其他技術(shù)讓挑戰(zhàn)化機(jī)遇”的口號。可以看出，以往離終端用戶最遠(yuǎn)的芯片廠商在大數(shù)據(jù)的浪潮中也不甘拜下風(fēng)。

縱觀整個IT產(chǎn)業(yè)鏈可以發(fā)現(xiàn)，在軟件領(lǐng)域，大數(shù)據(jù)挖掘和分析占據(jù)了主流。傳統(tǒng)的IT解決方案提供商不僅通過技術(shù)手段對自身的硬件產(chǎn)品進(jìn)行了不斷的更新，更是通過并購的手段收購了一些數(shù)據(jù)分析軟件領(lǐng)域的廠商來擴(kuò)充自身的大數(shù)據(jù)實(shí)力。而芯片領(lǐng)域的廠商也沒有放過在大數(shù)據(jù)時代發(fā)展自身的機(jī)會。這一場因大數(shù)據(jù)帶來的IT“信息革命”已經(jīng)拉開了帷幕，作為用戶的我們，只需靜靜等待大數(shù)據(jù)為我們的生活帶來的便利吧。