2013年被中國(guó)IT界稱為大數(shù)據(jù)年，如果你逢人不談大數(shù)據(jù)，好像就已經(jīng)跟不上時(shí)代潮流，會(huì)被業(yè)界同仁認(rèn)為是異類，可見(jiàn)大數(shù)據(jù)多么火熱。具體大數(shù)據(jù)的定義已經(jīng)有很多種，對(duì)業(yè)界***的貢獻(xiàn)就是不再添亂，制造出另外一種新定義。為此，我將專注大數(shù)據(jù)的企業(yè)數(shù)據(jù)中心之旅，和大家一起探討大數(shù)據(jù)方案在企業(yè)數(shù)據(jù)中心如何攻克難關(guān)，順利落地生花。

大數(shù)據(jù)的價(jià)值

大數(shù)據(jù)產(chǎn)生大價(jià)值的口號(hào)已經(jīng)震天響，但具體的企業(yè)和應(yīng)用場(chǎng)景產(chǎn)生的價(jià)值還是還不同，但大數(shù)據(jù)的價(jià)值總體來(lái)說(shuō)都會(huì)讓營(yíng)銷更精準(zhǔn)、研發(fā)更快速、企業(yè)競(jìng)爭(zhēng)力更強(qiáng)。沃爾瑪“啤酒和尿布”的案例就是智能營(yíng)銷的典型案例，通過(guò)數(shù)據(jù)挖掘得出的結(jié)論，可以幫助沃爾瑪更好制定營(yíng)銷方案，更好地滿足客戶的需求。當(dāng)然，對(duì)客戶來(lái)說(shuō)就是更便捷買到自己所需。對(duì)于地質(zhì)勘探等行業(yè)，通過(guò)大數(shù)據(jù)的處理，可以快速定位資源位置，確定資源儲(chǔ)量等，這顯然是提升生產(chǎn)效率，降低探測(cè)成本。阿里巴巴通過(guò)對(duì)用戶行為的分析，準(zhǔn)確地預(yù)言了2008年的金融危機(jī)，并采取措施幫助中小制造商準(zhǔn)備過(guò)冬的糧食，這為不僅為阿里巴巴集團(tuán)贏得了不少聲譽(yù)，也幫助它的客戶更好應(yīng)對(duì)危機(jī)。美國(guó)國(guó)家海洋和大氣管理局(NOAA)每年的IT預(yù)算高達(dá)10億美元，主要用于大數(shù)據(jù)中心的建設(shè)，為國(guó)家海洋大氣策略的制定提供智能支撐。2011年3月11日，日本大地震發(fā)生后僅9分鐘，NOAA就發(fā)布了詳細(xì)的海嘯預(yù)警，這都是大數(shù)據(jù)的神通?？梢?jiàn)，大數(shù)據(jù)確實(shí)能產(chǎn)生大價(jià)值，在不同的領(lǐng)域、不同的場(chǎng)景都能發(fā)揮它的能力，為企業(yè)、客戶帶來(lái)巨大收獲。

大數(shù)據(jù)對(duì)信息產(chǎn)業(yè)及企業(yè)的推動(dòng)作用

大數(shù)據(jù)是云計(jì)算平臺(tái)上一個(gè)很好的應(yīng)用，大數(shù)據(jù)的蓬勃發(fā)展，不僅僅推動(dòng)云計(jì)算的快速落地，也打破的傳統(tǒng)的營(yíng)銷、商務(wù)智能等的限制，將新興的社交媒體、互聯(lián)網(wǎng)的技術(shù)更好地轉(zhuǎn)化為商務(wù)智能，為信息產(chǎn)業(yè)更好的推動(dòng)業(yè)務(wù)發(fā)展找到了一條出路。云計(jì)算曾讓很多用戶感覺(jué)是“暈計(jì)算”，數(shù)據(jù)量的激增也曾讓很多用戶束手無(wú)策，云計(jì)算和大數(shù)據(jù)的整合發(fā)展解決了這個(gè)難題，為下一代數(shù)據(jù)中心的發(fā)展指明了方向，成為企業(yè)在社交媒體時(shí)代的制勝法寶。從此，CIO再也不僅僅是傳統(tǒng)的***信息官，而是可以更深刻地影響企業(yè)的業(yè)務(wù)，成為更炙手可熱的***創(chuàng)新官(Chief Innovation Officer)，這對(duì)企業(yè)和整個(gè)產(chǎn)業(yè)的影響都是十分深遠(yuǎn)的。

大數(shù)據(jù)是云計(jì)算的“殺手應(yīng)用”已經(jīng)毋庸置疑，大數(shù)據(jù)的價(jià)值也被大家廣泛認(rèn)可。隨著企業(yè)信息化、社交媒體等新媒體的發(fā)展，企業(yè)的數(shù)據(jù)量和復(fù)雜性逐漸提升，如何利用這些遍布企業(yè)各個(gè)環(huán)節(jié)的數(shù)據(jù)成為打造企業(yè)新生命的關(guān)鍵。即使企業(yè)今天的數(shù)據(jù)量不是很大，可能完全基于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)，大數(shù)據(jù)的應(yīng)用也絕對(duì)不容忽視，因?yàn)殡S著新型營(yíng)銷平臺(tái)的出現(xiàn)，智能社交營(yíng)銷已經(jīng)成為大家的“剛需”。而一旦走上新型營(yíng)銷平臺(tái)，數(shù)據(jù)量就會(huì)急劇增加，大數(shù)據(jù)的應(yīng)用迫切性即刻出現(xiàn)。長(zhǎng)沙中聯(lián)重工科技發(fā)展股份有限公司CIO王玉坤在介紹他們的大數(shù)據(jù)實(shí)踐時(shí)說(shuō)：“在工程機(jī)械行業(yè)，很多挖掘機(jī)都安裝了GPS定位系統(tǒng)，實(shí)時(shí)監(jiān)控車輛運(yùn)行情況。同樣，日本小松公司的挖掘機(jī)也安裝了GPS定位系統(tǒng)，在實(shí)時(shí)監(jiān)控車輛運(yùn)行情況的同時(shí)，還根據(jù)挖掘機(jī)每個(gè)月的工作時(shí)間，統(tǒng)計(jì)全年的工作情況，由此判斷下一年度的市場(chǎng)需求。挖掘機(jī)開(kāi)工越飽滿，說(shuō)明市場(chǎng)需求越旺盛，如果客戶購(gòu)買挖掘機(jī)后每個(gè)月的工作量很少，說(shuō)明市場(chǎng)有可能面臨過(guò)剩的風(fēng)險(xiǎn)”，這就是通過(guò)大數(shù)據(jù)的應(yīng)用促使工程機(jī)械行業(yè)轉(zhuǎn)型的典型案例。一般大家都認(rèn)為工程機(jī)械行業(yè)需要進(jìn)行分析處理的數(shù)據(jù)量不大，通過(guò)這個(gè)案例可以看到，隨著GPS定位系統(tǒng)的應(yīng)用，大數(shù)據(jù)以已悄然走進(jìn)這類企業(yè)。

大數(shù)據(jù)的基礎(chǔ)架構(gòu)

大數(shù)據(jù)雖然在不同的應(yīng)用場(chǎng)景、不同企業(yè)環(huán)境應(yīng)用方式會(huì)千差萬(wàn)別，但是常見(jiàn)的基本架構(gòu)如圖示。大數(shù)據(jù)都會(huì)有自己的基礎(chǔ)架構(gòu)平臺(tái)，一般推薦是基于云計(jì)算的動(dòng)態(tài)彈性平臺(tái)，因?yàn)檫@將為大數(shù)據(jù)的分析處理提供強(qiáng)有力的支撐。當(dāng)然，為了加速數(shù)據(jù)處理，Hadoop這類的基礎(chǔ)處理平臺(tái)也是必不可少的，包括實(shí)時(shí)數(shù)據(jù)處理的模塊，加速數(shù)據(jù)處理的進(jìn)度。大數(shù)據(jù)的價(jià)值和時(shí)間密切相關(guān)，如果不能及時(shí)將大數(shù)據(jù)快速處理，分析后的結(jié)果很可能就成為“事后諸葛亮”，好聽(tīng)好看沒(méi)用途，相信任何一個(gè)企業(yè)都不希望大數(shù)據(jù)成為擺設(shè)。當(dāng)然，不同的行業(yè)、場(chǎng)景會(huì)有數(shù)據(jù)分析、展示模塊來(lái)配合，這些都需要數(shù)據(jù)科學(xué)家、分析師、開(kāi)發(fā)者等共同配合完成，將移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、社交媒體、實(shí)時(shí)數(shù)據(jù)流等進(jìn)行分析處理，抽取出其中最有價(jià)值的規(guī)律、結(jié)論等，服務(wù)于我們面對(duì)的每個(gè)新明天和我們的新客戶需求。

大數(shù)據(jù)不會(huì)推翻我們傳統(tǒng)構(gòu)建的傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)的堡壘，特別是普遍應(yīng)用在企業(yè)數(shù)據(jù)中心的關(guān)系型數(shù)據(jù)庫(kù)，仍然會(huì)是處理結(jié)構(gòu)化數(shù)據(jù)的主要工具。但在大數(shù)據(jù)時(shí)代，我們更應(yīng)該聚焦非結(jié)構(gòu)化數(shù)據(jù)，結(jié)構(gòu)化數(shù)據(jù)已經(jīng)有了不錯(cuò)的歸宿，非結(jié)構(gòu)化數(shù)據(jù)才是我們處理的難題。據(jù)預(yù)測(cè)，到2020年，非結(jié)構(gòu)化數(shù)據(jù)將數(shù)十倍于傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)，成為大數(shù)據(jù)最主要的數(shù)據(jù)來(lái)源。Hadoop在大數(shù)據(jù)時(shí)代如日中天，成為很多企業(yè)追逐的對(duì)象，因?yàn)榻裉斓腍adoop是非結(jié)構(gòu)化數(shù)據(jù)的一大福音，通過(guò)Hadoop可以輕松掌控非結(jié)構(gòu)化數(shù)據(jù)。

但是我們要充分認(rèn)識(shí)到大數(shù)據(jù)確實(shí)不是傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)能夠輕松應(yīng)對(duì)的，由于非結(jié)構(gòu)化數(shù)據(jù)的來(lái)臨，傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)立馬力不從心。同時(shí)，實(shí)時(shí)數(shù)據(jù)要求的低延遲、數(shù)據(jù)流處理也是傳統(tǒng)數(shù)據(jù)庫(kù)的軟肋。當(dāng)然，靈活模式、云架構(gòu)以及海量數(shù)據(jù)處理要求，都導(dǎo)致傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)陷入困頓，只能尋找新的數(shù)據(jù)處理模式，比如Hadoop等，這也是開(kāi)源的Hadoop如此受業(yè)界追捧的主要原因。

企業(yè)邁向大數(shù)據(jù)時(shí)代之五部曲

當(dāng)然，從傳統(tǒng)數(shù)據(jù)庫(kù)模式走到大數(shù)據(jù)時(shí)代是每個(gè)企業(yè)都需要經(jīng)歷的一次涅槃，下圖給出了常見(jiàn)的五部曲：

1)大數(shù)據(jù)收集。如果你大數(shù)據(jù)在手，恭喜你，至少你已經(jīng)有了穩(wěn)定的數(shù)據(jù)源。如果你沒(méi)有大數(shù)據(jù)，可能你需要想想哪些環(huán)節(jié)的重要數(shù)據(jù)從你指間溜走，你要開(kāi)始部署新的工具攔住這些流失的數(shù)據(jù)，為他們找個(gè)收容所。當(dāng)然，大數(shù)據(jù)收集最重要的是要確保數(shù)據(jù)質(zhì)量，沒(méi)有質(zhì)量的數(shù)據(jù)堅(jiān)決杜絕，因?yàn)闆](méi)有意義的數(shù)據(jù)只會(huì)增加系統(tǒng)的復(fù)雜性，無(wú)形中增加成本。當(dāng)然，大數(shù)據(jù)的價(jià)值密度本來(lái)就很低，如何辨別有質(zhì)量的大數(shù)據(jù)就不是輕松的一個(gè)環(huán)節(jié)，要花大力氣來(lái)解決。

2)混合云或者數(shù)據(jù)的全局保障。收集數(shù)據(jù)要依賴于基礎(chǔ)架構(gòu)，云計(jì)算是一個(gè)重要平臺(tái)，通過(guò)軟件及服務(wù)，實(shí)現(xiàn)全公司數(shù)據(jù)的完整覆蓋，包括各種類型、多種應(yīng)用的數(shù)據(jù)，不漏掉任何有價(jià)值的數(shù)據(jù)，也不讓垃圾數(shù)據(jù)混入其中。

3)實(shí)現(xiàn)分析工具實(shí)時(shí)、平民化和可視化。將復(fù)雜的、臃腫的、不能實(shí)時(shí)分析的工具統(tǒng)統(tǒng)扔進(jìn)歷史的垃圾桶，只有大數(shù)據(jù)分析工具的革新才能真正實(shí)時(shí)挖掘出大數(shù)據(jù)的價(jià)值。傳統(tǒng)的分析工具會(huì)被大數(shù)據(jù)淹沒(méi)，成為企業(yè)的負(fù)擔(dān)，不能產(chǎn)生應(yīng)有的價(jià)值。

4)虛擬化可實(shí)現(xiàn)管理自動(dòng)化，降低運(yùn)營(yíng)成本。一個(gè)使用復(fù)雜、成本昂貴的大數(shù)據(jù)平臺(tái)會(huì)成為數(shù)據(jù)中心的新負(fù)擔(dān)，帶來(lái)的價(jià)值可能會(huì)被復(fù)雜的平臺(tái)本身直接消耗殆盡。隨著虛擬化，特別是軟件定義的數(shù)據(jù)中心時(shí)代的到來(lái)，輕型、便捷的新平臺(tái)成為大數(shù)據(jù)處理的***平臺(tái)，不僅大幅度降低成本，也為大數(shù)據(jù)處理提供了高度的彈性、管理能力等，讓大數(shù)據(jù)處理成為企業(yè)新價(jià)值的發(fā)動(dòng)機(jī)，成為企業(yè)競(jìng)爭(zhēng)力的助推器，成為CIO的新頭腦。

5)開(kāi)源軟件也將成為歷史潮流。大數(shù)據(jù)從電商企業(yè)、移動(dòng)互聯(lián)網(wǎng)起家，因此生于開(kāi)源，長(zhǎng)于開(kāi)源，開(kāi)源成為大數(shù)據(jù)平臺(tái)的重要基因，這也是開(kāi)源的Hadoop紅火的另一個(gè)重要原因。當(dāng)然，開(kāi)源并不意味著回到“手工作坊”時(shí)代，每個(gè)企業(yè)都要打造自己的“開(kāi)源”大數(shù)據(jù)平臺(tái)，而是要有充分的開(kāi)放性，基于開(kāi)源的理念和架構(gòu)，提供成本低廉、穩(wěn)定可靠的選擇。就像今天的開(kāi)源Linux，一般企業(yè)還是選擇第三方企業(yè)包裝測(cè)試好的Linux平臺(tái)，而不是一個(gè)客戶完全自主研發(fā)的Linux平臺(tái)。通過(guò)這五部曲，企業(yè)可以輕松實(shí)現(xiàn)從傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)時(shí)代步入數(shù)據(jù)云時(shí)代，也就是走進(jìn)新的大數(shù)據(jù)時(shí)代。

總之，大數(shù)據(jù)不是遙遠(yuǎn)的神話，大數(shù)據(jù)是CIO為企業(yè)提供大價(jià)值的神器，機(jī)遇與挑戰(zhàn)并存。只要善用大數(shù)據(jù)，大數(shù)據(jù)定能為您的企業(yè)帶來(lái)不斷的新驚喜：大數(shù)據(jù)能讓你在從來(lái)不知道你有機(jī)會(huì)的地方找到機(jī)會(huì);大數(shù)據(jù)的快速分析能讓你在機(jī)會(huì)消失之前把握住機(jī)會(huì);大數(shù)據(jù)的有效應(yīng)用能夠產(chǎn)生***的商業(yè)新模式。

注：所有《沈陽(yáng)軟件》可以從http://www.sisp-china.com/下載電子版

原創(chuàng)作品，如需轉(zhuǎn)載，請(qǐng)與作者聯(lián)系。否則將追究法律責(zé)任。