忽如一夜春風(fēng)來(lái) 大數(shù)據(jù)為啥火的這么快?
仿佛只是一夜之間,“大數(shù)據(jù)(Big Data)”火了。
那一個(gè)個(gè)關(guān)于大數(shù)據(jù)的傳奇故事,一樁樁爭(zhēng)奪大數(shù)據(jù)制高點(diǎn)而展開(kāi)的并購(gòu)案,一個(gè)接一個(gè)輪流發(fā)布大數(shù)據(jù)戰(zhàn)略的IT廠商,還有那一場(chǎng)場(chǎng)以大數(shù)據(jù)為主題的各種研討會(huì),無(wú)一不在宣告,IT界又迎來(lái)了新的興奮點(diǎn)、新的機(jī)遇,同時(shí),也是新的挑戰(zhàn)。
“數(shù)”中自有黃金屋
嚴(yán)格地說(shuō),大數(shù)據(jù)并非一個(gè)新詞,被譽(yù)為“數(shù)據(jù)倉(cāng)庫(kù)之父”的Bill Inmon早在上個(gè)世紀(jì)90年代就經(jīng)常將“Big Data”掛在嘴邊了。大數(shù)據(jù)之所以在近一兩年迅速走紅,要?dú)w結(jié)于互聯(lián)網(wǎng)、移動(dòng)設(shè)備、物聯(lián)網(wǎng)和云計(jì)算的迅猛發(fā)展,使得人類(lèi)每分每秒都在產(chǎn)生巨量數(shù)據(jù)——從出現(xiàn)文明到2003年,人類(lèi)總共才創(chuàng)造 5 EB(5 ExaBytes)的數(shù)據(jù),但是我們現(xiàn)在僅在兩天內(nèi)就創(chuàng)造出相同的數(shù)據(jù)量。來(lái)自IDC全球存儲(chǔ)及大數(shù)據(jù)研究項(xiàng)目副總裁Benjamin Woo表示,到2020年,全球數(shù)據(jù)使用量預(yù)計(jì)暴增44倍,達(dá)到35.2ZB。35ZB是什么概念呢? (1ZB=1024EB=1048576PB=1073741824TB,1073741824TB×35=37580963840TB),也就是說(shuō)全球大概需要376億個(gè)1TB硬盤(pán)來(lái)存儲(chǔ)數(shù)據(jù)。
但是大數(shù)據(jù)并非單指數(shù)據(jù)量之大。對(duì)于大數(shù)據(jù),IDC的定義是:“為了更經(jīng)濟(jì)地從高頻率獲取的、大容量的、不同結(jié)構(gòu)和類(lèi)型的數(shù)據(jù)中獲取價(jià)值,而設(shè)計(jì)的新一代架構(gòu)和技術(shù)。”人們普遍將該定義概括為四個(gè)V,即更大的容量(volume,從TB級(jí)躍升至PB級(jí),甚至EB級(jí))、更高的多樣性(variety,包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)),以及更快的生成速度(velocity)。前面三個(gè)“V”的組合推動(dòng)了第四個(gè)因素——價(jià)值(value)。
關(guān)于大數(shù)據(jù)所蘊(yùn)含的價(jià)值,有許多為人所津津樂(lè)道的故事可以佐證:
美國(guó)印地安那大學(xué)和英國(guó)曼徹斯特大學(xué)的學(xué)者通過(guò)提取Twitter上的非結(jié)構(gòu)化數(shù)據(jù)分析公眾情緒,再將情緒曲線與道瓊斯工業(yè)指數(shù)進(jìn)行對(duì)照分析,發(fā)現(xiàn)可以提前3~4天預(yù)測(cè)股市大盤(pán)走勢(shì)。基于此,他們已經(jīng)推出了歐洲第一只基于社交媒體的對(duì)沖基金。
(單位:百萬(wàn)美元)
又例如,英國(guó)的科學(xué)家根據(jù)Twitter的數(shù)據(jù)來(lái)跟蹤流感的爆發(fā)。他們主要基于用戶發(fā)布信息中的關(guān)鍵詞,例如“我頭痛”等,并結(jié)合用戶的發(fā)布地點(diǎn),按區(qū)域與英國(guó)衛(wèi)生部的官方數(shù)據(jù)進(jìn)行了比較,最終建立起一個(gè)預(yù)測(cè)模型。創(chuàng)業(yè)團(tuán)隊(duì)“SickWeather”甚至以預(yù)測(cè)疾病為主題開(kāi)展了自己的創(chuàng)業(yè)項(xiàng)目。
象這樣的大數(shù)據(jù)經(jīng)典案例還有不少,而整個(gè)商業(yè)社會(huì)對(duì)大數(shù)據(jù)將帶來(lái)的影響給出了極高的評(píng)價(jià)——
麥肯錫全球研究機(jī)構(gòu)在2011年5月發(fā)布的《大數(shù)據(jù):創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)力的下一個(gè)前沿領(lǐng)域》中表示,充分利用大數(shù)據(jù)可幫助全球個(gè)人定位服務(wù)提供商增加1000億美元收入、幫助歐洲公共部門(mén)的管理每年提升2500億美元產(chǎn)值、幫助美國(guó)醫(yī)療保健行業(yè)每年提升3000億美元產(chǎn)值,并可幫助美國(guó)零售業(yè)獲得 60%以上的凈利潤(rùn)增長(zhǎng)。
在今年年初的瑞士達(dá)沃斯論壇上,一份題為《大數(shù)據(jù),大影響》(Big Data,Big Impact)的報(bào)告宣稱(chēng),數(shù)據(jù)已經(jīng)成為一種新的經(jīng)濟(jì)資產(chǎn)類(lèi)別,就像貨幣或黃金一樣。
而《華爾街日?qǐng)?bào)》在文章《科技變革即將引領(lǐng)新的經(jīng)濟(jì)繁榮》中更是大膽預(yù)測(cè):“我們?cè)俅翁幱谌龍?chǎng)宏大技術(shù)變革的開(kāi)端,他們可能足以匹敵20世紀(jì)的那場(chǎng)變革,這三場(chǎng)變革的震中都在美國(guó),他們分別是大數(shù)據(jù)、智能制造和無(wú)線網(wǎng)絡(luò)革命。”
更加值得關(guān)注的則是,美國(guó)已經(jīng)把大數(shù)據(jù)上升到了國(guó)家戰(zhàn)略的層面。根據(jù)美國(guó)白宮今年3月29日新聞,奧巴馬政府宣布投資2億美元啟動(dòng)“大數(shù)據(jù)研究和發(fā)展計(jì)劃”,希望增強(qiáng)收集海量數(shù)據(jù)、分析萃取信息的能力。
在我國(guó),大數(shù)據(jù)作為一個(gè)較新的概念,目前尚未直接以專(zhuān)有名詞被我國(guó)政府提出來(lái)給予政策支持。不過(guò),在2012年12月8日工信部發(fā)布的物聯(lián)網(wǎng)“十二五”規(guī)劃上,信息處理技術(shù)作為四項(xiàng)關(guān)鍵技術(shù)創(chuàng)新工程之一已經(jīng)被提出來(lái),其中包括了海量數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)挖掘、圖像視頻智能分析,這都是大數(shù)據(jù)的重要組成部分。而另外三項(xiàng)關(guān)鍵技術(shù)創(chuàng)新工程,包括信息感知技術(shù)、信息傳輸技術(shù)、信息安全技術(shù),也都與大數(shù)據(jù)密切相關(guān)。
大數(shù)據(jù)的價(jià)值和重要性已經(jīng)毋庸置疑,但大數(shù)據(jù)究竟帶來(lái)了哪些新的技術(shù)趨勢(shì),它對(duì)當(dāng)前IT產(chǎn)業(yè)的勢(shì)力格局會(huì)造成何種影響,更關(guān)鍵的是,每個(gè)企業(yè)如何才能獲取大數(shù)據(jù)中的“寶藏”?則是我們真正關(guān)注的焦點(diǎn)。