大數(shù)據(jù)中藏商機(jī) 挖掘速度需提升
對于很多人來說,術(shù)語“大數(shù)據(jù)”指的是某一種算法或軟件程序,它能夠幫助企業(yè)或者研究人員發(fā)現(xiàn)隱藏的趨勢,進(jìn)而可以幫助他們做出更好的可視化數(shù)據(jù)分析。
但其實(shí),它還另有一層含義。大數(shù)據(jù)的字面含義更強(qiáng)調(diào)巨大的數(shù)據(jù)量,令人眼花繚亂的海量客戶信息、錄音記錄、圖像、文字信息、facebook的留言及對已存儲的技術(shù)信息的檢索,并為任何用戶根據(jù)他們各自的需求進(jìn)行適當(dāng)?shù)姆治觥?/p>
你無法拋開第二層含義而只考慮***層。事實(shí)上,如何檢索數(shù)據(jù),已成為***的挑戰(zhàn),與此同時,也是高科技行業(yè)***的機(jī)會。
對于很多人來說,碳粉復(fù)印似乎像灰板和抄寫員一樣古老,但數(shù)字存儲成為主流確實(shí)是最近才發(fā)生的事情。根據(jù)去年發(fā)表在《科學(xué)》雜志上由MartinHilbert和PriscilaLopez撰寫的論文,在1993年,全球只有3%的信息是存儲在像硬盤或光盤類的數(shù)字化設(shè)備上的。18年以前,磁帶和硅膠盤則承擔(dān)了存儲當(dāng)時的信息的更主要角色(大約6%)。根據(jù)Hilbert與Priscila的論文,在2000年***次互聯(lián)網(wǎng)浪潮時代,數(shù)字化存儲也僅僅占據(jù)當(dāng)時全球信息存儲量的25%;2002年是數(shù)字化存儲量***超過存儲在傳統(tǒng)紙張、老式錄像帶和其它模擬存儲設(shè)備上的***個年頭。
但到2007年,DVD、CD、存儲卡和其它數(shù)字存儲設(shè)備已占全球信息存儲份額的94%。僅硬盤存儲就從7年前占總額的5%躍升至52%。2007年,全球的總存儲容量達(dá)到295艾字節(jié)(EB)。想象一下,每一封電子郵件或文本信息都會在多臺電腦上同時創(chuàng)建成數(shù)據(jù)文件。
那已是5年前了,而到了2012年,全球的數(shù)字信息總?cè)萘窟_(dá)到了2.7澤字節(jié)(ZB),即2.7后面跟著21個零。根據(jù)IDC的報(bào)告,比2011年增長了48%,其中90%的數(shù)據(jù)都是非結(jié)構(gòu)化數(shù)據(jù),例如數(shù)字視頻、聲音和圖像文件,如何對其查詢與檢索,已構(gòu)成了很大的挑戰(zhàn)。
新應(yīng)用層出不窮
那么如何處理那些由傳感器、電話和電腦產(chǎn)生的信息化浪潮呢?與之相應(yīng)的一些應(yīng)用涌現(xiàn)出來。天氣預(yù)報(bào)人員通過空氣中細(xì)微顆粒數(shù)量更好地預(yù)測天氣。風(fēng)力或太陽能發(fā)電廠也將充分利用準(zhǔn)確的動態(tài)數(shù)
據(jù)驅(qū)動預(yù)測系統(tǒng),估計(jì)未來電力輸出量,因而可以***化他們在其他能源方向投資的回報(bào)率。一下子,風(fēng)力變得可以預(yù)測了。
另外,從各個汽車收集的包括巡航速度、位置、啟動、停車等方面的數(shù)據(jù)可以為交通規(guī)劃人員及公眾提供實(shí)時的路況信息。久而久之,通過對大量積累的每日交通信息規(guī)律的挖掘,可以為將來的高速公路和停車場的規(guī)劃提供決策支持,以減少潛在的擁堵。為此,你的汽車將會擁有自己的移動電話,并持續(xù)地與外界通訊。
還有一些更通俗的應(yīng)用,有些零售商想通過對他們的保安監(jiān)控錄像和移動傳感器進(jìn)行數(shù)據(jù)挖掘。這其實(shí)并不是為了捉賊,而是希望通過對不同特征群組的購物者進(jìn)行分析,尋找出為什么某些貨架對于客戶有吸引力,而另外一些則無人光顧。
企業(yè)和客戶們正在變得越來越不耐心。在銀行排隊(duì)等候8秒鐘,算是很幸運(yùn)的,但是在網(wǎng)絡(luò)上同樣等待8秒鐘卻顯得漫長無比。
存儲需要建立全局觀
為了滿足這方面的需求,存儲行業(yè)需要改變將存儲僅僅作為一個收集設(shè)備的看法,應(yīng)該開始把硬盤、閃存、磁帶存儲器、數(shù)據(jù)中心存儲系統(tǒng)當(dāng)成一個存儲的整體來看。
從某種角度來看,對于數(shù)據(jù)結(jié)構(gòu)的設(shè)想,客戶已經(jīng)走到了存儲企業(yè)的前面。例如,大型的網(wǎng)站資產(chǎn)、電子商務(wù)網(wǎng)絡(luò),已經(jīng)開始在后端運(yùn)營方面采用混合了的閃存、磁帶DRAM存儲器的組合,以優(yōu)化速度、數(shù)據(jù)檢索或者綜合效率。不同行業(yè)或不同公司的存儲結(jié)構(gòu)的特點(diǎn)是不同的。存儲結(jié)構(gòu)的動態(tài)性變得更容易理解,數(shù)據(jù)檢索架構(gòu)將會成為樹立競爭優(yōu)勢的工具。
移動技術(shù)將成為應(yīng)用開發(fā)的溫床。用戶希望使用不需大量電池容量、但又可存儲海量的數(shù)據(jù)的輕型設(shè)備。這本是一個悖論,但是采用了正確的存儲結(jié)構(gòu),這一載體得以精心設(shè)計(jì)出集本地存儲和云存儲數(shù)據(jù)服務(wù)的混合服務(wù),從而優(yōu)化數(shù)據(jù)的傳輸。同樣,制造商們不得不投資更多的存儲容量。很少有投資者和企業(yè)喜歡品味在地上鋪水泥的過程,但這又是必需的。硬盤行業(yè)每個季度硬盤發(fā)貨量達(dá)到1.6億~1.7億,可以存儲100拍字節(jié)(PB)。當(dāng)然,這還是不夠的。






