隨著生活越來(lái)越豐富，大數(shù)據(jù)也變得越來(lái)越難以處理;同時(shí)因?yàn)閿?shù)據(jù)體積增大、數(shù)據(jù)類型繁多，技術(shù)人員在分析過(guò)程中不得不克服大量的挑戰(zhàn)和障礙。本文將討論為什么數(shù)據(jù)會(huì)變得越來(lái)越復(fù)雜及難以管理，以及在我們分析、整合及存儲(chǔ)這些數(shù)據(jù)時(shí)又會(huì)面臨哪些挑戰(zhàn)及障礙，當(dāng)然還有大數(shù)據(jù)又會(huì)給未來(lái)帶來(lái)什么樣的機(jī)遇。

大數(shù)據(jù)確實(shí)很大并且很復(fù)雜

大數(shù)據(jù)究竟有多大

舉個(gè)簡(jiǎn)單的例子，去參加一個(gè)小朋友的生日派對(duì)。在出發(fā)時(shí)，你會(huì)發(fā)送一個(gè)tweet說(shuō)明一下，數(shù)據(jù)隨之產(chǎn)生。車在半路上，停車加油，付款時(shí)果斷產(chǎn)生了數(shù)據(jù)。在超市購(gòu)買生日卡片，掃描購(gòu)物卡、結(jié)賬同樣產(chǎn)生了數(shù)據(jù)。在生日派對(duì)中，拍個(gè)照片，錄段視頻，當(dāng)你在Facebook、Flickr以及Youtube上發(fā)布時(shí)同樣產(chǎn)生了數(shù)據(jù)。在派對(duì)過(guò)程中發(fā)送的消息，同樣產(chǎn)生了數(shù)據(jù)。貫穿整個(gè)過(guò)程，你的手機(jī)因不停的發(fā)送GPS位置而產(chǎn)生數(shù)據(jù)，你的車因?yàn)椴煌５淖粉櫲己亩a(chǎn)生數(shù)據(jù)。由此可見(jiàn)，我們?cè)谌粘Ｐ袨榛顒?dòng)中產(chǎn)生了大量的數(shù)據(jù)。

通過(guò)IBM了解到，我們每天大約建立2.5 quintillion(1 000 0003)字節(jié)的數(shù)據(jù)，而在過(guò)去兩年建立了總數(shù)據(jù)量的90%，同時(shí)數(shù)據(jù)體積以指數(shù)的方式增加。隨著公司數(shù)據(jù)捕獲能力的增強(qiáng)、多媒體變得流行、社交媒體會(huì)話的增加以及使用互聯(lián)網(wǎng)做更多的事情，數(shù)據(jù)的體積也不可思議的速度激增。

大數(shù)據(jù)究竟有多復(fù)雜

大數(shù)據(jù)是復(fù)雜的。之所以復(fù)雜因?yàn)閿?shù)據(jù)的多樣性，其中包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。大數(shù)據(jù)的復(fù)雜還在于交付和使用的速度，比如“實(shí)時(shí)”。并且，大數(shù)據(jù)的復(fù)雜還在于數(shù)據(jù)的體積。以前家用存儲(chǔ)說(shuō)的是MB和GB，現(xiàn)在講的已經(jīng)是TB了，而企業(yè)早已跨入PB單元。

大數(shù)據(jù)市場(chǎng)

大數(shù)據(jù)增加了信息管理業(yè)務(wù)的需求，比如Software AG、Oracle Corporation、IBM、Microsoft、SAP、EMC和HP已經(jīng)支付150億美元給專門從事數(shù)據(jù)管理和分析的軟件公司。在2010年，這個(gè)產(chǎn)業(yè)自身的價(jià)值已經(jīng)超過(guò)1000億美元，并以每年10%的速度增長(zhǎng)著——比整個(gè)軟件業(yè)務(wù)快2倍。

發(fā)達(dá)經(jīng)濟(jì)體讓大數(shù)據(jù)密集型技術(shù)得到更廣泛的使用。世界范圍內(nèi)，有46億的移動(dòng)終端在產(chǎn)生數(shù)據(jù)，有10到20億人在訪問(wèn)互聯(lián)網(wǎng)。在1990到2005期間，超過(guò)10億人進(jìn)入了中產(chǎn)階級(jí)，更多富起來(lái)的人同樣導(dǎo)致了信息的增長(zhǎng)。在1986年，世界電信網(wǎng)絡(luò)有效的信息交互能力為281 PB，1993年為471 PB，2000年為2.2 EB，2007年為65EB，而在2013年，預(yù)計(jì)的通信總量為667 EB。

大數(shù)據(jù)分析

大數(shù)據(jù)需求在可容忍時(shí)間內(nèi)對(duì)大體積數(shù)據(jù)進(jìn)行處理特殊的技術(shù)，大數(shù)據(jù)分析實(shí)踐者通常不喜歡共享儲(chǔ)存，更傾向于直接連接存儲(chǔ)(Direct Attached Storage，DAS)，在并行的內(nèi)部處理節(jié)點(diǎn)中混合使用了高速SSD與高容量SATA磁盤。而當(dāng)下的共享儲(chǔ)存架構(gòu)SAN及NAS已被扣上緩慢、復(fù)雜及昂貴的頭銜，該類型架構(gòu)完全不符合現(xiàn)下大數(shù)據(jù)技術(shù)在性能、商用服務(wù)器及低成本上的標(biāo)準(zhǔn)。

實(shí)時(shí)及近實(shí)時(shí)的信息交付已成為大數(shù)據(jù)分析的界定特征，盡可能的避免延時(shí)同樣成為大數(shù)據(jù)技術(shù)的首要挑戰(zhàn)之一。數(shù)據(jù)更希望被存儲(chǔ)在內(nèi)存中，而不是其他終端FC SAN連接的機(jī)械硬盤上。同樣在大數(shù)據(jù)情景下，SAN模式下對(duì)分析應(yīng)用程序的要求上比其它類型存儲(chǔ)要高得多。

當(dāng)然，共享存儲(chǔ)在大數(shù)據(jù)分析情景下也有著自己的優(yōu)勢(shì)，但是自2011年以后，已不為絕大多數(shù)大數(shù)據(jù)實(shí)踐者所采納。

大數(shù)據(jù)挑戰(zhàn)及障礙

鑒于復(fù)雜性，大數(shù)據(jù)處理面臨著一系列挑戰(zhàn)：

1. 在類似文本或視頻的非結(jié)構(gòu)化數(shù)據(jù)上，我們要如何去理解及使用。

2. 我們?cè)撊绾卧跀?shù)據(jù)產(chǎn)生時(shí)捕獲最重要的部分，并實(shí)時(shí)的將它交付給正確的人。

3. 鑒于當(dāng)下的數(shù)據(jù)體積和計(jì)算能力，該如何儲(chǔ)存、分析及理解這些數(shù)據(jù)。

4. 缺乏人才

當(dāng)下討論最多的問(wèn)題就是缺乏大數(shù)據(jù)人才，值得慶幸的是許多教育機(jī)構(gòu)都針對(duì)此開(kāi)設(shè)了相應(yīng)的學(xué)術(shù)課程。而我們也看到一些更好的現(xiàn)象，企業(yè)和高校合作共同對(duì)抗這個(gè)人才稀缺問(wèn)題，這也是最有效的人才培養(yǎng)途徑。

5. 其它一些固有的挑戰(zhàn)，隱私、訪問(wèn)安全以及部署

通過(guò)EIU(Economist Intelligence Unit)與Lyris(數(shù)字化營(yíng)銷軟件提供商)***的報(bào)告“Mind the Digital Marketing Gap”了解到，37%的營(yíng)銷主管發(fā)現(xiàn)大數(shù)據(jù)解析到?jīng)Q策制定的轉(zhuǎn)換上存在著非常大的挑戰(zhàn)，而45%認(rèn)為他們不具備有效的大數(shù)據(jù)分析能力。

24%的營(yíng)銷人員表示他們一直在使用大數(shù)據(jù)技術(shù)來(lái)發(fā)現(xiàn)見(jiàn)解并制定市場(chǎng)策略，盡管其中大多數(shù)人只是偶爾使用數(shù)據(jù)做可行性分析及個(gè)性化客戶通信。

其它一些障礙還包括缺乏資金(43%的受訪者)、過(guò)于強(qiáng)調(diào)數(shù)字工具及社交媒體、渠道的增多以及人力資源的匱乏(33%左右的受訪者)。

大數(shù)據(jù)機(jī)遇

盡管當(dāng)下大數(shù)據(jù)技術(shù)的應(yīng)用上還存在許多的挑戰(zhàn)，但是其中存在的機(jī)遇卻遠(yuǎn)超過(guò)這些挑戰(zhàn)。大數(shù)據(jù)成為創(chuàng)新、競(jìng)爭(zhēng)及生產(chǎn)力提升的絕對(duì)利器，我們可以使用大數(shù)據(jù)回答以前無(wú)法解決的問(wèn)題。我們可以使用大數(shù)據(jù)獲得真知和知識(shí)，確定趨勢(shì)及提高生產(chǎn)力，取得競(jìng)爭(zhēng)優(yōu)勢(shì)并為世界經(jīng)濟(jì)創(chuàng)造更多的價(jià)值。