企業(yè)用戶正逐漸將更多注意力集中在創(chuàng)建大數(shù)據(jù)分析能力身上，而數(shù)據(jù)科學(xué)家則因此而承受著更為沉重的壓力。

在Paradigm4（也就是開(kāi)源計(jì)算數(shù)據(jù)庫(kù)管理系統(tǒng)SciDB的***）本周發(fā)布的一份面向超過(guò)一百位數(shù)據(jù)科學(xué)家的調(diào)查報(bào)告當(dāng)中，他們發(fā)現(xiàn)有71%的受訪數(shù)據(jù)科學(xué)家認(rèn)為隨著數(shù)據(jù)源種類以及數(shù)據(jù)規(guī)模的不斷增加、他們的工作難度也隨之逐步攀升。

值得注意的是，只有48%的受訪者在調(diào)查中表示他們?cè)?jīng)在工作當(dāng)中使用過(guò)Hadoop或者Spark，而且76%的受訪者認(rèn)為Hadoop的執(zhí)行速度太過(guò)緩慢、在建立規(guī)劃時(shí)需要投入大量精力或者存在其它嚴(yán)重局限。

“數(shù)據(jù)源種類的不斷增加正迫使數(shù)據(jù)科學(xué)家們尋找處理問(wèn)題的捷徑，否則數(shù)據(jù)量與財(cái)政預(yù)算之間的矛盾將變得不可調(diào)和，”Paradigm4公司CEO Marilyn Matz表示。“目前對(duì)于數(shù)據(jù)規(guī)模的關(guān)注掩蓋了分析工作當(dāng)中的真正挑戰(zhàn)所在。只有解決對(duì)不同類型數(shù)據(jù)加以利用這一重大難題，我們才有可能釋放分析手段當(dāng)中所蘊(yùn)藏的巨大潛能。”

即使拋開(kāi)Hadoop平臺(tái)周邊存在的諸多挑戰(zhàn)性因素，其本身也仍然無(wú)法令人滿意。約有半數(shù)受訪者在調(diào)查中表示（49%），他們發(fā)現(xiàn)自己的數(shù)據(jù)很難與關(guān)系型數(shù)據(jù)庫(kù)表相適應(yīng)。59%的受訪者指出他們所在的企業(yè)已經(jīng)開(kāi)始使用復(fù)雜的分析機(jī)制——包括協(xié)方差分析等數(shù)學(xué)手段、集群化、機(jī)器學(xué)習(xí)、主成分分析與圖形操作，而非商務(wù)智能報(bào)告等“基礎(chǔ)分析”手段——對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行分析。

另有15%的受訪者計(jì)劃在未來(lái)一年中開(kāi)始使用復(fù)雜分析機(jī)制，16%的受訪者則將復(fù)雜分析機(jī)制的引入規(guī)劃設(shè)定在未來(lái)兩年內(nèi)。只有4%的受訪者表示他們所在的企業(yè)尚無(wú)計(jì)劃使用復(fù)雜分析方案。

Paradigm4認(rèn)為這意味著大數(shù)據(jù)這一“唾手可得的價(jià)值果實(shí)”已經(jīng)開(kāi)始轉(zhuǎn)化為實(shí)際收益，而數(shù)據(jù)科學(xué)家們將需要進(jìn)一步深入研究、從而***程度提升其附加價(jià)值。

“大數(shù)據(jù)發(fā)展進(jìn)程中由簡(jiǎn)單向復(fù)雜分析的過(guò)渡預(yù)示著分析機(jī)制將逐步走向規(guī)?；缆罚@個(gè)過(guò)程將超越單一服務(wù)器內(nèi)存容量限制、將分散且易于忽略的價(jià)值作為關(guān)注重點(diǎn)并需要以適當(dāng)?shù)幕旌喜蓸宇l率作為依托——這一切都將成為分析領(lǐng)域的新興需求，”Paradigm4在報(bào)告中寫道。“這些復(fù)雜分析方法同時(shí)也會(huì)給數(shù)據(jù)科學(xué)家?guī)?lái)眾多不受監(jiān)管且無(wú)從假設(shè)的實(shí)際處理方案，并最終讓數(shù)據(jù)自身有能力給出結(jié)論。”

有時(shí)候單靠Hadoop還遠(yuǎn)遠(yuǎn)不夠

Paradigm4還認(rèn)為，Hadoop已經(jīng)被不切實(shí)際地夸大成了一套具有普遍性與顛覆性的大數(shù)據(jù)解決方案。報(bào)告指出，在某些特定復(fù)雜分析用例當(dāng)中，Hadoop根本不能算是可行的解決方案。Paradigm4表示，基礎(chǔ)分析已經(jīng)成為一種“高度并行機(jī)制”（也被稱為‘數(shù)據(jù)并行機(jī)制’），而復(fù)雜分析則并非如此。

所謂高度并行問(wèn)題可以被拆分成多個(gè)獨(dú)立的子問(wèn)題且能夠并行運(yùn)作——不同任務(wù)之間幾乎甚至完全不存在關(guān)聯(lián)性，因此大家不需要一次性訪問(wèn)全部數(shù)據(jù)內(nèi)容。這也正是Hadoop MapReduce在處理數(shù)據(jù)時(shí)所遵循的辦法。而非高度并行類分析任務(wù)，例如眾多復(fù)雜分析問(wèn)題，要求一次性使用并共享全部數(shù)據(jù)內(nèi)容并在處理過(guò)程當(dāng)中隨時(shí)進(jìn)行結(jié)果通信。

22%的受訪數(shù)據(jù)科學(xué)家在調(diào)查中表示，Hadoop與Spark并不適合自己的分析實(shí)例。Paradigm4公司還發(fā)現(xiàn)，35%的受訪數(shù)據(jù)科學(xué)家曾經(jīng)嘗試過(guò)Hadoop或者Spark，但最終放棄了將其引入實(shí)際業(yè)務(wù)環(huán)境的打算。

Paradigm4在報(bào)告中提到的111位美國(guó)數(shù)據(jù)科學(xué)家來(lái)自由創(chuàng)新研究企業(yè)Innovation Enterprise自2014年3月27日到4月23日進(jìn)行的調(diào)查群體。Paradigm4在下面這份圖表當(dāng)中匯總了全部相關(guān)調(diào)查結(jié)果。

原文鏈接：

http://www.cio.com/article/2449814/big-data/data-scientists-frustrated-by-data-variety-find-hadoop-limiting.html