2017年大數(shù)據(jù)將不再是Hadoop一家獨(dú)大，也不再是編程者們的自娛自樂，企業(yè)和終端用戶的不斷涌入，海量數(shù)據(jù)“堆積如山”，隨之而來的儲(chǔ)存、分析、處理成為從業(yè)者的下一挑戰(zhàn)。

隨著對(duì)不同類型、不同體量數(shù)據(jù)的結(jié)構(gòu)化存儲(chǔ)、批量處理以及價(jià)值挖掘需求的增多，2016年注定是大數(shù)據(jù)里程碑式的一年。

2017年，支持大量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的系統(tǒng)將繼續(xù)增長(zhǎng)。市場(chǎng)需要數(shù)據(jù)平臺(tái)來幫助數(shù)據(jù)管理人員管理和保護(hù)大數(shù)據(jù)，同時(shí)允許最終用戶進(jìn)行數(shù)據(jù)分析。這些系統(tǒng)將逐步成熟，在企業(yè)內(nèi)部的IT系統(tǒng)中更好地運(yùn)行。

1、數(shù)據(jù)處理變得更加快速，數(shù)據(jù)也變得更加易于使用

選項(xiàng)擴(kuò)展將加速Hadoop

當(dāng)然，你可以在Hadoop上執(zhí)行機(jī)器學(xué)習(xí)和情緒分析，但人們常常會(huì)問的***個(gè)問題是：交互式SQL（結(jié)構(gòu)化查詢語言，一種數(shù)據(jù)庫查詢和程序設(shè)計(jì)語言，用于存取數(shù)據(jù)以及查詢、更新和管理關(guān)系數(shù)據(jù)庫系統(tǒng)）究竟有多快？畢竟，SQL相當(dāng)于企業(yè)用戶的“導(dǎo)管”——他們希望使用Hadoop數(shù)據(jù)來更快的獲得可復(fù)用的BI儀表盤（一種向企業(yè)展示度量信息和關(guān)鍵業(yè)務(wù)指標(biāo)即KPI現(xiàn)狀的數(shù)據(jù)虛擬化工具），或者是進(jìn)行一些探索性分析。

這種對(duì)速度的需求促使用戶采用訪問速度更快和執(zhí)行效率更高的數(shù)據(jù)庫，如Exasol、MemSQL，或者是類似于Kudu這種基于Hadoop的商店，當(dāng)然還需要能夠更快查詢數(shù)據(jù)的技術(shù)。諸如SQL-on-Hadoop引擎（Apache Impala，Hive LLAP，Presto，Phoenix和Drill）和OLAP-on-Hadoop技術(shù)（AtScale，Jethro Data和Kyvos Insights）這樣的數(shù)據(jù)查詢加速器將進(jìn)一步模糊傳統(tǒng)數(shù)據(jù)庫與大數(shù)據(jù)世界的邊界。

2、大數(shù)據(jù)不再只是Hadoop

專門基于Hadoop開發(fā)的工具已過時(shí)

在過去的幾年中，隨著大數(shù)據(jù)浪潮來襲，數(shù)種為了滿足Hadoop分析需求的技術(shù)興起。但是，身處復(fù)雜，異構(gòu)環(huán)境中的企業(yè)不再希望僅為一個(gè)數(shù)據(jù)源（Hadoop）采用孤立的BI訪問點(diǎn)。他們需要的答案被埋沒在一大堆數(shù)據(jù)源中，從記錄系統(tǒng)到云端，再到來自Hadoop和非Hadoop源的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。（順便說一句，甚至連關(guān)系型數(shù)據(jù)庫也正在為大數(shù)據(jù)趨勢(shì)做準(zhǔn)備。例如，SQL Server2016于近日添加了JSON支持）。

在2017年，客戶將會(huì)需要對(duì)所有數(shù)據(jù)都進(jìn)行分析。不依賴于數(shù)據(jù)源的平臺(tái)將會(huì)茁壯成長(zhǎng)，而專為Hadoop而設(shè)計(jì)的平臺(tái)和未能跨應(yīng)用部署的平臺(tái)將被棄用。Platfora的退出便是這一趨勢(shì)的預(yù)示。

3、相關(guān)組織將利用數(shù)據(jù)湖(DataLake)來實(shí)現(xiàn)價(jià)值

數(shù)據(jù)湖就像一個(gè)人造水庫

數(shù)據(jù)湖就像一個(gè)人造水庫。首先你要建造一個(gè)水壩（構(gòu)建一個(gè)集群），然后填滿水（數(shù)據(jù)）。一旦建立了湖泊，你將開始因?yàn)楦鞣N目的而使用這些水資源（數(shù)據(jù)），如發(fā)電，飲用以及各種消遣（預(yù)測(cè)分析，機(jī)器學(xué)習(xí)，網(wǎng)絡(luò)安全等）。

而今，保有數(shù)據(jù)湖里的數(shù)據(jù)已經(jīng)變成了一種為了保留而保留的行為。在2017年，這將隨著Hadoop業(yè)務(wù)的收緊而改變。各個(gè)組織要求可重復(fù)的并且敏捷地使用數(shù)據(jù)湖，以便更快地獲得響應(yīng)。在確定對(duì)人事、數(shù)據(jù)和基礎(chǔ)設(shè)施的相應(yīng)投資之前，企業(yè)會(huì)更加慎重的考慮業(yè)務(wù)成果。這將促進(jìn)業(yè)務(wù)和IT之間的強(qiáng)力耦合。而自助服務(wù)平臺(tái)作為分析大數(shù)據(jù)資產(chǎn)的工具將獲得更深入的認(rèn)可。

另外，公司還將關(guān)注業(yè)務(wù)驅(qū)動(dòng)型應(yīng)用，避免數(shù)據(jù)湖陷入困境。在2017年，企業(yè)機(jī)構(gòu)將從“構(gòu)建未來”的數(shù)據(jù)湖應(yīng)用轉(zhuǎn)向業(yè)務(wù)驅(qū)動(dòng)型數(shù)據(jù)應(yīng)用。當(dāng)今世界需要分析和操作能力去觸及客戶、處理索賠并且連接到個(gè)體的不同設(shè)備。

舉例而言，任何商業(yè)網(wǎng)站需要提供實(shí)時(shí)的個(gè)性化推薦和價(jià)格查詢。醫(yī)療健康型企業(yè)必須處理有效的索賠并且運(yùn)用分析運(yùn)營(yíng)系統(tǒng)來防止索賠欺詐。媒體公司需要通過機(jī)頂盒提供個(gè)性化的內(nèi)容。汽車制造商和汽車共享公司則要交互運(yùn)營(yíng)其車輛和司機(jī)。這些案例的實(shí)施交付均需要由一個(gè)敏捷平臺(tái)來實(shí)現(xiàn)，同時(shí)提供分析和運(yùn)營(yíng)的處理，跨越后臺(tái)分析和前臺(tái)運(yùn)營(yíng)進(jìn)行整合，提升了商業(yè)價(jià)值。

4、成熟的架構(gòu)拒絕通用型框架

Hadoop不再只是一個(gè)用于數(shù)據(jù)科學(xué)用例的批處理平臺(tái)

Hadoop不再只是一個(gè)用于數(shù)據(jù)科學(xué)用例的批處理平臺(tái)。它已經(jīng)成為一種專為特殊分析而架設(shè)的多用途分析引擎，甚至被用于日常工作負(fù)載的操作報(bào)告——傳統(tǒng)上這項(xiàng)任務(wù)是由數(shù)據(jù)倉庫（大量數(shù)據(jù)提取和分析的工具）來處理的。