現在的數據世界正在發(fā)生什么，它將如何影響2018年的市場?比如這些頭條新聞:人工智能無處不在，并將改變一切;企業(yè)繼續(xù)將他們的基礎設施和數據轉移到云端;GDPR將使數據保護成為每個公司的首要任務。你知道這些，但也許會對這種夸大其詞的說法有點懷疑。

那么到底發(fā)生了什么實質性的變化?在制定架構和采購策略并在這些領域做出決策時，你需要注意什么?接下來我們會討論在分析領域發(fā)生的7個影響深遠的變化，并將它們一一呈現。

Hadoop始終是根基

是的，那些大數據項目的失敗率很高;并且Spark在某種程度上已經取代了Hadoop，越來越多的客戶開始獨立運行它，所以業(yè)界開始指責Hadoop…并且不再提到它的名字。所以你認為Hadoop一定已經過時了，對吧?

錯!現在每個人都在談論數據湖，很多時候，那只是Hadoop的代碼。而且，雖然許多公司正在云存儲中實現他們的數據湖，也經常使用Hadoop生態(tài)系統(tǒng)技術來分析這些數據。除此之外，當開始使用云存儲來模擬HDFS、Hadoop的文件系統(tǒng)時，你就會意識到云數據湖和Hadoop數據湖并沒有本質區(qū)別。

好消息是，今年Hadoop將會做它一直應該做的事情:低調地被很多企業(yè)接受，并將成為眾多數據工具之一，發(fā)揮其戰(zhàn)略作用。正是這些數據技術的結合，包括Hadoop、Spark、Business Intelligence (BI)和數據倉庫，使得當前的分析市場如此令人興奮。

再見!企業(yè)級商業(yè)智能棧

今年早些時候，作為一家企業(yè)級商業(yè)智能公司，MicroStrategy宣布向其前端競爭對手做出讓步，引入他們的產品。MicroStrategy相信可以通過利用后端OLAP平臺以及相關的數據處理來盈利。該公司似乎意識到了在數據可視化和儀表板方面的競爭是比較困難的，即使能夠取得成功，也會帶來收益遞減。

那么后端是否足以維持企業(yè)收入并持續(xù)增長?我們拭目以待。但有一點是肯定的，單一的企業(yè)級商業(yè)智能堆棧已經開始解體，新的挑戰(zhàn)即將開始。

數據分層

也許你熟悉數據分層的概念，比如數據存儲與其訪問頻率的相關性。“熱門”數據，即最常用的數據，有時訪問請求會被路由到非?？斓拇鎯Γ热绻虘B(tài)硬盤，甚至是CPU緩存中;而冷門數據通常存儲在更老的，但更便宜的旋轉硬盤驅動器之中。

隨著存儲層次的完善，我們將在今年看到其他層次結構被逐漸認可。例如，分析涉及從與特定團隊或業(yè)務單位相關的實驗數據集到對整個企業(yè)都有用的高度結構化，審核和共識驅動的數據。 中間是結構化數據集，可能由于大小或清潔程度而被視為略低于生產水平。

實驗數據集存儲在數據湖中最好;邏輯上，高度審查的數據集最好存儲在數據倉庫中。中級數據集可能比較適合放在Hadoop或云存儲中，但通常會使用IBM Big SQL，Microsoft PolyBase和Oracle Big Data SQL等SQL-on-Hadoop工具從關系型數據庫中進行查詢。

還有一種層次結構可能會根據數據是用于設計機器學習模型還是僅用于分析來對數據進行分層，其他的層次結構可能由數據源的可信度來定義。

層次結構之所以重要，是因為相應的工具和技術也存在分級，包括查詢端的商業(yè)智能和大數據分析工具，以及存儲庫端的事務型數據庫，NoSQL數據庫，數據倉庫和數據湖。雖然最終，層次結構可能會得到簡化，技術可能會趨于整合，但是現在有了這么多的技術選擇，我們就需要數據中的層次結構來規(guī)定我們在工具鏈部署中的最佳實踐。

可視化商品

MicroStrategy宣布與Tableau，Qlik和Power BI進行合作不僅僅是對競爭對手的讓步。事實上，這三種自助商業(yè)智能工具現在已經成為行業(yè)標準，進一步為其他想在可視化領域大顯身手的公司設置了障礙。

他們也對整個行業(yè)實現了商品化。在Tableau Public，Qlik Sense Cloud Basic和Power BI Desktop(以及Power BI云服務的免費層)之間，可以免費體驗入門級分析功能，隨著添加像plotly這樣的可視化工具，體驗D3生態(tài)系統(tǒng)和開源的地理空間/地圖平臺，你會發(fā)現你的分析能力從受時間限制變成了受金錢限制，你需要通過付費來獲得更好的產品功能。

如今，用戶已經將良好的數據處理能力看作理所當然，他們雖然對此印象深刻，但并不滿足于此，好的產品不會具有很明顯的競爭優(yōu)勢，但差的產品必然處于競爭劣勢。

數據治理

雖然在過去的一段時間里，數據治理技術并未受到應有的重視，但如今也開始獲得了一些尊重。歐盟的“通用數據保護條例”(GDPR)就是一個例子-而最終，缺乏足夠的治理是今年對有效治理工具需求的一個非常重要的痛點。

即使遵循法規(guī)是催化劑，但治理背后還有其他驅動因素。其中最大的一項是數據分類，它們使數據湖中的數據集更有條理，并且更易于發(fā)現。數據發(fā)現工具可以幫助您通過查看數據庫和數據湖，報告其數據內部和數據之間的關系和數據流。從另一個角度來講，這些工具使數據湖本身更具有可用性，對其投資更加有效。隨著公司對前幾年投資尋求更好的回報，數據分類和發(fā)現工具將越來越受歡迎，進一步推動了治理技術的發(fā)展。

云數據湖 =云數據鎖定

我們已經談到了基于云存儲的數據湖的發(fā)展趨勢。但事實是，這不是一個隨機出現的有趣的上云案例，這是主要云供應商的中心賣點和銷售策略。

在特定的云平臺上，你存儲的數據越多，你就會在這個平臺上針對這些數據做更多的工作，包括但不限于數據準備，分析，預測建模和模型訓練(在高端的gpu加速虛擬機上)。云之戰(zhàn)是數據存儲之戰(zhàn)，贏家可能會讓你深陷其中。

容器革命

大家都知道，基于Docker的容器技術在數據中心和軟件開發(fā)領域正在改變一切。這種變革影響巨大且不容小覷。

但是您是否知道數據和分析世界中也在發(fā)生著類似的變化?這很難說，因為盡管這種轉變不太明顯，但它是真實發(fā)生的：

MapR已經通過其PACC(持久應用客戶端容器)重新定位了融合數據平臺

云提供商利用容器技術更快地部署節(jié)點，并促進更多資源共享 -從而使臨時集群看起來更持久

Hadoop最近剛剛發(fā)布了3.0版本，它很快就會支持在Docker容器中運行YARN資源管理器，從而使Hadoop作業(yè)代碼的依賴項可以根據集群中每個節(jié)點上安裝的代碼而不同。

越來越清楚的是，每個軟件供應商，其產品都依賴于其他軟件的基礎版本，都逐漸意識到容器可以消除版本沖突問題 -為他們和他們的客戶。

下一步，做決定

對大趨勢進行識別和預測是非常有趣的。那些行業(yè)中發(fā)生的具體而突出的變化，以及供應商和客戶追求的策略，可以幫助您制定自己的發(fā)展計劃，他們?yōu)槟臎Q定提供了依據：你今年要做什么，你不會做什么，以及你合理期待的結果。對于像數據分析這樣的創(chuàng)新熱點，您需要不斷規(guī)劃您的方案并進行大筆投注，但您也需要采取一定的保障措施。我們希望并相信這七個趨勢分析可以幫助您做到這兩點。