大數(shù)據(jù)已經(jīng)過了炒作階段，但即使是現(xiàn)在，提到大數(shù)據(jù)很多人首先會(huì)想到hadoop，但最近多份分析報(bào)告和趨勢(shì)預(yù)測(cè)的文章所傳遞出的聲音，讓Hadoop再度成為了爭(zhēng)議的焦點(diǎn)。年初的調(diào)查，Hadoop被列為2018年大數(shù)據(jù)領(lǐng)域的“漸凍”趨勢(shì)之一，不少人將Hadoop稱作“倒下的大象”，比如Lucidworks首席執(zhí)行官Will Hayes。

這其中又以知名IT研究與顧問咨詢公司Gartner發(fā)布的《2017年數(shù)據(jù)管理技術(shù)成熟度曲線》最具威力，報(bào)告用極其顯眼的紅色標(biāo)識(shí)出Hadoop在到達(dá)“生產(chǎn)成熟期”之前即被淘汰。(注：《數(shù)據(jù)管理成熟度曲線》跟蹤數(shù)據(jù)庫(kù)及大數(shù)據(jù)服務(wù)的商業(yè)環(huán)境和技術(shù)發(fā)展，關(guān)注每項(xiàng)技術(shù)在應(yīng)用中的狀態(tài)以及其商業(yè)模式的變化)

除此之外，Gartner的調(diào)查還揭示了Hadoop使用量的下滑，Gartner還預(yù)測(cè)，到2018年,70%的Hadoop部署將無法實(shí)現(xiàn)節(jié)約成本和收入增長(zhǎng)的目標(biāo),主要原因是技能不足和技術(shù)整合困難。

事實(shí)上，這并不是Gartner首次唱衰Hadoop，其最早可追溯到2013年，也就是5年前，Gartner研究總監(jiān)Svetlana Sicular就曾發(fā)文稱Hadoop過時(shí)了。

Gartner為何如此不看好hadoop?到底是基于怎樣的原因?據(jù)參與過Gartner該Topic探討的相關(guān)人士向老魚透露，主要有以下幾個(gè)方面的原因：

Hadoop的一體化平臺(tái)商業(yè)模式已經(jīng)結(jié)束，原有的Hadoop廠商必須用實(shí)際解決問題的場(chǎng)景和案例來讓用戶買單。越來越多的工具出現(xiàn)，讓企業(yè)有了更多的選擇，因此，企業(yè)更看中結(jié)果而非綁定一個(gè)固定的平臺(tái)。Hadoop作為技術(shù)還是持續(xù)發(fā)展，但只能作為技術(shù)一環(huán)，不像之前是在大數(shù)據(jù)的核心。

實(shí)時(shí)性和SQL的需求也一定程度限制了Hadoop在線業(yè)務(wù)數(shù)據(jù)管理場(chǎng)景的發(fā)展。

隨著Hadoop幾大廠商對(duì)于開源項(xiàng)目的控制力的不斷增強(qiáng)，使得開源項(xiàng)目在發(fā)展路徑上出現(xiàn)了一定的分化，也使得hadoop主項(xiàng)目的發(fā)展遇到了一些阻礙。

在Hadoop生態(tài)系統(tǒng)中有三大發(fā)行商，分別是Cloudera，Hortonworks和MapR，Cloudera是其中最突出的，這不僅是因?yàn)槠湓?014年從英特爾獲得了7.4億美元的投資，自從去年上市以來，雖然Cloudera的股票表現(xiàn)并不盡如人意，但很少有人會(huì)否認(rèn)它是市場(chǎng)的領(lǐng)導(dǎo)者。Mike Olson是Cloudera四位創(chuàng)始人之一。

近日，Cloudera創(chuàng)始人Mike Olson在國(guó)外接受采訪時(shí)，對(duì)Gartne報(bào)告中關(guān)于Hadoop的觀點(diǎn)進(jìn)行了駁斥，并談到了他的看法。以下為Mike Olson受訪內(nèi)容節(jié)選：

Mike Olson表示，Gartner對(duì)Hadoop的結(jié)論我并不認(rèn)同，有很多客戶在我們的平臺(tái)上執(zhí)行關(guān)鍵業(yè)務(wù)，我不清楚Gartner到底跟誰(shuí)討論得出的這一結(jié)論。

我想說，我們不僅是看好，更為重要的是，我們?cè)谝恍┓矫嬉呀?jīng)取得了很大的成功。例如：通如過使用Impala等工具進(jìn)行高性能分析查詢，企業(yè)可以在擴(kuò)展平臺(tái)上為其傳統(tǒng)關(guān)系工作負(fù)載的某些部分提供替代方案。

我們已經(jīng)公開表示，我們已有超過1000名客戶，全球8000個(gè)多個(gè)客戶使用該平臺(tái)生產(chǎn)進(jìn)行一系列嚴(yán)苛工作負(fù)載。

如果你對(duì)Gartner技術(shù)成熟度曲線有所了解，比如預(yù)期通常是高漲的，中間會(huì)出現(xiàn)低谷，最后達(dá)到生產(chǎn)力的高峰期。或許，Gartner目前的下滑預(yù)測(cè)無非是證明該技術(shù)正處于低谷時(shí)期，并且整個(gè)行業(yè)的生產(chǎn)力水平也是如此，因此，我們不得不接受這一結(jié)果。

因此，我不得不懷疑，Gartner是否看到的是10年前的Hadoop，而非現(xiàn)在。早期的Hadoop只有MapReduce和HDFS，確實(shí)非常有限，但它并不是Hadoop的全部，現(xiàn)在有26個(gè)不同的開源項(xiàng)目，包括Spark，其中有18種是Cloudera創(chuàng)建的，這是一個(gè)比過去更廣闊、更有能力的生態(tài)系統(tǒng)。