國內(nèi)很多人對(duì)Hadoop失寵的言論都不屑一顧，認(rèn)為無非是常規(guī)的廠商運(yùn)作和技術(shù)炒作。開篇，我們有必要了解一下整個(gè)事件導(dǎo)火索的這篇Gartner報(bào)告——《2017年數(shù)據(jù)管理技術(shù)成熟度曲線》，這篇報(bào)告指出Hadoop整個(gè)堆棧的復(fù)雜性與可用性導(dǎo)致企業(yè)重新考慮是否將其納入基礎(chǔ)架構(gòu)規(guī)劃中，Hadoop可能在到達(dá)“生產(chǎn)成熟期”之前就會(huì)過時(shí)。到2018年，70%的Hadoop部署無法實(shí)現(xiàn)節(jié)約成本和收入增長的目標(biāo)。

很多Hadoop忠實(shí)使用者對(duì)這篇報(bào)告進(jìn)行了大量抨擊，一個(gè)比一個(gè)理由豐富，言辭激烈。但是，很多人都錯(cuò)誤得或者沒有完全理解這篇報(bào)告。

根據(jù)參與該篇報(bào)告討論的專家反饋，Gartner否定的只是Hadoop一體化平臺(tái)商業(yè)模式，而不是全盤否定Hadoop整個(gè)生態(tài)。Gartner就當(dāng)前現(xiàn)狀給出的結(jié)論是，越來越多的工具出現(xiàn)，企業(yè)將會(huì)有更多的選擇，因而看中結(jié)果而非綁定一個(gè)固定的平臺(tái)。Hadoop在大數(shù)據(jù)領(lǐng)域的地位可能會(huì)逐漸向邊緣移動(dòng)。

其二，實(shí)時(shí)性和SQL需求在一定程度上限制了Hadoop在線業(yè)務(wù)數(shù)據(jù)管理場(chǎng)景的發(fā)展。

最后，幾大Hadoop廠商對(duì)開源方案的干預(yù)性越來越強(qiáng)，使得開源項(xiàng)目在發(fā)展路徑上發(fā)生了變化。

根據(jù)Gartner與用戶的對(duì)話，很多公司正在尋求更有競(jìng)爭(zhēng)力和更方便的基于云的選項(xiàng)，傾向于選擇按需定價(jià)的數(shù)據(jù)處理方案。其實(shí)，很多國內(nèi)外廠商早已做出了相應(yīng)的變化，比如提供各種跨云供應(yīng)商的定制方案。亞馬遜、谷歌和微軟等云服務(wù)提供商都提供輕量級(jí)的技術(shù)來管理和分析多結(jié)構(gòu)化數(shù)據(jù)。

雖然我們認(rèn)為Hadoop的地位是穩(wěn)固的，但我們的使用習(xí)慣已經(jīng)暴露出Hadoop生態(tài)的衰落趨勢(shì)。國內(nèi)很多廠商已經(jīng)在尋找各種工具彌補(bǔ)Hadoop在機(jī)器學(xué)習(xí)方面的缺陷，替換Hadoop生態(tài)中表現(xiàn)不佳的組件，我們更傾向于根據(jù)業(yè)務(wù)需求選擇合適的組件，而不再單單使用Hadoop生態(tài)并強(qiáng)調(diào)其生態(tài)完整的重要性。當(dāng)被替換的組件越來越多，Hadoop生態(tài)這幾個(gè)字顯然不可能代表新的生態(tài)體系，這也是在弱化Hadoop一體化平臺(tái)商業(yè)模式。

Hadoop中的不少功能，比如并行數(shù)據(jù)處理和基于多結(jié)構(gòu)化數(shù)據(jù)的SQL，重要性和價(jià)值也在逐漸凸顯。由于云計(jì)算的大力推進(jìn)，在云中運(yùn)行完整的Hadoop堆棧成本較高，而其強(qiáng)大的簡(jiǎn)化替代品的可用性同樣表明，Hadoop一體化平臺(tái)商業(yè)模式即將在高峰期之前走下坡路。

任何一種技術(shù)的發(fā)展過程都會(huì)幾經(jīng)波瀾，對(duì)Hadoop而言同樣如此。Gartner報(bào)告造成的輿論效果對(duì)國內(nèi)廠商的沖擊并沒有我們想象中那么大。相比于國外廠商而言，國內(nèi)大數(shù)據(jù)環(huán)境的復(fù)雜性(數(shù)據(jù)量大，場(chǎng)景復(fù)雜)早已造就了更加多元的Hadoop生態(tài)，國內(nèi)用戶不僅將Hadoop用于批處理等簡(jiǎn)單場(chǎng)景，更多的是用于構(gòu)建數(shù)據(jù)倉庫、實(shí)時(shí)流處理，全文搜索，機(jī)器學(xué)習(xí)，拓?fù)鋱D分析等。

面對(duì)Hadoop中各式各樣的組件，各大廠商早已適配出屬于自己的最佳解決方案。因此，即便輿論恐慌，但國內(nèi)廠商基本都反應(yīng)平淡，并沒有因此打算更換大數(shù)據(jù)底層架構(gòu)。Hadoop核心組件的超高認(rèn)可度依然是無法被追趕的。