[[208840]]

關(guān)于 Hadoop 所謂的消亡，以及它跌落神壇的報(bào)道數(shù)不勝數(shù)。有很多人放馬后炮說，Hadoop 從一開始就沒有意義。還有人說“Hadoop 對(duì)于小型，臨時(shí)的工作來說很慢”、“ Hadoop 很難”、“ Hadoop 已經(jīng)死了，Spark 才是勝者”等等。那么事實(shí)真的如此嗎?

如今圍繞著 Hadoop 缺陷的爭(zhēng)論和當(dāng)初對(duì)其的大肆追捧一樣激烈。

在這些喋喋不休的爭(zhēng)論中，你可能已經(jīng)得出結(jié)論，Hadoop 已經(jīng)死了。個(gè)人認(rèn)為這個(gè)想法雖然可以理解，但卻是錯(cuò)誤的。 

[[208841]] 

TCP/IP

你聽過 TCP/IP 嗎?如果沒有，相信我這是很強(qiáng)大的技術(shù)。實(shí)際上，你很喜歡TCP/IP ，你只是沒有意識(shí)到。TCP/IP 不僅能驅(qū)動(dòng)互聯(lián)網(wǎng)，還能驅(qū)動(dòng)電子郵件，甚至能驅(qū)動(dòng)網(wǎng)絡(luò)。當(dāng)你使用各種應(yīng)用程序，使用各種流媒體，以及打車、上網(wǎng)等等，這都受益于 TCP/IP，沒有它你可能無法生活。

雖然你喜歡 TCP/IP，但是你對(duì)配置它不感興趣。你不用輸入 ifconfig 這樣的命令，從而查看你的 WiFi 適配器是如何聯(lián)網(wǎng)的。甚至你不用關(guān)心它附加的網(wǎng)關(guān)，以及它使用何種 DNS 服務(wù)器。

在 20 世紀(jì) 90 年代，TC/IP 曾被當(dāng)做產(chǎn)品銷售，結(jié)果不溫不火。最終，TCP/IP 已被建立在操作系統(tǒng)中，如今到處都有它，TCP/IP 成為了普遍的標(biāo)準(zhǔn)。

Hadoop是基礎(chǔ)設(shè)施

其實(shí)，Hadoop 就是大數(shù)據(jù)世界中的 TCP/IP。它是基礎(chǔ)設(shè)施，同時(shí)也帶來巨大的好處。但是，當(dāng)基礎(chǔ)設(shè)施暴露出來時(shí)，帶來的好處就大大削弱了。Hadoop 像Web 瀏覽器一樣被推廣，但是它更像 TCP/IP。了解這一點(diǎn)時(shí)就會(huì)發(fā)現(xiàn)，推廣 Hadoop 本身就不是個(gè)好主意。

如果你直接使用 Hadoop，那么你錯(cuò)了。如果你在命令行中輸入“hadoop”和一些參數(shù)，那么你就在倒退。你是想自行配置和運(yùn)行所有內(nèi)容，還是只想使用數(shù)據(jù)，讓分析軟件在后端處理 Hadoop?

大多數(shù)人會(huì)選擇后者，但大數(shù)據(jù)行業(yè)往往把客戶導(dǎo)向前者。之前，行業(yè)是這么看待Hadoop…如今也將這么看待 Spark 和眾多的機(jī)器學(xué)習(xí)工具。這是技術(shù)專家討好商業(yè)用戶的例子，這永遠(yuǎn)不會(huì)結(jié)束。

開發(fā)工具不等同于商業(yè)工具

業(yè)界并不是完全忽視這個(gè)問題，一些廠商已經(jīng)在嘗試改進(jìn) Hadoop 的不足之處。目前已出現(xiàn) Hue、 Jupyter、Zeppelin 和 Ambari 等的開源項(xiàng)目，旨在讓 Hadoop 從業(yè)人員擺脫命令行。

但問題就在此。我們需要為商業(yè)用戶，而不是為Hadoop 從業(yè)者提供工具。Hue 非常適合運(yùn)行和跟進(jìn) Hadoop 任務(wù)，以及使用 SQL 或其他語言編寫系統(tǒng)查詢。相比Spark，Jupyter 和 Zeppelin 非常適合編寫、運(yùn)行代碼，以及使用數(shù)據(jù)科學(xué)的 R 和Python 等語言，甚至生成代碼的數(shù)據(jù)可視化。問題是使用這些工具不等同于脫離命令行;它們只是讓人們更有效地做這些事情。讓人們完全脫離命令行是一回事，但讓人們更簡(jiǎn)便的做同樣的事情，并沒有什么本質(zhì)的改變。

BI 工具供應(yīng)商也嘗試改善這一現(xiàn)狀。但他們通過簡(jiǎn)化 Hadoop，并將其當(dāng)作 SQL 數(shù)據(jù)庫來處理。給 Hadoop 加抽象層是好的，但是在它們之間加 SQL 層并不是。想做大數(shù)據(jù)分析嗎?選擇一個(gè)使用 Hadoop 的工具，并充分利用它。雖然你不用直接使用 Hadoop，但你的分析工具應(yīng)該與它密切相關(guān)，而不是敬而遠(yuǎn)之。

如果你還沒有找到答案，這里有一個(gè)平衡的方法。從事大數(shù)據(jù)分析，你不用直接用到引擎——本文指 Hadoop，但你仍然需要它的全部效能。為了實(shí)現(xiàn)這一目標(biāo)，你需要一個(gè)技術(shù)的分析工具來駕馭該技術(shù)，而不會(huì)否定或忽略它。在技術(shù)工具和 BI 用戶之間有重要的中間地帶。找到它，你將走上正軌。

Hadoop的前景

Hadoop 沒有死，這毋庸置疑。Hadoop 是非常強(qiáng)大的關(guān)鍵技術(shù)。但它也是基礎(chǔ)設(shè)施，它不會(huì)成為大數(shù)據(jù)的典型代表。Hadoop (或 Spark)應(yīng)該嵌入在其他技術(shù)和產(chǎn)品中。這樣一來，這些技術(shù)就可以利用 Hadoop (或 Spark)的強(qiáng)大功能，而不暴露其復(fù)雜性。

Hadoop 正如 TCP/IP 一樣，問題是人們?nèi)绾问褂盟?。如果你想要從事大?shù)據(jù)分析，那么請(qǐng)使用利用 Hadoop 功能的大數(shù)據(jù)分析軟件。如果你這樣做，Hadoop 將會(huì)復(fù)活，這不是靠魔法，而是靠常識(shí)。