文章目錄:

一、理論知識

1.Hadoop的整體印象

2.Hadoop的優(yōu)勢

3.Hadoop可以做什么

4.Hadoop結(jié)構(gòu)

4.1 Hadoop存儲--HDFS

4.2 Hadoop計算--MapReduce

4.3 Hadoop資源管理--YARN

5.Hadoop生態(tài)

二、Hadoop實際操作

本文內(nèi)容諸多借鑒，在借鑒處會表示出處，可在出處查看詳情。

一、理論知識

• 參考Hadoop是什么，能干什么，怎么使用

1.Hadoop的整體印象

一句話概括：Hadoop就是存儲海量數(shù)據(jù)和分析海量數(shù)據(jù)的工具。

Hadoop是由java語言編寫的，在分布式服務(wù)器集群上存儲海量數(shù)據(jù)并運行分布式分析應(yīng)用的開源框架，其核心部件是HDFS與MapReduce。

HDFS是一個分布式文件系統(tǒng)：引入存放文件元數(shù)據(jù)信息的服務(wù)器Namenode和實際存放數(shù)據(jù)的服務(wù)器Datanode，對數(shù)據(jù)進(jìn)行分布式儲存和讀取。

MapReduce是一個計算框架：MapReduce的核心思想是把計算任務(wù)分配給集群內(nèi)的服務(wù)器里執(zhí)行。通過對計算任務(wù)的拆分(Map計算/Reduce計算)再根據(jù)任務(wù)調(diào)度器(JobTracker)對任務(wù)進(jìn)行分布式計算。

2.Hadoop的優(yōu)勢

• 高可靠性 ： Hadoop 按位存儲和處理數(shù)據(jù)的能力值得人們信賴。
• 高擴展性 ： Hadoop 是在可用的計算機集簇間分配數(shù)據(jù)并完成計算任務(wù)的，這些集簇可以方便地擴展到數(shù)以干計的節(jié)點中。
• 高效性 ： Hadoop能夠在節(jié)點之間動態(tài)地移動數(shù)據(jù)，并保證各個節(jié)點的動態(tài)平衡，因此處理速度非?？?。
• 高容錯性 ： Hadoop能夠自動保存數(shù)據(jù)的多個副本，并且能夠自動將失敗的任務(wù)重新分。
• 低成本 ： 與一體機、商用數(shù)據(jù)倉庫以及 QlikView、 Yonghong Z- Suites 等數(shù)據(jù)集市相比，Hadoop 是開源的，項目的軟件成本因此會大大降低。Hadoop 帶有用 Java 語言編寫的框架，因此運行在 linux 生產(chǎn)平臺上是非常理想的， Hadoop 上的應(yīng)用程序也可以使用其他語言編寫，比如 C++。

3.Hadoop可以做什么

• 可以大數(shù)據(jù)存儲：分布式存儲
• 日志處理：擅長日志分析
• ETL:數(shù)據(jù)抽取到oracle、mysql、DB2、mongdb及主流數(shù)據(jù)庫
• 機器學(xué)習(xí): 比如Apache Mahout項目
• 搜索引擎:Hadoop + lucene實現(xiàn)
• 數(shù)據(jù)挖掘：目前比較流行的廣告推薦，個性化廣告推薦

Hadoop是專為離線和大規(guī)模數(shù)據(jù)分析而設(shè)計的，并不適合那種對幾個記錄隨機讀寫的在線事務(wù)處理模式。

實際應(yīng)用：

Flume+Logstash+Kafka+Spark Streaming進(jìn)行實時日志處理分析 

 

酷狗音樂的大數(shù)據(jù)平臺 

4.Hadoop結(jié)構(gòu)

• 參考Hadoop 系列(一)基本概念

4.1 Hadoop存儲–HDFS

Hadoop 的存儲系統(tǒng)是 HDFS(Hadoop Distributed File System)分布式文件系統(tǒng)，對外部客戶端而言，HDFS 就像一個傳統(tǒng)的分級文件系統(tǒng)，可以進(jìn)行創(chuàng)建、刪除、移動或重命名文件或文件夾等操作，與 Linux 文件系統(tǒng)類似。

Hadoop HDFS 的架構(gòu)是基于一組特定的節(jié)點構(gòu)建的(見圖s)，這些節(jié)名稱節(jié)點(NameNode，僅一個)，它在 HDFS 內(nèi)部提供元數(shù)據(jù)服務(wù);第二名稱節(jié)點(Secondary NameNode)，名稱節(jié)點的幫助節(jié)點，主要是為了整合元數(shù)據(jù)操作(注意不是名稱節(jié)點的備份);數(shù)據(jù)節(jié)點(DataNode)，它為 HDFS 提供存儲塊。由于僅有一個 NameNode，因此這是 HDFS 的一個缺點(單點失敗，在 Hadoop2.x 后有較大改善)。存儲在 HDFS 中的文件被分成塊，然后這些塊被復(fù)制到多個數(shù)據(jù)節(jié)點中(DataNode)，這與傳統(tǒng)的 RAID 架構(gòu)大不相同。塊的大小(通常為 128M)和復(fù)制的塊數(shù)量在創(chuàng)建文件時由客戶機決定。名稱節(jié)點可以控制所有文件操作。HDFS 內(nèi)部的所有通信都基于標(biāo)準(zhǔn)的 TCP/IP 協(xié)議。

(1)名稱節(jié)點(NameNode)

它是一個通常在HDFS架構(gòu)中單獨機器上運行的組件，負(fù)責(zé)管理文件系統(tǒng)名稱空間和控制外部客戶機的訪問。NameNode決定是否將文件映射到DataNode上的復(fù)制塊上。對于最常見的3個復(fù)制塊，第一個復(fù)制塊存儲在同一機架的不同節(jié)點上，最后一個復(fù)制塊存儲在不同機架的某個節(jié)點上。

(2)數(shù)據(jù)節(jié)點(DataNode)

數(shù)據(jù)節(jié)點也是一個通常在HDFS架構(gòu)中的單獨機器上運行的組件。Hadoop集群包含一個NameNode和大量DataNode。數(shù)據(jù)節(jié)點通常以機架的形式組織，機架通過一個交換機將所有系統(tǒng)連接起來。

數(shù)據(jù)節(jié)點響應(yīng)來自HDFS客戶機的讀寫請求。它們還響應(yīng)來自NameNode的創(chuàng)建、刪除和復(fù)制塊的命令。名稱節(jié)點依賴來自每個數(shù)據(jù)節(jié)點的定期心跳(heartbeat)消息。每條消息都包含一個塊報告，名稱節(jié)點可以根據(jù)這個報告驗證塊映射和其他文件系統(tǒng)元數(shù)據(jù)。如果數(shù)據(jù)節(jié)點不能發(fā)送心跳消息，名稱節(jié)點將采取修復(fù)措施，重新復(fù)制在該節(jié)點上丟失的塊。

(3)第二名稱節(jié)點(Secondary NameNode)

第二名稱節(jié)點的作用在于為HDFS中的名稱節(jié)點提供一個Checkpoint，它只是名稱節(jié)點的一個助手節(jié)點，這也是它在社區(qū)內(nèi)被認(rèn)為是Checkpoint Node的原因。

如下圖所示，fsimage 是 NameNode 啟動時對整個文件系統(tǒng)的快照;edits 是在 NameNode 啟動后對文件系統(tǒng)的改動序列。

只有在NameNode重啟時，edits才會合并到fsimage文件中，從而得到一個文件系統(tǒng)的最新快照。但是在生產(chǎn)環(huán)境集群中的NameNode是很少重啟的，這意味著當(dāng)NameNode運行很長時間后，edits文件會變得很大。而當(dāng)NameNode宕機時，edits就會丟失很多改動。 

如圖 1-4 所示，Secondary NameNode 會定時到 NameNode 去獲取名稱節(jié)點的 edits，并及時更新到自己 fsimage 上。這樣，如果 NameNode 宕機，我們也可以使用 Secondary-NameNode 的信息來恢復(fù) NameNode。并且，如果 Secondary NameNode 新的 fsimage 文件達(dá)到一定閾值，它就會將其拷貝回名稱節(jié)點上，這樣 NameNode 在下次重啟時會使用這個新的 fsimage 文件，從而減少重啟的時間。 

舉個數(shù)據(jù)上傳的例子來深入理解下HDFS內(nèi)部是怎么做的。 

文件在客戶端時會被分塊，這里可以看到文件被分為 5 個塊，分別是：A、B、C、D、E。同時為了負(fù)載均衡，所以每個節(jié)點有 3 個塊。下面來看看具體步驟：

1. 客戶端將要上傳的文件按 128M 的大小分塊。
2. 客戶端向名稱節(jié)點發(fā)送寫數(shù)據(jù)請求。
3. 名稱節(jié)點記錄各個 DataNode 信息，并返回可用的 DataNode 列表。
4. 客戶端直接向 DataNode 發(fā)送分割后的文件塊，發(fā)送過程以流式寫入。
5. 寫入完成后，DataNode 向 NameNode 發(fā)送消息，更新元數(shù)據(jù)。

這里需要注意：

1. 寫 1T 文件，需要 3T 的存儲，3T 的網(wǎng)絡(luò)流量。
2. 在執(zhí)行讀或?qū)懙倪^程中，NameNode 和 DataNode 通過 HeartBeat 進(jìn)行保存通信，確定 DataNode 活著。如果發(fā)現(xiàn) DataNode 死掉了，就將死掉的 DataNode 上的數(shù)據(jù)，放到其他節(jié)點去，讀取時，讀其他節(jié)點。
3. 宕掉一個節(jié)點沒關(guān)系，還有其他節(jié)點可以備份;甚至，宕掉某一個機架也沒關(guān)系;其他機架上也有備份。

4.2 Hadoop計算–MapReduce

MapReduce用于大規(guī)模數(shù)據(jù)集(大于1TB)的并行運算。概念**“Map(映射)”和“Reduce(歸納)”**以及它們的主要思想，都是從函數(shù)式編程語言借來的，還有從矢量編程語言借來的特性。

當(dāng)前的軟件實現(xiàn)是指定一個 Map(映射)函數(shù)：用來把一組鍵值對映射成一組新的鍵值對。指定并發(fā)的 Reduce(歸納)函數(shù)，用來保證所有映射的鍵值對中的每一個共享相同的鍵組，如下圖所示。 

下面將以 Hadoop 的“Hello World”例程—單詞計數(shù)來分析MapReduce的邏輯，如下圖 所示。一般的 MapReduce 程序會經(jīng)過以下幾個過程：輸入(Input)、輸入分片(Splitting)、Map階段、Shuffle階段、Reduce階段、輸出(Final result)。 

1.輸入就不用說了，數(shù)據(jù)一般放在 HDFS 上面就可以了，而且文件是被分塊的。關(guān)于文件塊和文件分片的關(guān)系，在輸入分片中說明。

2.輸入分片：在進(jìn)行 Map 階段之前，MapReduce 框架會根據(jù)輸入文件計算輸入分片(split)，每個輸入分片會對應(yīng)一個 Map 任務(wù)，輸入分片往往和 HDFS 的塊關(guān)系很密切。例如，HDFS 的塊的大小是 128M，如果我們輸入兩個文件，大小分別是 27M、129M，那么 27M 的文件會作為一個輸入分片(不足 128M 會被當(dāng)作一個分片)，而 129MB 則是兩個輸入分片(129-128=1，不足 128M，所以 1M 也會被當(dāng)作一個輸入分片)，所以，一般來說，一個文件塊會對應(yīng)一個分片。如圖 1-7 所示，Splitting 對應(yīng)下面的三個數(shù)據(jù)應(yīng)該理解為三個分片。

3.Map 階段：這個階段的處理邏輯就是編寫好的 Map 函數(shù)，因為一個分片對應(yīng)一個 Map 任務(wù)，并且是對應(yīng)一個文件塊，所以這里其實是數(shù)據(jù)本地化的操作，也就是所謂的移動計算而不是移動數(shù)據(jù)。如圖 1-7 所示，這里的操作其實就是把每句話進(jìn)行分割，然后得到每個單詞，再對每個單詞進(jìn)行映射，得到單詞和1的鍵值對。

4.Shuffle 階段：這是“奇跡”發(fā)生的地方，MapReduce 的核心其實就是 Shuffle。那么 Shuffle 的原理呢?Shuffle 就是將 Map 的輸出進(jìn)行整合，然后作為 Reduce 的輸入發(fā)送給 Reduce。簡單理解就是把所有 Map 的輸出按照鍵進(jìn)行排序，并且把相對鍵的鍵值對整合到同一個組中。如上圖所示，Bear、Car、Deer、River 是排序的，并且 Bear 這個鍵有兩個鍵值對。

5.Reduce 階段：與 Map 類似，這里也是用戶編寫程序的地方，可以針對分組后的鍵值對進(jìn)行處理。如上圖所示，針對同一個鍵 Bear 的所有值進(jìn)行了一個加法操作，得到 這樣的鍵值對。

6.輸出：Reduce 的輸出直接寫入 HDFS 上，同樣這個輸出文件也是分塊的。

用一張圖表示上述的運行流程：MapReduce 的本質(zhì)就是把一組鍵值對 經(jīng)過 Map 階段映射成新的鍵值對 ;接著經(jīng)過 Shuffle/Sort 階段進(jìn)行排序和“洗牌”，把鍵值對排序，同時把相同的鍵的值整合;最后經(jīng)過 Reduce 階段，把整合后的鍵值對組進(jìn)行邏輯處理，輸出到新的鍵值對 。這樣的一個過程，其實就是 MapReduce 的本質(zhì)。 

Hadoop MapReduce 可以根據(jù)其使用的資源管理框架不同，而分為 MR v1 和 YARN/MR v2 版本。

在 MR v1 版本中，資源管理主要是 Jobtracker 和 TaskTracker。Jobtracker 主要負(fù)責(zé)：作業(yè)控制(作業(yè)分解和狀態(tài)監(jiān)控)，主要是 MR 任務(wù)以及資源管理;而 TaskTracker 主要是調(diào)度 Job 的每一個子任務(wù) task;并且接收 JobTracker 的命令。

在 YARN/MR v2 版本中，YARN 把 JobTracker 的工作分為兩個部分：

ResourceManager 資源管理器全局管理所有應(yīng)用程序計算資源的分配。

ApplicationMaster 負(fù)責(zé)相應(yīng)的調(diào)度和協(xié)調(diào)。

NodeManager 是每一臺機器框架的代理，是執(zhí)行應(yīng)用程序的容器，監(jiān)控應(yīng)用程序的資源(CPU、內(nèi)存、硬盤、網(wǎng)絡(luò))使用情況，并且向調(diào)度器匯報。 

4.3 Hadoop資源管理–YARN

當(dāng) MapReduce 發(fā)展到 2.x 時就不使用 JobTracker 來作為自己的資源管理框架，而選擇使用 YARN。這里需要說明的是，如果使用 JobTracker 來作為 Hadoop 集群的資源管理框架的話，那么除了 MapReduce 任務(wù)以外，不能夠運行其他任務(wù)。也就是說，如果我們集群的 MapReduce 任務(wù)并沒有那么飽滿的話，集群資源等于是白白浪費的。所以提出了另外的一個資源管理架構(gòu) YARN(Yet Another Resource Manager)。這里需要注意，YARN 不是 JobTracker 的簡單升級，而是“大換血”。同時 Hadoop 2.X 也包含了此架構(gòu)。Apache Hadoop 2.X 項目包含以下模塊。

• Hadoop Common：為 Hadoop 其他模塊提供支持的基礎(chǔ)模塊。
• HDFS：Hadoop：分布式文件系統(tǒng)。
• YARN：任務(wù)分配和集群資源管理框架。
• MapReduce：并行和可擴展的用于處理大數(shù)據(jù)的模式。

YARN 資源管理框架包括 ResourceManager(資源管理器)、ApplicationMaster、NodeManager(節(jié)點管理器)。各個組件描述如下。 

ResourceManager 是一個全局的資源管理器，負(fù)責(zé)整個系統(tǒng)的資源管理和分配。它主要由兩個組件構(gòu)成：調(diào)度器(Scheduler)和應(yīng)用程序管理器(ApplicationManager，AM)。

Scheduler 負(fù)責(zé)分配最少但滿足 Application 運行所需的資源量給 Application。Scheduler 只是基于資源的使用情況進(jìn)行調(diào)度，并不負(fù)責(zé)監(jiān)視/跟蹤 Application 的狀態(tài)，當(dāng)然也不會處理失敗的 Task。

ApplicationManager 負(fù)責(zé)處理客戶端提交的 Job 以及協(xié)商第一個 Container 以供 ApplicationMaster 運行，并且在 ApplicationMaster 失敗的時候會重新啟動 ApplicationMaster(YARN 中使用 Resource Container 概念來管理集群的資源，Resource Container 是資源的抽象，每個 Container 包括一定的內(nèi)存、IO、網(wǎng)絡(luò)等資源)。

ApplicatonMaster 是一個框架特殊的庫，每個 Application 有一個 ApplicationMaster，主要管理和監(jiān)控部署在 YARN 集群上的各種應(yīng)用。

NodeManager主要負(fù)責(zé)啟動 ResourceManager 分配給 ApplicationMaster 的 Container，并且會監(jiān)視 Container 的運行情況。在啟動 Container 的時候，NodeManager 會設(shè)置一些必要的環(huán)境變量以及相關(guān)文件;當(dāng)所有準(zhǔn)備工作做好后，才會啟動該 Container。啟動后，NodeManager 會周期性地監(jiān)視該 Container 運行占用的資源情況，若是超過了該 Container 所聲明的資源量，則會 kill 掉該 Container 所代表的進(jìn)程。

如圖 1-11 所示，該集群上有兩個任務(wù)(對應(yīng) Node2、Node6 上面的 AM)，并且 Node2 上面的任務(wù)運行有 4 個 Container 來執(zhí)行任務(wù);而 Node6 上面的任務(wù)則有 2 個 Container 來執(zhí)行任務(wù)。 

5.Hadoop生態(tài)

Hadoop 的生態(tài)圈其實就是一群動物在狂歡。我們來看看一些主要的框架。 

Hbase

HBase(Hadoop Database)是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng)，利用 HBase 技術(shù)可在廉價 PC Server 上搭建起大規(guī)模結(jié)構(gòu)化存儲集群。

Hive

Hive 是建立在 Hadoop 上的數(shù)據(jù)倉庫基礎(chǔ)構(gòu)架。它提供了一系列的工具，可以用來進(jìn)行數(shù)據(jù)提取轉(zhuǎn)化加載(ETL)，這是一種可以存儲、查詢和分析存儲在 Hadoop 中的大規(guī)模數(shù)據(jù)的機制。

Pig

Pig 是一個基于 Hadoop 的大規(guī)模數(shù)據(jù)分析平臺，它提供的 SQL-LIKE 語言叫作 Pig Latin。該語言的編譯器會把類 SQL 的數(shù)據(jù)分析請求轉(zhuǎn)換為一系列經(jīng)過優(yōu)化處理的 Map-Reduce 運算。

Sqoop

Sqoop 是一款開源的工具，主要用于在 Hadoop(Hive)與傳統(tǒng)的數(shù)據(jù)庫(MySQL、post-gresql等)間進(jìn)行數(shù)據(jù)的傳遞，可以將一個關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)導(dǎo)入 Hadoop 的 HDFS 中，也可以將 HDFS 的數(shù)據(jù)導(dǎo)入關(guān)系型數(shù)據(jù)庫中，如下圖所示。 

Flume

Flume 是 Cloudera 提供的一個高可用、高可靠、分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume 支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)。同時，F(xiàn)lume 提供對數(shù)據(jù)進(jìn)行簡單處理并寫到各種數(shù)據(jù)接受方(可定制)的能力，如下圖。 

Oozie

Oozie 是基于 Hadoop 的調(diào)度器，以 XML 的形式寫調(diào)度流程，可以調(diào)度 Mr、Pig、Hive、shell、jar 任務(wù)等。

主要的功能如下。

• Workflow：順序執(zhí)行流程節(jié)點，支持 fork(分支多個節(jié)點)、join(將多個節(jié)點合并為一個)。
• Coordinator：定時觸發(fā) Workflow。
• Bundle Job：綁定多個 Coordinator。

Chukwa

Chukwa 是一個開源的、用于監(jiān)控大型分布式系統(tǒng)的數(shù)據(jù)收集系統(tǒng)。它構(gòu)建在 Hadoop 的 HDFS 和 MapReduce 框架上，繼承了 Hadoop 的可伸縮性和魯棒性。Chukwa 還包含了一個強大和靈活的工具集，可用于展示、監(jiān)控和分析已收集的數(shù)據(jù)。

ZooKeeper

ZooKeeper 是一個開放源碼的分布式應(yīng)用程序協(xié)調(diào)服務(wù)，是 Google 的 Chubby 一個開源的實現(xiàn)，是 Hadoop 和 Hbase 的重要組件，如圖 1-15 所示。它是一個為分布式應(yīng)用提供一致性服務(wù)的軟件，提供的功能包括：配置維護(hù)、域名服務(wù)、分布式同步、組服務(wù)等。