[[179381]]

原理篇

1. Hadoop2.X的各個模塊一句話簡介

1)Hadoop Common：為Hadoop其他模塊提供支持的公共工具包;

2)HDFS：Hadoop分布式文件系統(tǒng);

3)YARN：任務調度和集群資源管理框架;

4)MapReduce：用于處理大數據集的框架，可擴展和并行;

2. HDFS數據上傳原理

1) Client端發(fā)送一個添加文件到HDFS的請求給NameNode;

2) NameNode告訴Client端如何來分發(fā)數據塊以及分發(fā)到哪里;

3) Client端把數據分為塊(block)然后把這些塊分發(fā)到DataNode中;

4) DataNode在NameNode的指導下復制這些塊，保持冗余;

可以在講解的時候，拿只筆和紙畫下：

Tips:

a. NameNode之存儲文件的元數據，而不存儲具體的數據;

b. HDFS Federation： 解決HA單點故障問題，支持NameNode水平擴展，每個NameNode對應一個NameSpace;

3. MapReduce概述

1)map和reduce任務在NodeManager節(jié)點上各自有自己的JVM;

2)所有的Mapper完成后，實時的key/value對會經過一個shuffle和sort的階段，在這個階段中所有共同的key會被合并，發(fā)送到相同的Reducer中;

3)Mapper的個數根據輸入的格式確定，Reducer的個數根據job作業(yè)的配置決定;

4)Partitioner分區(qū)器決定key/value對應該被送往哪個Reducer中;

5)Combiner合并器可以合并Mapper的輸出，這樣可以提高性能;

4. map--》shuffle、sort--》reduce

map階段：

1) InputFormat確定輸入數據應該被分為多少個分片，并且為每個分片創(chuàng)建一個InputSplit實例;

2) 針對每個InputSplit實例MR框架使用一個map任務來進行處理;在InputSplit中的每個KV鍵值對被傳送到Mapper的map函數進行處理;

3) map函數產生新的序列化后的KV鍵值對到一個沒有排序的內存緩沖區(qū)中;

4) 當緩沖區(qū)裝滿或者map任務完成后，在該緩沖區(qū)的KV鍵值對就會被排序同時流入到磁盤中，形成spill文件，溢出文件;

5) 當有不止一個溢出文件產生后，這些文件會全部被排序，并且合并到一個文件中;

6) 文件中排序后的KV鍵值對等待被Reducer取走;

reduce階段：

主要包括三個小階段：

1) shuffle：或者稱為fetch階段(獲取階段)，在這個階段所有擁有相同鍵的記錄都被合并而且發(fā)送到同一個Reducer中;

2) sort： 和shuffle同時發(fā)生，在記錄被合并和發(fā)送的過程中，記錄會按照key進行排序;

3) reduce：針對每個鍵會進行reduce函數調用;

reduce數據流：

1) 當Mapper完成map任務后，Reducer開始獲取記錄，同時對他們進行排序并存入自己的JVM內存中的緩沖區(qū);

2) 當一個緩沖區(qū)數據裝滿，則會流入到磁盤;

3) 當所有的Mapper完成并且Reducer獲取到所有和他相關的輸入后，該Reducer的所有記錄會被合并和排序，包括還在緩沖區(qū)中的;

4) 合并、排序完成后調用reduce方法;輸出到HDFS或者根據作業(yè)配置到其他地方;

5. YARN相關

YARN包括的組件有：ResourceManager、NodeManager、ApplicationMaster，其中ResourceManager可以分為：Scheduler、ApplicationsManager

Hadoop1.X中的JobTracker被分為兩部分：ResourceManager和ApplicationMaster，前者提供集群資源給應用，后者為應用提供運行時環(huán)境;

YARN應用生命周期：

1) 客戶端提交一個應用請求到ResourceManager;

2) ResourceManager中的ApplicationsManager在集群中尋找一個可用的、負載較小的NodeManager;

3) 被找到的NodeManager創(chuàng)建一個ApplicationMaster實例;

4) ApplicationMaster向ResourceManager發(fā)送一個資源請求，ResourceManager回復一個Container的列表，包括這些Container是在哪些NodeManager上啟動的信息;

***pplicationMaster在ResourceManager的指導下在每個NodeManager上啟動一個Container，Container在ApplicationMaster的控制下執(zhí)行一個任務;

Tips：

a. 客戶端可以從ApplicationMaster中獲取任務信息;

b. 一個作業(yè)一個ApplicationMaster，一個Application可以有多個Container，一個NodeManager也可以有多個Container;

性能篇

性能涉及較多內容，這里參考前文中給出的鏈接，并按照作業(yè)運行、map階段、reduce階段的順序來組織性能相關的點。

1. 命令行參數：

在自定義集群的參數時，不修改集群的文件，而在命令行使用參數，這樣可以針對不同的參數設置方便，從而不必修改集群中的配置文件，一般有下面兩種方式：

1)hadoop jar ExampleJob-0.0.1.jar ExampleJob -conf my-conf.xml arg0 arg1

使用配置文件的方式，把需要修改的地方設置在配置文件里面，使用-conf指定配置文件(上面命令行來自：http://www.idryman.org/blog/2014 ... ing-best-practices/);

2)hadoop jar ExampleJob-0.0.1.jar ExampleJob -Dmapred.reduce.tasks=20 arg0

使用-D參數來這是相應的值也是可以的(上面的命令行來自：http://www.idryman.org/blog/2014 ... ing-best-practices/);

2. map階段

1) map的個數問題

map的個數是不能直接設置的，如果有很多mapper的執(zhí)行時間小于1分鐘，那么建議設置mapred.min.split.size的大小，提高分片的大小，這樣來減小Mapper的個數，可以減小Mapper初始化的時間;或者設置JVM重用(圖片來自：http://www.idryman.org/blog/2014 ... ing-best-practices/)

2) 設置mapred.child.java.opts參數

使用Ganglia、Nagios等監(jiān)控工具檢測slave節(jié)點的內存使用情況，設置合適的mapred.child.java.opts 參數，避免交換的發(fā)生;

3)map的輸出使用壓縮

當map的輸出較多時，可以考慮使用壓縮，這能提高很大的性能(圖片來自：http://www.idryman.org/blog/2014 ... ing-best-practices/)：

4)使用合適的Writable作為key(鍵)和value(值)類型

這一點在mapper和reducer的編程中都可以使用，如果全部數據都使用Text的話，那么數據的占有空間將會很大，導致效率低下。如果有必要可以自定義Writable類型。

5)重用已有變量

在mapper或者reducer的編程中重用已經定義的變量，可以避免重復的生成新對象，而導致垃圾回收頻繁的調用，如下代碼1和2(代碼參考：http://blog.cloudera.com/blog/20 ... reduce-performance/); 

public void map(...) {  
    ...  
    for (String word : words) {  
        output.collect(new Text(word), new IntWritable(1));  
    }  
}  

class MyMapper ... {  
    Text wordText = new Text();  
    IntWritable one = new IntWritable(1);  
    public void map(...) {  
        ...  
        for (String word : words) {  
            wordText.set(word);  
            output.collect(word, one);  
        }  
    }  
}  

6) 設置mapreduce.reduce.shuffle.parallelcopies參數

設置此參數，可以使 Reducer在一個Mapper完成后就開始獲取數據，并行化數據獲取;

7) 最小化mapper輸出：

a. 在Mapper端過濾，而不是在Reducer端過濾;

b. 使用更小的數據來存儲map輸出的key和value(參考第4)點);

c. 設置Mapper的輸出進行壓縮(參考第3)點);

3. reduce階段Reducer負載均衡：

1) Reducer的個數，根據實際集群的數量來設置Reducer的個數，使其負載均衡。比如集群有100個節(jié)點，那么Reducer的個數設置為101個則應該是不合理的，在***次任務分配時分配了100個作業(yè)，這100個作業(yè)是并行的，但是***一個作業(yè)并不是并行的。

2)Reducer中部分因為相同key的數據量大，導致個別Reducer運行耗時相比其他Reducer耗時長很多。

可以考慮：

a. 實現一個更好的hash函數繼承自Partitioner類;

b. 如果知道有大量相同的key的數據，可以寫一個預處理的作業(yè)把相同的key分到不同的輸出中，然后再使用一個MR作業(yè)來處理這個特殊的key的數據;

4. 設置輸入輸出如果有多個連續(xù)的MR作業(yè)，可以設置輸入輸出為序列文件，這樣可以達到更好的性能。

個人整理，如有錯誤，敬請指教。

分享，成長，快樂

腳踏實地，專注

【本文為51CTO專欄作者“王森豐”的原創(chuàng)稿件，轉載請注明出處】