（1） Hadoop 1.0

第一代Hadoop，由分布式存儲(chǔ)系統(tǒng)HDFS和分布式計(jì)算框架MapReduce組成，其中，HDFS由一個(gè)NameNode和多個(gè)DataNode組成，MapReduce由一個(gè)JobTracker和多個(gè)TaskTracker組成，對應(yīng)Hadoop版本為Hadoop 1.x和0.21.X，0.22.x。

（2） Hadoop 2.0

第二代Hadoop，為克服Hadoop 1.0中HDFS和MapReduce存在的各種問題而提出的。針對Hadoop 1.0中的單NameNode制約HDFS的擴(kuò)展性問題，提出了HDFS Federation，它讓多個(gè)NameNode分管不同的目錄進(jìn)而實(shí)現(xiàn)訪問隔離和橫向擴(kuò)展；針對Hadoop 1.0中的MapReduce在擴(kuò)展性和多框架支持方面的不足，提出了全新的資源管理框架YARN(Yet Another Resource Negotiator)，它將JobTracker中的資源管理和作業(yè)控制功能分開，分別由組件ResourceManager和ApplicationMaster實(shí)現(xiàn)，其中，ResourceManager負(fù)責(zé)所有應(yīng)用程序的資源分配，而ApplicationMaster僅負(fù)責(zé)管理一個(gè)應(yīng)用程序。對應(yīng)Hadoop版本為Hadoop 0.23.x和2.x。

（3） MapReduce 1.0或者M(jìn)Rv1（MapReduce version 1）

第一代MapReduce計(jì)算框架，它由兩部分組成：編程模型（programming model）和運(yùn)行時(shí)環(huán)境（runtime environment）。它的基本編程模型是將問題抽象成Map和Reduce兩個(gè)階段，其中Map階段將輸入數(shù)據(jù)解析成key/value，迭代調(diào)用map()函數(shù)處理后，再以key/value的形式輸出到本地目錄，而Reduce階段則將key相同的value進(jìn)行規(guī)約處理，并將最終結(jié)果寫到HDFS上。它的運(yùn)行時(shí)環(huán)境由兩類服務(wù)組成：JobTracker和TaskTracker，其中，JobTracker負(fù)責(zé)資源管理和所有作業(yè)的控制，而TaskTracker負(fù)責(zé)接收來自JobTracker的命令并執(zhí)行它。

（4）MRv2（MapReduce version 2）

MapReduce 2.0或者M(jìn)Rv2具有與MRv1相同的編程模型，唯一不同的是運(yùn)行時(shí)環(huán)境。MRv2是在MRv1基礎(chǔ)上經(jīng)加工之后，運(yùn)行于資源管理框架YARN之上的MRv1，它不再由JobTracker和TaskTracker組成，而是變?yōu)橐粋€(gè)作業(yè)控制進(jìn)程ApplicationMaster，且ApplicationMaster僅負(fù)責(zé)一個(gè)作業(yè)的管理，至于資源的管理，則由YARN完成。

簡而言之，MRv1是一個(gè)獨(dú)立的離線計(jì)算框架，而MRv2則是運(yùn)行于YARN之上的MRv1。

（5） MapReduce 2.0或者YARN或者NextGen MapReduce

Hadoop 2.0中的資源管理框架，它是一個(gè)框架管理器，為各種框架進(jìn)行資源分配和提供運(yùn)行時(shí)環(huán)境。而MRv2則是運(yùn)行在YARN之上的第一個(gè)計(jì)算框架，其他計(jì)算框架，比如Spark、Storm等，都正在往YARN上移植。YARN類似于幾年前的資源管理系統(tǒng)mesos和更早的Torque。

（6） HDFS Federation

Hadoop 2.0中對HDFS進(jìn)行了改進(jìn)，使NameNode可以橫向擴(kuò)展成多個(gè)，其中，每個(gè)NameNode分管一部分目錄，這不僅增強(qiáng)了HDFS的擴(kuò)展性，也使HDFS具備了隔離性。

【參考資料】

Cloudera blog：http://blog.cloudera.com/blog/2012/10/mr2-and-yarn-briefly-explained/

原文鏈接：http://dongxicheng.org/mapreduce-nextgen/hadoop-2-0-terms-explained/

【編輯推薦】

1. 小白學(xué)數(shù)據(jù)分析:怎么做流失分析
2. 小白學(xué)數(shù)據(jù)分析之K-means理論篇
3. 小白學(xué)數(shù)據(jù)分析之從購買記錄分析道具支付環(huán)節(jié)
4. 小白學(xué)數(shù)據(jù)分析之付費(fèi)滲透率
5. 小白學(xué)數(shù)據(jù)分析之Excel制作INFOGRAPHIC