本節(jié)向大家描述了如何安裝、配置和管理有實(shí)際意義的Hadoop集群，其規(guī)模可從幾個(gè)節(jié)點(diǎn)的小集群到幾千個(gè)節(jié)點(diǎn)的超大集群，讓我們一起來(lái)學(xué)習(xí)Hadoop集群搭建吧。

Hadoop集群搭建

先決條件
確保在你集群中的每個(gè)節(jié)點(diǎn)上都安裝了所有必需軟件。
獲取Hadoop軟件包。

安裝
安裝Hadoop集群通常要將安裝軟件解壓到集群內(nèi)的所有機(jī)器上。
通常，集群里的一臺(tái)機(jī)器被指定為NameNode，另一臺(tái)不同的機(jī)器被指定為JobTracker。這些機(jī)器是masters。余下的機(jī)器即作為DataNode也作為T(mén)askTracker。這些機(jī)器是slaves。
我們用HADOOP_HOME指代安裝的根路徑。通常，集群里的所有機(jī)器的HADOOP_HOME路徑相同。

配置
接下來(lái)的幾節(jié)描述了如何配置Hadoop集群。

配置文件
對(duì)Hadoop的配置通過(guò)conf/目錄下的兩個(gè)重要配置文件完成：
hadoop-default.xml-只讀的默認(rèn)配置。
hadoop-site.xml-集群特有的配置。
要了解更多關(guān)于這些配置文件如何影響Hadoop框架的細(xì)節(jié)，請(qǐng)看這里。
此外，通過(guò)設(shè)置conf/hadoop-env.sh中的變量為集群特有的值，你可以對(duì)bin/目錄下的Hadoop腳本進(jìn)行控制。

Hadoop集群配置
要配置Hadoop集群，你需要設(shè)置Hadoop守護(hù)進(jìn)程的運(yùn)行環(huán)境和Hadoop守護(hù)進(jìn)程的運(yùn)行參數(shù)。
Hadoop守護(hù)進(jìn)程指NameNode/DataNode和JobTracker/TaskTracker。

配置Hadoop守護(hù)進(jìn)程的運(yùn)行環(huán)境
管理員可在conf/hadoop-env.sh腳本內(nèi)對(duì)Hadoop守護(hù)進(jìn)程的運(yùn)行環(huán)境做特別指定。
至少，你得設(shè)定JAVA_HOME使之在每一遠(yuǎn)端節(jié)點(diǎn)上都被正確設(shè)置。
管理員可以通過(guò)配置選項(xiàng)HADOOP_*_OPTS來(lái)分別配置各個(gè)守護(hù)進(jìn)程。下表是可以配置的選項(xiàng)。

守護(hù)進(jìn)程配置選項(xiàng)
NameNodeHADOOP_NAMENODE_OPTS
DataNodeHADOOP_DATANODE_OPTS
SecondaryNamenodeHADOOP_SECONDARYNAMENODE_OPTS
JobTrackerHADOOP_JOBTRACKER_OPTS
TaskTrackerHADOOP_TASKTRACKER_OPTS
例如，配置Namenode時(shí),為了使其能夠并行回收垃圾（parallelGC），要把下面的代碼加入到hadoop-env.sh:
exportHADOOP_NAMENODE_OPTS="-XX:+UseParallelGC${HADOOP_NAMENODE_OPTS}"
其它可定制的常用參數(shù)還包括：
HADOOP_LOG_DIR-守護(hù)進(jìn)程日志文件的存放目錄。如果不存在會(huì)被自動(dòng)創(chuàng)建。
HADOOP_HEAPSIZE-***可用的堆大小，單位為MB。比如，1000MB。這個(gè)參數(shù)用于設(shè)置hadoop守護(hù)進(jìn)程的堆大小。缺省大小是1000MB。

配置Hadoop守護(hù)進(jìn)程的運(yùn)行參數(shù)
這部分涉及Hadoop集群的重要參數(shù)，這些參數(shù)在conf/hadoop-site.xml中指定。

參數(shù)取值備注
fs.default.nameNameNode的URI。hdfs://主機(jī)名/
mapred.job.trackerJobTracker的主機(jī)（或者IP）和端口。主機(jī):端口。
dfs.name.dirNameNode持久存儲(chǔ)名字空間及事務(wù)日志的本地文件系統(tǒng)路徑。當(dāng)這個(gè)值是一個(gè)逗號(hào)分割的目錄列表時(shí)，nametable數(shù)據(jù)將會(huì)被復(fù)制到所有目錄中做冗余備份。
dfs.data.dirDataNode存放塊數(shù)據(jù)的本地文件系統(tǒng)路徑，逗號(hào)分割的列表。當(dāng)這個(gè)值是逗號(hào)分割的目錄列表時(shí)，數(shù)據(jù)將被存儲(chǔ)在所有目錄下，通常分布在不同設(shè)備上。
mapred.system.dirMap/Reduce框架存儲(chǔ)系統(tǒng)文件的HDFS路徑。比如/hadoop/mapred/system/。這個(gè)路徑是默認(rèn)文件系統(tǒng)（HDFS）下的路徑，須從服務(wù)器和客戶端上均可訪問(wèn)。
mapred.local.dir本地文件系統(tǒng)下逗號(hào)分割的路徑列表，Map/Reduce臨時(shí)數(shù)據(jù)存放的地方。多路徑有助于利用磁盤(pán)i/o。
mapred.tasktracker.{map|reduce}.tasks.maximum某一TaskTracker上可運(yùn)行的***Map/Reduce任務(wù)數(shù)，這些任務(wù)將同時(shí)各自運(yùn)行。默認(rèn)為2（2個(gè)map和2個(gè)reduce），可依據(jù)硬件情況更改。
dfs.hosts/dfs.hosts.exclude許可/拒絕DataNode列表。如有必要，用這個(gè)文件控制許可的datanode列表。
mapred.hosts/mapred.hosts.exclude許可/拒絕TaskTracker列表。如有必要，用這個(gè)文件控制許可的TaskTracker列表。
通常，上述參數(shù)被標(biāo)記為final以確保它們不被用戶應(yīng)用更改。本節(jié)關(guān)于Hadoop集群搭建的相關(guān)內(nèi)容介紹到這里。

【編輯推薦】

1. 專家指導(dǎo) 如何實(shí)現(xiàn)Hadoop集群搭建
2. Hadoop安裝與使用如何進(jìn)行？
3. 專家講解 Hadoop:HBASE松散數(shù)據(jù)存儲(chǔ)設(shè)計(jì)
4. 兩種模式運(yùn)行Hadoop分布式并行程序
5. Hadoop集群搭建過(guò)程中相關(guān)環(huán)境配置詳解