本節(jié)向大家介紹一下HadoopOnDemand配置方面的內(nèi)容，主要介紹一些中HadoopOnDemand常用的配置項(xiàng)，相信通過本節(jié)的介紹大家對HadoopOnDemand的配置有新的認(rèn)識(shí)，讓我們一起來學(xué)習(xí)吧。

3.4HadoopOnDemand中ringmaster的配置項(xiàng)

work-dirs：這是一個(gè)由逗號(hào)分隔的路徑列表，這些路徑將作為HOD產(chǎn)生和傳遞給Hadoop，用于存放DFS和Map/Reduce數(shù)據(jù)的目錄的根目錄。例如，這是DFS數(shù)據(jù)塊存放的路徑。一般情況下，有多少塊磁盤就指定多少路徑，以確保所有的磁盤都被利用到。temp-dir變量的限制和注意事項(xiàng)在這兒同樣適用。
max-master-failures：hadoop主守護(hù)進(jìn)啟動(dòng)前可以失敗的次數(shù)，超出這個(gè)次數(shù)后，HOD會(huì)讓這次集群分配失敗。在HOD集群中，有時(shí)候由于某些問題，比如機(jī)器沒安裝java，沒有安裝Hadoop，或者Hadoop版本錯(cuò)誤等，會(huì)存在一個(gè)或幾個(gè)“壞”節(jié)點(diǎn)。當(dāng)這個(gè)配置項(xiàng)被設(shè)為正整數(shù)時(shí)，只有當(dāng)hadoopmatser（JobTracker或者NameNode）在上述的壞節(jié)點(diǎn)上，由于上面提到的種種原因啟動(dòng)失敗的次數(shù)超過設(shè)定的值時(shí)，RingMaster才會(huì)把錯(cuò)誤返回給客戶端。如果嘗試啟動(dòng)的次數(shù)沒有超過設(shè)定值，當(dāng)下一個(gè)HodRing請求運(yùn)行一個(gè)命令時(shí)，同一個(gè)hadoopmaster會(huì)指定給這個(gè)HodRing。這樣，即使集群中存在一些壞的節(jié)點(diǎn)，HOD也會(huì)盡全力使這次分配成功。

3.5HadoopOnDemand中g(shù)ridservice-hdfs的配置項(xiàng)

external：如果被置為false，HOD必須在通過allocate命令分配的節(jié)點(diǎn)上自己創(chuàng)建HDFS集群。注意，在這種情況下，如果集群被回收，HDFS集群會(huì)停止，所有數(shù)據(jù)會(huì)丟失。如果被置為true，它會(huì)嘗試鏈接外部的已配置的HDFS系統(tǒng)。通常，因?yàn)樵谧鳂I(yè)運(yùn)行之前作業(yè)的輸入需要被放置在HDFS上，并且作業(yè)的輸出需要持久保留，在生產(chǎn)環(huán)境中一個(gè)內(nèi)部的HDFS集群意義不大。
host：外部配置好的NameNode的主機(jī)名。
fs_port：NameNodeRPC服務(wù)綁定的端口。
info_port：NameNodewebUI服務(wù)綁定的端口。
pkgs：安裝目錄，其下有bin/hadoop可執(zhí)行文件?？捎脕硎褂眉荷项A(yù)先安裝的Hadoop版本。
server-params：一個(gè)逗號(hào)分割的hadoop配置參數(shù)列表，每一項(xiàng)為key-value對形式。這些將用于產(chǎn)生被NameNode和DataNode使用到的hadoop-site.xml文件。
final-server-params：除會(huì)被標(biāo)記為final外和上面相同。

3.6HadoopOnDemand中g(shù)ridservice-mapred的配置項(xiàng)

external：如果被置為false，HOD必須在通過allocate命令分配的節(jié)點(diǎn)上自己創(chuàng)建Map/Reduce集群。如果被置為true，它會(huì)嘗試鏈接外部的已配置的Map/Reduce系統(tǒng)。
host：外部配置好的JobTracker的主機(jī)名。
tracker_port：JobTrackerRPC服務(wù)綁定的端口。
info_port：JobTrackerwebUI服務(wù)綁定的端口。
pkgs：安裝目錄，其下有bin/hadoop可執(zhí)行文件。
server-params：一個(gè)逗號(hào)分割的hadoop配置參數(shù)列表，每一項(xiàng)為key-value對形式。這些將用于產(chǎn)生被JobTracker和TaskTracker使用到的hadoop-site.xml文件。
final-server-params：除會(huì)被標(biāo)記為final外和上面相同。

3.7HadoopOnDemand中hodring的配置項(xiàng)

mapred-system-dir-root：DFS上的目錄，HOD會(huì)在這個(gè)目錄下創(chuàng)建子目錄并把全路徑作為參數(shù)'mapred.system.dir'的值傳遞給Hadoop守護(hù)進(jìn)程。全路徑的格式為value-of-this-option/userid/mapredsystem/cluster-id。注意，如果HDFS啟用了權(quán)限，這里指定的路徑下應(yīng)允許所有用戶創(chuàng)建子目錄。設(shè)置此配置項(xiàng)的值為/user會(huì)使HOD使用用戶的home目錄來產(chǎn)生mapred.system.dir的值。
log-destination-uri：一個(gè)URL，能反映一個(gè)外部的靜態(tài)的DFS或者集群節(jié)點(diǎn)上的本地文件系統(tǒng)上的路徑。當(dāng)集群被回收時(shí)，HOD會(huì)把Hadoop日志上傳到這個(gè)路徑。要指定DFS路徑，使用'hdfs://path'格式。要指定一個(gè)集群節(jié)點(diǎn)上的本地文件系統(tǒng)路徑，使用'file://path'格式。當(dāng)HOD回收集群時(shí)，作為HOD的清除過程的一部分，hadoop日志會(huì)被刪除。要做到持久儲(chǔ)這些日志，你可以使用這個(gè)配置項(xiàng)。路徑的格式會(huì)是values-of-this-option/userid/hod-logs/cluster-id。注意，應(yīng)該保證所有的用戶能在這里指定的目錄下創(chuàng)建子目錄。把這個(gè)值設(shè)為hdfs://user會(huì)使這些日志被轉(zhuǎn)移到用戶在DFS上的home目錄下。
pkgs：安裝目錄，其下有bin/hadoop可執(zhí)行文件。如果給log-destination-uri指定了一個(gè)HDFSURL，HOD上傳日志時(shí)會(huì)用到這個(gè)配置項(xiàng)。注意，當(dāng)用戶使用了和外部靜態(tài)HDFS不同版本的tarball時(shí)，這個(gè)配置項(xiàng)會(huì)派上用場。
 

【編輯推薦】

1. HadoopOnDemand配置新手指南
2. Hadoop0.20.2集群配置入門指導(dǎo)手冊
3. Hadoop文件系統(tǒng)如何快速安裝？
4. Hadoop集群搭建過程中相關(guān)環(huán)境配置詳解
5. Hadoop完全分布模式安裝實(shí)現(xiàn)詳解