本節(jié)繼續(xù)向大家介紹Hadoop集群搭建的步驟，希望通過(guò)本節(jié)的介紹你對(duì)如何進(jìn)行Hadoop集群搭建有一定的認(rèn)識(shí)，歡迎大家一起來(lái)學(xué)習(xí)Hadoop集群搭建搭建方面的知識(shí)。

一、建立Master到每一臺(tái)Slave的SSH受信證書

1、偽分布式免密碼ssh設(shè)置
?現(xiàn)在確認(rèn)能否不輸入口令就用ssh登錄localhost:
$sshlocalhost

如果不輸入口令就無(wú)法用ssh登陸localhost，執(zhí)行下面的命令：
$ssh-keygen-tdsa-P''-f~/.ssh/id_dsa
$cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys

?安裝ssh,并生成公鑰和私鑰
?運(yùn)行ssh-keygen-trsa，根據(jù)屏幕提示直接選擇“回車”
?會(huì)在用戶目錄~/.ssh/產(chǎn)生兩個(gè)文件，id_rsa，id_rsa.pub
?cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys

2、Hadoop集群搭建的SSH設(shè)置
master：
[fan@fan001~]$ssh-keygen-trsa
[fan@fan001~]$sshfan@fan002"mkdir.ssh;chmod0700.ssh"(重復(fù))
[fan@fan001~]$scp~/.ssh/id_rsa.pubfan@fan002:.ssh/id_rsa.pub(重復(fù))
[fan@fan001~]$cd.ssh
[fan@fan001.ssh]$cpid_rsa.pubauthorized_keys
[fan@fan001.ssh]$chmod600authorized_keys

slave：
[fan@fan002~]$touch.ssh/authorized_keys
[fan@fan002~]$cd.ssh
[fan@fan002.ssh]$catid_rsa.pub>>authorized_keys
[fan@fan001.ssh]$chmod600authorized_keys
OK,完成免密碼ssh設(shè)置

二、啟動(dòng)Hadoop

1、偽分布式的啟動(dòng)：
格式化一個(gè)新的分布式文件系統(tǒng)：$bin/hadoopnamenode-format
啟動(dòng)Hadoop守護(hù)進(jìn)程：$bin/start-all.sh
Hadoop守護(hù)進(jìn)程的日志寫入到${HADOOP_LOG_DIR}目錄(默認(rèn)是${HADOOP_HOME}/logs).

2、啟動(dòng)Hadoop
Hadoop集群搭建過(guò)程中啟動(dòng)Hadoop集群需要啟動(dòng)HDFS集群和Map/Reduce集群。
Ø格式化一個(gè)新的分布式文件系統(tǒng)：$bin/hadoopnamenode-format
Ø在分配的NameNode上，運(yùn)行下面的命令啟動(dòng)HDFS：$bin/start-dfs.sh
bin/start-dfs.sh腳本會(huì)參照NameNode上${HADOOP_CONF_DIR}/slaves文件的內(nèi)容，在所有列出的slave上啟動(dòng)DataNode守護(hù)進(jìn)程。
Ø在分配的JobTracker上，運(yùn)行下面的命令啟動(dòng)Map/Reduce：$bin/start-mapred.sh
bin/start-mapred.sh腳本會(huì)參照J(rèn)obTracker上${HADOOP_CONF_DIR}/slaves文件的內(nèi)容，在所有列出的slave上啟動(dòng)TaskTracker守護(hù)進(jìn)程。

3.停止Hadoop
Ø在分配的NameNode上，執(zhí)行下面的命令停止HDFS：$bin/stop-dfs.sh
bin/stop-dfs.sh腳本會(huì)參照NameNode上${HADOOP_CONF_DIR}/slaves文件的內(nèi)容，在所有列出的slave上停止DataNode守護(hù)進(jìn)程。
Ø在分配的JobTracker上，運(yùn)行下面的命令停止Map/Reduce：$bin/stop-mapred.sh
bin/stop-mapred.sh腳本會(huì)參照J(rèn)obTracker上${HADOOP_CONF_DIR}/slaves文件的內(nèi)容，在所有列出的slave上停止TaskTracker守護(hù)進(jìn)程。本節(jié)關(guān)于Hadoop集群搭建的相關(guān)內(nèi)容介紹完畢。

【編輯推薦】

1. Hadoop集群搭建過(guò)程中相關(guān)環(huán)境配置詳解
2. 技術(shù)分享 Hadoop集群搭建方法
3. 專家講解 Hadoop:HBASE松散數(shù)據(jù)存儲(chǔ)設(shè)計(jì)
4. 兩種模式運(yùn)行Hadoop分布式并行程序
5. 專家提醒 部署Hadoop時(shí)應(yīng)該注意具體事項(xiàng)