Cloudera實(shí)現(xiàn)Hadoop過程中Hadoop設(shè)置揭秘
本節(jié)接著上節(jié)介紹Cloudera 實(shí)現(xiàn)Hadoop 的方法，本節(jié)主要介紹一下對Hadoop的相關(guān)設(shè)置，相信通過本節(jié)的介紹大家對Cloudera 實(shí)現(xiàn)Hadoop 方法有一定的了解。
設(shè)置主節(jié)點(diǎn)的Hadoop
設(shè)置JAVA_HOME
Hadoop的JAVA_HOME是在文件/etc/conf/hadoop-env.sh中設(shè)置，具體設(shè)置如下：
sudo vi /etc/conf/hadoop-env.shexport JAVA_HOME="/usr/lib/jvm/java-6-sun"
Hadoop的核心配置
Hadoop的核心配置文件是/etc/hadoop/conf/core-site.xml，具體配置如下：
<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name>fs.default.name</name><!--<value>hdfs://localhost:8020</value>--><value>hdfs://hadoop-01:8020</value></property><property><name>hadoop.tmp.dir</name><value>/var/lib/hadoop-0.20/cache/${user.name}</value></property></configuration>
設(shè)置Hadoop的分布式存儲環(huán)境
Cloudera 實(shí)現(xiàn)Hadoop 過程中Hadoop的分布式環(huán)境設(shè)置主要是通過文件/etc/hadoop/conf/hdfs-site.xml來實(shí)現(xiàn)的，具體配置如下：
<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name>dfs.replication</name><!--<value>1</value>--><value>3</value></property><property><name>dfs.permissions</name><value>false</value></property><property><!-- specify this so that running 'hadoop namenode -format' formats the right dir --><name>dfs.name.dir</name><value>/var/lib/hadoop-0.20/cache/hadoop/dfs/name</value></property></configuration>
設(shè)置Hapoop的分布式計(jì)算環(huán)境
Cloudera 實(shí)現(xiàn)Hadoop 過程中Hadoop的分布式計(jì)算是采用了Map/Reduce算法，該算法環(huán)境的設(shè)置主要是通過文件/etc/hadoop/conf/mapred-site.xml來實(shí)現(xiàn)的，具體配置如下：
<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name>mapred.job.tracker</name><!--<value>localhost:8021</value>--><value>hadoop-01:8021</value></property></configuration>
設(shè)置Hadoop的主從節(jié)點(diǎn)
首先設(shè)置主節(jié)點(diǎn)，編輯/etc/hadoop/conf/masters文件，如下所示：
hadoop-01然后是設(shè)置從節(jié)點(diǎn)，編輯/etc/hadoop/conf/slaves文件，如下所示：
hadoop-02hadoop-03hadoop-04firehare-303
設(shè)置從節(jié)點(diǎn)上的Hadoop
從節(jié)點(diǎn)上的Hadoop設(shè)置很簡單，只需要將主節(jié)點(diǎn)上的Hadoop設(shè)置，復(fù)制一份到從節(jié)點(diǎn)上即可。
scp -r /etc/hadoop/conf hadoop-02:/etc/hadoopscp -r /etc/hadoop/conf hadoop-03:/etc/hadoopscp -r /etc/hadoop/conf hadoop-04:/etc/hadoopscp -r /etc/hadoop/conf firehare-303:/etc/hadoop。Cloudera 實(shí)現(xiàn)Hadoop過程中對Hadoop配置完以后需要啟動Hadoop服務(wù)。
啟動Hadoop
格式化分布式文件系統(tǒng)
在啟動Hadoop之前還要做***一個準(zhǔn)備工作，那就是格式化分布式文件系統(tǒng)，這個只需要在主節(jié)點(diǎn)做就行了，具體如下：
/usr/lib/hadoop-0.20/bin/hadoop namenode -format
啟動Hadoop服務(wù)
啟動Hadoop可以通過以下命令來實(shí)現(xiàn)：
/usr/lib/hadoop-0.20/bin/start-all.sh注意：該命令是沒有加sudo的，如果加了sudo就會提示出錯信息的，因?yàn)閞oot用戶并沒有做無驗(yàn)證ssh設(shè)置。以下是輸出信息，注意hadoop-03是故意沒接的，所以出現(xiàn)No route to host信息。 這樣Hadoop就正常啟動了！
測試Hadoop
Hadoop架設(shè)好了，接下來就是要對其進(jìn)行測試，看看它是否能正常工作，如果測試已經(jīng)成功，這說明Hadoop部署成功，能夠在上面進(jìn)行Map/Reduce分布性計(jì)算了。 本節(jié)關(guān)于Cloudera 實(shí)現(xiàn)Hadoop的相關(guān)內(nèi)容到這里就結(jié)束了，謝謝關(guān)注。
【編輯推薦】
