本節(jié)和大家一起學(xué)習(xí)一下Hdoop/Hbase文件配置方法，文件配置主要有十一個(gè)步驟，在這里向大家簡單介紹一下，下面讓我們一起來學(xué)習(xí)Hdoop/Hbase文件配置吧。

Hdoop/Hbase文件配置

1、硬件環(huán)境

我們采用了3臺(tái)機(jī)器來構(gòu)建,都安裝的是Ubuntu8.04系統(tǒng)，并且都有一個(gè)名為“quan“的帳號(hào)，如下：
主機(jī)名稱：360quan-1ip:192.168.0.37功能：NameNode,JobTracker
主機(jī)名稱：360quan-2ip:192.168.0.43功能：DataNode,TaskTracker
主機(jī)名稱：360quan-3ip:192.168.0.53功能：DataNode,TaskTracker
重點(diǎn)：修改3臺(tái)機(jī)器的/etc/hosts,讓彼此的主機(jī)名稱和ip都能順利解析
127.0.0.1localhost
192.168.0.37360quan-1
192.168.0.43360quan-2
192.168.0.53360quan-3

2、每臺(tái)機(jī)器都要安裝java環(huán)境，我們的路徑統(tǒng)一為“/opt/jdk1.6.0_03“,并添加到系統(tǒng)環(huán)境變量sudogedit/etc/profile

3，hbase0.12版本到"360quan-1"，將hadoop解壓到/home/quan/opt/hadoop,hbase解壓到hadoop/contrib/hbase。建議最好也將hadoop的目錄添加到環(huán)境變量里面去:

4、安裝ssh,這里注意ubuntu8.04下面是ssh2，如果是ssh1的話，請(qǐng)升級(jí),安裝完后，建立ssh通道，使用空密碼（生產(chǎn)環(huán)境可不能使用空密碼?。?，這里使用“360quan-1”這臺(tái)機(jī)器為例說明:

5、接下來，我們要修改hadoop的相關(guān)設(shè)定了。修改"360quan-1"上面的hadoop的[conf/masters]、[conf/slaves]這2個(gè)文件：

       Master設(shè)置(<HADOOP_HOME>/conf/masters) :360quan-1
       Slave設(shè)置(<HADOOP_HOME>/conf/slaves) L：360quan-2 360quan-3

6、修改［conf/hadoop-env.sh］：exportJAVA_HOME=/opt/jdk1.6.0_03

7、修改［conf/hadoop-site.xml],這里只是Hdoop/Hbase文件配置中幾個(gè)常用的屬性配置，有關(guān)hadoop的性能優(yōu)化調(diào)整，需要研究hadoop-default.xml。

8、修改hbase的[hbase-evn.sh]:exportJAVA_HOME=/opt/jdk1.6.0_03

9、修改hbase的［hbase-site.xml］:

10、然后將hadoop的整體環(huán)境拷貝到360quan-2、360quan-3上面去
scp-r/home/quan/hadoop360quan-2:/home/hdp/
scp-r/home/quan/hadoop360quan-3:/home/hdp/

11、在360quan-1這個(gè)namenode上面格式化一個(gè)新的分布式文件系統(tǒng)HDFS，就是hadoop-site.xml文件中指定的hadoop.tmp.dir路徑
<HADOOP_HOME>/bin/hadoopnamenode-format

到此Hdoop/Hbase文件配置大致上就完成了，屬于你自己的CloudComputing環(huán)境了
啟動(dòng)hadoop：<HADOOP_HOME>/bin/start-all.sh
啟動(dòng)hbase：<HADOOP_HOME>/contrib/hbase/bin/start-hbase.sh
停止hbase：<HADOOP_HOME>/contrib/hbase/bin/stop-hbase.sh
停止hadoop：<HADOOP_HOME>/bin/stop-all.sh
說明：

(1)執(zhí)行$bin/start-all.sh啟動(dòng)Hadoop進(jìn)程后，會(huì)啟動(dòng)5個(gè)java進(jìn)程,同時(shí)會(huì)在/tmp目錄下創(chuàng)建五個(gè)pid文件記錄這些進(jìn)程ID號(hào)。通過這五個(gè)文件，可以得知namenode,datanode,secondarynamenode,jobtracker,tasktracker分別對(duì)應(yīng)于哪一個(gè)Java進(jìn)程。當(dāng)你覺得Hadoop工作不正常時(shí)，可以首先查看這5個(gè)java進(jìn)程是否在正常運(yùn)行,運(yùn)行jps命令也可以查看。

(2)訪問http://360quan-1:50030可以查看JobTracker的運(yùn)行狀態(tài)。訪問http://360quan-1:50060可以查看TaskTracker的運(yùn)行狀態(tài)。訪問http://360quan-1:50070可以查看NameNode以及整個(gè)分布式文件系統(tǒng)的狀態(tài)，瀏覽分布式文件系統(tǒng)中的文件以及l(fā)og等。

(3)查看${HADOOP_HOME}/logs目錄下的log文件，namenode,datanode,secondarynamenode,jobtracker,tasktracker各有一個(gè)對(duì)應(yīng)的log文件，每一次運(yùn)行的計(jì)算任務(wù)也有對(duì)應(yīng)用log文件。分析這些log文件有助于找到故障原因。本節(jié)關(guān)于Hdoop/Hbase文件配置方面的內(nèi)容介紹到這里。

【編輯推薦】

1. HadoopHBase實(shí)現(xiàn)配置簡單的單機(jī)環(huán)境
2. 深入剖析Hadoop HBase
3. Hadoop集群與Hadoop性能優(yōu)化
4. Hadoop 從Yahoo向Google的技術(shù)轉(zhuǎn)折
5. Yahoo公布Hadoop的源代碼