本節(jié)向大家介紹一下Hadoop文件系統(tǒng)的快速安裝與使用，希望通過本節(jié)的介紹大家能夠掌握Hadoop文件系統(tǒng)安裝與使用方法，歡迎大家一起來學(xué)習(xí)。

Hadoop文件系統(tǒng)（HDFS）快速安裝與使用技術(shù)文檔

準(zhǔn)備3臺機(jī)器，一臺作為Namenode，命名為master，兩臺作為dataNode，命名為slave01,slave02
在3臺機(jī)器上都設(shè)置hadoop用戶。

設(shè)置hadoop用戶從master到slavessh不需要密碼，設(shè)置方法參見“設(shè)置SSH服務(wù)器只采用密鑰認(rèn)證”一文。
注意：
（1）authorized_keys文件的訪問權(quán)限應(yīng)該設(shè)置為644，否則可能導(dǎo)致無密碼登錄失敗。
（2）從master到master登錄也需要配置無密碼登錄，否則會(huì)導(dǎo)致Namenode啟動(dòng)失敗
下載并安裝JDK，并在/etc/profile配置相應(yīng)的環(huán)境變量，比如
JAVA_HOME=/usr/java/jdk1.6.0_18
CLASSPATH=.:$JAVA_HOME/lib
PATH=$JAVA_HOME/bin:$PATH
exportJAVA_HOMECLASSPATHPATH
在三臺機(jī)器上創(chuàng)建相同的目錄路徑，為HDFS運(yùn)行準(zhǔn)備環(huán)境，比如在/data目錄下創(chuàng)建hadoop目錄，將其屬主改成hadoop，然后在下面如下創(chuàng)建4個(gè)目錄：
install：Hadoop源碼解壓后，放在該目錄下
name：HDFS的名字節(jié)點(diǎn)存放目錄
data01,data02：HDFS的數(shù)據(jù)存放目錄，當(dāng)然也可以是一個(gè)。
tmp：臨時(shí)空間
注意：name目錄只存放在master上，且權(quán)限為755，否則會(huì)導(dǎo)致后面的格式化失敗。

編輯Hadoop文件系統(tǒng)HDFS配置文件，所有節(jié)點(diǎn)都要保持一致，共有四個(gè)：
core-site.xml:核心配置
hdfs-site.xml：站點(diǎn)多項(xiàng)參數(shù)配置
masters：主節(jié)點(diǎn)，在HDFS中就是Namenode的名稱
slaves：數(shù)據(jù)節(jié)點(diǎn)（Datanode）名稱

各個(gè)配置文件舉例
核心配置：core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
</configuration>

站點(diǎn)節(jié)點(diǎn)配置：hdfs-site.xml
 

<configuration> 
<property> 
<name>dfs.replication</name> 
<value>2</value> 
</property> 
<property> 
<name>dfs.name.dir</name> 
<value>/data/hadoop/name</value> 
</property> 
<property> 
<name>dfs.data.dir</name> 
<value>/data/hadoop/data01,/data/hadoop/data02</value> 
</property> 
<property> 
<name>dfs.tmp.dir</name> 
<value>/data/hadoop/tmp</value> 
</property> 
</configuration> 

 主節(jié)點(diǎn)名稱：masters
master

數(shù)據(jù)節(jié)點(diǎn)名稱：slaves
master
slave01
slave02
注意：(1)如需要，可以在hadoop-env.sh中配置JAVA_HOME變量，比如：
exportJAVA_HOME=/usr/java/jdk1.6.0_18

(2)保證Hadoop文件系統(tǒng)各個(gè)節(jié)點(diǎn)上配置文件的一致性。
初始化namenode節(jié)點(diǎn)
登錄到namenode上，cd/data/hadoop/install/bin，然后格式化Image文件的存儲空間：
./hadoopnamenode-format
如果出錯(cuò)，就查看/data/hadoop/install/logs下的日志文件。

啟動(dòng)HDFS服務(wù)
在/data/hadoop/install/bin下有很多命令，
*start-all.sh啟動(dòng)所有的Hadoop守護(hù)，包括namenode,datanode，jobtracker，tasktrack，secondarynamenode。
*stop-all.sh停止所有的Hadoop。
*start-mapred.sh啟動(dòng)Map/Reduce守護(hù)，包括Jobtracker和Tasktrack。
*stop-mapred.sh停止Map/Reduce守護(hù)
*start-dfs.sh啟動(dòng)HadoopDFS守護(hù)，Namenode和Datanode。
*stop-dfs.sh停止DFS守護(hù)

簡單使用
創(chuàng)建目錄：./hadoopdfs-mkdirtest
查看目錄：./hadoopdfs-ls
drwxr-xr-x-hadoopsupergroup02010-03-0421:27/user/hadoop/test
拷貝文件：./hadoopdfs-put/etc/servicestest，即把本地的文件存放到HDFS中

WEB界面
HDFS啟動(dòng)后，可以通過WEB界面來查看，缺省端口為50070，比如：http://master:50070/
即可查看整個(gè)HDFS的狀態(tài)以及使用統(tǒng)計(jì)。
對于Mapreduce的WEB界面，缺省端口是50030。本節(jié)關(guān)于Hadoop文件系統(tǒng)的安裝與使用介紹到這里。

【編輯推薦】

1. Hadoop分布式文件系統(tǒng)詳解
2. Hadoop安裝與使用如何進(jìn)行？
3. 專家講解 Hadoop:HBASE松散數(shù)據(jù)存儲設(shè)計(jì)
4. 兩種模式運(yùn)行Hadoop分布式并行程序
5. Hadoop應(yīng)用之Hadoop安裝篇