本節(jié)接著上節(jié)繼續(xù)和大家一起學(xué)習(xí)一下Hadoop安裝與使用，內(nèi)容主要包括部署hadoop，啟動(dòng)hadoop，hadoop文件系統(tǒng)操作和使用hadoop來做計(jì)算等內(nèi)容，希望通過本節(jié)的介紹大就能夠掌握Hadoop安裝和使用方法。在為大家講解之前先看一下Hadoop的概念。

Hadoop是一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，由Apache基金會(huì)開發(fā)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力高速運(yùn)算和存儲(chǔ)。
　　簡單地說來，Hadoop是一個(gè)可以更容易開發(fā)和運(yùn)行處理大規(guī)模數(shù)據(jù)的軟件平臺(tái)。
　　Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)（HadoopDistributedFileSystem），簡稱HDFS。HDFS有著高容錯(cuò)性（fault-tolerent）的特點(diǎn)，并且設(shè)計(jì)用來部署在低廉的（low-cost）硬件上。而且它提供高傳輸率（highthroughput）來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（largedataset）的應(yīng)用程序。HDFS放寬了（relax）POSIX的要求（requirements）這樣可以流的形式訪問（streamingaccess）文件系統(tǒng)中的數(shù)據(jù)。下面是Hadoop安裝使用步驟。

1.部署hadoop

前面講的這么多Hadoop的環(huán)境變量和配置文件都是在dbrg-1這臺(tái)機(jī)器上的，現(xiàn)在需要將hadoop部署到其他的機(jī)器上，保證目錄結(jié)構(gòu)一致。
wukong@wukong1:~/hadoop-config$scp-r/home/wukong/hadoop-0.13.0wukong2:/home/wukong
wukong@wukong1:~/hadoop-config$scp-r/home/wukong/hadoop-0.13.0wukong3:/home/wukong
wukong@wukong1:~/hadoop-config$scp-r/home/wukong/hadoop-configwukong2:/home/wukong
wukong@wukong1:~/hadoop-config$scp-r/home/wukong/hadoop-configwukong3:/home/wukong
至此，可以說，Hadoop已經(jīng)在各個(gè)機(jī)器上部署完畢了
如果要新加入節(jié)點(diǎn)的話，新的節(jié)點(diǎn)要重復(fù)前面2，3步，本地安裝好hadoop后，從其它節(jié)點(diǎn)把hadoop-config復(fù)制過來，還要修改其它所有機(jī)器的/ets/hosts和.ssh/authorized_keys，加入對(duì)新節(jié)點(diǎn)的識(shí)別。
 

2.啟動(dòng)hadoop

Hadoop安裝完成之后就可以啟動(dòng)了，啟動(dòng)之前，我們先要格式化namenode，先進(jìn)入~/hadoop目錄，執(zhí)行下面的命令
wukong@wukong1:~/hadoop$bin/hadoopnamenode-format
不出意外，應(yīng)該會(huì)提示格式化成功。如果不成功，就去hadoop/logs/目錄下去查看日志文件
下面就該正式啟動(dòng)hadoop啦，在bin/下面有很多啟動(dòng)腳本，可以根據(jù)自己的需要來啟動(dòng)。
*start-all.sh啟動(dòng)所有的Hadoop守護(hù)。包括namenode,datanode,jobtracker,tasktrack
*stop-all.sh停止所有的Hadoop
*start-mapred.sh啟動(dòng)Map/Reduce守護(hù)。包括Jobtracker和Tasktrack
*stop-mapred.sh停止Map/Reduce守護(hù)
*start-dfs.sh啟動(dòng)HadoopDFS守護(hù).Namenode和Datanode
*stop-dfs.sh停止DFS守護(hù)
在這里，簡單啟動(dòng)所有守護(hù)
wukong@wukong1:~/hadoop$$bin/start-all.sh
同樣，如果要停止hadoop，則
wukong@wukong1:~/hadoop$bin/stop-all.sh

3.hadoop文件系統(tǒng)操作
wukong@wukong1:~/hadoop$bin/hadoopdfsadmin-report查看當(dāng)前文件系統(tǒng)狀態(tài)
Totalrawbytes:107354136576(99.98GB)
Usedrawbytes:8215538156(7.65GB)
%used:7.65%

Totaleffectivebytes:143160206(136.52MB)
Effectivereplicationmultiplier:57.38702384935098
-------------------------------------------------
Datanodesavailable:2

Name:192.168.100.3:50010
State:InService
Totalrawbytes:39395708928(36.69GB)
Usedrawbytes:3089165011(2.87GB)
%used:7.84%
Lastcontact:TueJul1013:09:24CST2007

Name:192.168.100.2:50010
State:InService
Totalrawbytes:67958427648(63.29GB)
Usedrawbytes:5126373145(4.77GB)
%used:7.54%
Lastcontact:TueJul1013:09:25CST2007
說明wukong2和wukong3作為datanode節(jié)點(diǎn)，總的容量，有效數(shù)據(jù)大小等。
 

4.使用hadoop來做計(jì)算

我們來看一下Hadoop安裝完成以后如何使用它來做計(jì)算。hadoop基于mapreduce模型進(jìn)行計(jì)算。MapReduce是一種簡化的分布式編程模式，讓程序自動(dòng)分布到一個(gè)由普通機(jī)器組成的超大集群上并發(fā)執(zhí)行。就如同java程序員可以不考慮內(nèi)存泄露一樣，MapReduce的run-time系統(tǒng)會(huì)解決輸入數(shù)據(jù)的分布細(xì)節(jié)，跨越機(jī)器集群的程序執(zhí)行調(diào)度，處理機(jī)器的失效，并且管理機(jī)器之間的通訊請(qǐng)求。這樣的模式允許程序員可以不需要有什么并發(fā)處理或者分布式系統(tǒng)的經(jīng)驗(yàn)，就可以處理超大的分布式系統(tǒng)得資源。
hadoop自帶了一些測試用的例子：
wukong@wukong1:~/hadoop$jar-tfhadoop-0.13.0-examples.jar
然后可以看到有如下幾個(gè)：grep，wordcount，sort等
我們?cè)谖募到y(tǒng)上新建一個(gè)文件夾：grepin
wukong@wukong1:~/hadoop$./bin/hadoopdfs-mkdirgrepin
在本地創(chuàng)建一個(gè)文件，test.txt
wukong@wukong1:~/hadoop$cat/tmp/tmp_miao/test.txt
test
傳到文件系統(tǒng)上去
wukong@wukong1:~/hadoop$./bin/hadoopdfs-put/tmp/tmp_miao/test.txtgrepin
然后wukong@wukong1:~/hadoop$./bin/hadoopdfs-lsrgrepin，可以看到：
/user/wukong/grepin/test.txt<r1>50
說明這個(gè)文件已經(jīng)上傳了。
然后就可以跑grep了：
$./bin/hadoopjarhadoop-0.13.0-examples.jargrepgrepingrepouttest
輸入文件在grepin中，計(jì)算結(jié)果寫入grepout中，grepout之前要不存在，不能把結(jié)果寫入已存在的文件中。
grepout中的文件有：（好像是指定幾個(gè)reducertask，會(huì)生成幾個(gè)結(jié)果文件，在hadoop-site.xml中通過mapred.reduce.tasks來指定reducertask的數(shù)量）
wukong@wukong1:~/hadoop$./bin/hadoopdfs-lsrgrepout
/user/wukong/grepout/part-00000<r1>8
/user/wukong/grepout/part-00001<r1>0
你也可以測試其它的例子。本節(jié)關(guān)于Hadoop安裝與使用內(nèi)容就介紹到這里。

【編輯推薦】

1. Hadoop安裝手冊(cè)新手必備
2. Hadoop開源已經(jīng)實(shí)現(xiàn)
3. Hadoop集群與Hadoop性能優(yōu)化
4. Hadoop 從Yahoo向Google的技術(shù)轉(zhuǎn)折
5. Yahoo公布Hadoop的源代碼