本節(jié)和大家一起學(xué)習(xí)一下Hadoop偽分布安裝模式，上節(jié)我們介紹了Hadoop本地模式的安裝，通過本節(jié)介紹大家可以做一下對比，看一下那種模式安裝適合你，歡迎大家一起來學(xué)習(xí)Hadoop偽分布安裝。為了便于大家理解，先看一下Hadoop的概念。

Hadoop偽分布安裝模式　　

Hadoop概念
　　　一個分布式系統(tǒng)基礎(chǔ)架構(gòu)，由Apache基金會開發(fā)。用戶可以在不了解分布式底層細節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力高速運算和存儲。
　　簡單地說來，Hadoop是一個可以更容易開發(fā)和運行處理大規(guī)模數(shù)據(jù)的軟件平臺。
　　Hadoop實現(xiàn)了一個分布式文件系統(tǒng)（HadoopDistributedFileSystem），簡稱HDFS。HDFS有著高容錯性（fault-tolerent）的特點，并且設(shè)計用來部署在低廉的（low-cost）硬件上。而且它提供高傳輸率（highthroughput）來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（largedataset）的應(yīng)用程序。HDFS放寬了（relax）POSIX的要求（requirements）這樣可以流的形式訪問（streamingaccess）文件系統(tǒng)中的數(shù)據(jù)。下面就hadoop0.20.1為藍本，介紹在UbuntuLinux9.10下hadoop偽分布安裝的方法。

支持的平臺：
　　Linux，可作為開發(fā)和產(chǎn)品部署的平臺；
　　Windows，可作為開發(fā)平臺。

事先需要的軟件：
　　1.JavaTM1.6.x，必須安裝，建議選擇Sun公司發(fā)行的Java版本；
　　2.ssh必須安裝，并保證sshd運行，hadoop將以ssh進行通訊；
　　3.如果是windows，則需要裝Cygwin，用以支持shell命令。

安裝可用的模式：
　　1.本地模式；
　　2.偽分布模式；
　　3.全分布模式。

Hadoop偽分布模式安裝步驟：

　　1.將hadoop安裝包解壓縮到某目錄下；
　　2.修改conf/hadoop-env.sh文件，exportJAVA_HOME=那行設(shè)置正確的JAVA_HOME位置
　　3.修改conf/core-site.xml，改為：
 

viewplaincopytoclipboardprint?  
<configuration> 
<property> 
<name>fs.default.name</name> 
<value>hdfs://localhost:9000</value> 
</property> 
</configuration> 
<configuration> 
<property> 
<name>fs.default.name</name> 
<value>hdfs://localhost:9000</value> 
</property> 
</configuration> 

　　4.修改conf/hdfs-site.xml，改為：
 

viewplaincopytoclipboardprint?  
<configuration> 
<property> 
<name>dfs.replication</name> 
<value>1</value> 
</property> 
</configuration> 
<configuration> 
<property> 
<name>dfs.replication</name> 
<value>1</value> 
</property> 
</configuration> 

　　5.修改conf/mapred-site.xml，改為：
 

viewplaincopytoclipboardprint?  
<configuration> 
<property> 
<name>mapred.job.tracker</name> 
<value>localhost:9001</value> 
</property> 
</configuration> 
<configuration> 
<property> 
<name>mapred.job.tracker</name> 
<value>localhost:9001</value> 
</property> 
</configuration> 

　　
6.設(shè)置本機ssh本機無密碼
　　　先測試一下，輸入命令sshlocalhost，如果提示密碼，則需要進行以下操作：
　　　　　$ssh-keygen-tdsa-P''-f~/.ssh/id_dsa
　　　　　$cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys
　　
7.格式化namenode：
　　　　　$bin/hadoopnamenode-format
　　
8.啟動Hadoop：
　　　　　$bin/start-all.sh
　　至此，hadoop偽分布模式安裝完畢！

【編輯推薦】

1. Hadoop應(yīng)用介紹之Hadoop安裝環(huán)境配置
2. Hadoop安裝與使用如何進行？
3. 專家講解 Hadoop:HBASE松散數(shù)據(jù)存儲設(shè)計
4. 兩種模式運行Hadoop分布式并行程序
5. Hadoop應(yīng)用之Hadoop安裝篇