本節(jié)接著上節(jié)向大家介紹Windows下基于Eclipse的Hadoop開發(fā)環(huán)境完全配置的方法步驟，上節(jié)介紹了配置的準本工作，接下來該開始配置Hadoop了，這里向大家簡單分享一下，希望本節(jié)的學習可以讓你對Hadoop開發(fā)環(huán)境有新的理解。

Windows下基于Eclipse的Hadoop開發(fā)環(huán)境完全配置
 

一，解壓文件

打開一個cygwin，輸入以下命令
cd.
explorer.
會彈出一個新窗口，把原來下載的hadoop壓縮文件放到里面，并解壓。個人認為，其實不一定要放到cygwin的用戶根目錄下，沒試過。

二，配置Hadoop

打開解壓出來的文件夾，在hadoop-0.19.2\conf目錄下有一個hadoop-site.xml文件，打開，在原有的
<configuration></configuration>間插入
 

<property> 
<name>fs.default.name</name> 
<value>hdfs://localhost:9100</value> 
</property> 
<property> 
<name>mapred.job.tracker</name> 
<value>localhost:9101</value> 
</property> 
<property> 
<name>dfs.replication</name> 
<value>1</value> 
</property> 

保存。

三，格式化NameNode

打開一個cygwin，轉(zhuǎn)到hadoop目錄下，如果按照前面的解壓，直接用cdhadoop-0.19.2就可以了，接著輸入以下命令：
mkdirlogs
bin/hadoopnamenode-format

四，安裝Eclipse插件

因為本節(jié)介紹的Hadoop開發(fā)環(huán)境配置是基于Eclipse的，所以需要安裝Eclipse插件。打開解壓后的文件夾，把hadoop-0.19.2\contrib\eclipse-plugin下的hadoop-0.19.2-eclipse-plugin.jar文件拷到eclipse的plugins目錄下，重啟eclipse，在Window-》OpenPerspective-》other，彈出的窗口中應該有一項Map/Reduce項，代表安裝成功了。如果沒有的話，把eclipse下的configuration\org.eclipse.update文件夾刪了，再重啟eclipse。

五，啟動Hudoop集群
啟動五個cygwin。

在***中啟動NameNode，執(zhí)行：
cdhadoop-0.19.2
bin/hadoopnamenode

在第二個中啟動SecondaryNameNode，執(zhí)行：
cdhadoop-0.19.2
bin/hadoopsecondarynamenode

第三個中啟動jobtracker執(zhí)行：
cdhadoop-0.19.2
bin/hadoopjobtracker

第四個中啟動datanode，執(zhí)行：
cdhadoop-0.19.2
bin/hadoopdatanode

***一個啟動tasktracker，執(zhí)行：
cdhadoop-0.19.2
bin/hadooptasktracker

六，在Eclipse中配置Hadoop開發(fā)環(huán)境

啟動eclipse，轉(zhuǎn)到Map/ReducePerspective,在上圖的Map/ReduceLocations里，新建一個Location，填入以下值
*LocationName--localhost
*Map/ReduceMaster
oHost--localhost
oPort--9101
*DFSMaster
oCheck"UseM/RMasterHost"
oPort--9100
*Username--默認

七，上傳文件到HDFS

打開一個cygwin，執(zhí)行
cdhadoop-0.19.1
bin/hadoopfs-mkdirIn
bin/hadoopfs-put*.txtIn
這時，在eclipse的Projectexplorer的DFSlocation中，應該能反應變化，沒有的話，reconnect一下。Hadoop開發(fā)環(huán)境安全配置的下一步該創(chuàng)建工程了。

八，創(chuàng)建工程

啟動Eclipse，右鍵點擊ProjectExplorer窗口，選擇New->Project..找到Map/ReduceProject，點Next，輸入名字。
點擊下面的ConfigHadoopInstallDirectiory，輸入Hadoop的目錄，如：C:\cygwin\home\User\hadoop-0.19.2
右鍵點擊新創(chuàng)建的Hadoop工程，選擇New->Other轉(zhuǎn)到Map/Reduce文件夾,選擇MapReduceDriver然后點擊Next，輸入名字，點擊Finish。
新創(chuàng)建了一個文件，但是有錯誤，把
conf.setInputPath(newPath("src"));
conf.setOutputPath(newPath("out"));
換為
conf.setInputFormat(TextInputFormat.class);
conf.setOutputFormat(TextOutputFormat.class);

FileInputFormat.setInputPaths(conf,newPath("In"));
FileOutputFormat.setOutputPath(conf,newPath("Out"));
右鍵點擊文件，選擇RunAs-->RunonHadoop.在彈出的窗口中選擇"Chooseexistinghadooplocation",然后選擇剛才創(chuàng)建的localhost，點Finish就開始運行了。至此本節(jié)關于Hadoop開發(fā)環(huán)境安全配置就完成了。

【編輯推薦】

1. Hadoop Hdfs配置過程全程報道
2. Hadoop開發(fā)環(huán)境在Windows下的安全配置如何實現(xiàn)？
3. 專家講解 Hadoop:HBASE松散數(shù)據(jù)存儲設計
4. 兩種模式運行Hadoop分布式并行程序
5. Hadoop概念及其用法專家講解