[[207661]]

一、準備工作

• 在 /opt/目錄下創(chuàng)建文件夾modules，和softwares
  • 修改操作權(quán)限(切換至root用戶下)

chown -R wxt:wxt /opt/ 

• 然后切換至普通用戶

mkdir softwares 
 
mkdir modules  

• 安裝lrzsz (在linux里可代替ftp上傳和下載。)

首先安裝lrzsz

yum -y install lrzsz 

• 上傳文件，執(zhí)行命令rz，會跳出文件選擇窗口，選擇好文件，點擊確認即可。

rz 

• 下載文件，執(zhí)行命令sz

sz 

二、Hadoop環(huán)境部署-JDK部分

1.

• 上傳jdk 至softwares

2.

• 解壓jdk 至modules
  
  • tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules/

3.

• 修改環(huán)境變量
  
  • 切換至 root 用戶修改 vi /etc/profile 文件，配置jdk環(huán)境變量

#JAVA_HOME 
export JAVA_HOME=/opt/modules/jdk1.7.0_67 
export PATH=$PATH:$JAVA_HOME/bin  

4.

•  source /etc/profile 使文件生效
• 驗證是否配置成功
  • java -version

java version "1.7.0_09-icedtea" 
OpenJDK Runtime Environment (rhel-2.3.4.1.el6_3-x86_64) 
OpenJDK 64-Bit Server VM (build 23.2-b09, mixed mode)  

• jps命令可以查看java 進程
• echo $JAVA_HOME

三、Hadoop偽分布式環(huán)境部署-Hadoop部分

1.

• 上傳文件hadoop-2.5.0.tar.gz，至softwares
• 解壓文件至modules
  • tar -zxvf hadoop-2.5.0.tar.gz -C /opt/modules/

2.

• 清理Hadoop的目錄，將hadoop/share/doc目錄刪除，節(jié)省磁盤空間， 通過這個命令查看df -h

3.

• 修改hadoop/etc/hadoop/hadoop-env.sh文件
• 修改hadoop/etc/hadoop/mapred-env.sh文件
• 修改hadoop/etc/hadoop/yarn-env.sh文件
• 指定Java安裝路徑
  • export JAVA_HOME=/opt/modules/jdk1.7.0_67

4.

• 注意：
  • Hadoop中的四個核心模塊對應四個默認配置文件
  • HDFS,Hadoop默認的文件系統(tǒng),是文件系統(tǒng)的訪問入口
  • Namenode,所在的機器9000端口是早期Hadoop 1.x使用的，現(xiàn)在 Hadoop 2.x使用的是8020端口號用于節(jié)點直接內(nèi)部通信，使用RPC通信機制

5.

• 修改hadoop/etc/hadoop/core-site.xml文件

<property> 
    <name>fs.defaultFS</name> 
    <!--bigdata-4 為我的localhost 名字--> 
    <value>hdfs://bigdata-4:8020</value> 
</property> 
<property> 
    <name>hadoop.tmp.dir</name> 
    <value>/opt/modules/hadoop-2.5.0/data/tmp</value> 
</property>  

6.

• 注意：
  • /tmp表示臨時存儲目錄，系統(tǒng)每次重啟會按照腳本預先設置好的刪 除 里面的文件重新自定義系統(tǒng)生成的文件路徑，/tmp會被清空，無法保證數(shù)據(jù)文件安全性。

7.

• 修改hadoop/etc/hadoop/hdfs-site.xml文件
  • 指定HDFS文件存儲的副本數(shù)個數(shù)，默認是3個，這里是單臺機器就設置為1，這個數(shù)字要小于datanode的節(jié)點數(shù)。

<property> 
    <name>dfs.replication</name> 
    <value>1</value> 
</property>  

8.

• 修改hadoop/etc/hadoop/slaves文件
  • 指定從節(jié)點的機器位置，添加主機名即可 

bigdata-4 

9.

• 格式化namenode

bin/hdfs namenode -format 

10.

• 啟動命令
  • sbin/hadoop-daemon.sh start namenode
  • sbin/hadoop-daemon.sh start datanode

11.

• 查看HDFS外部UI界面
  • bigdata-04或者IP地址 跟上50070端口號，外部通信http dfs.namenode.http-address 50070
  • http://bigdata-4:50070 (如果windows本地沒有配置hosts,需要配置)
  • 如果不能正確打開頁面，請檢查防火墻是否關(guān)閉
    • 切換至root 用戶，service iptables status
    • 關(guān)閉防火墻 chkconfig iptables off

12.

• 測試HDFS環(huán)境
  • 創(chuàng)建文件夾，HDFS中有用戶主目錄的概念，和Linux一樣
  • bin/hdfs dfs -mkdir -p wxt_test/iuput

13.

• 上傳文件到HDFS(隨便找一個文件上傳就行)
  • bin/hdfs dfs -put /opt/modules/hadoop-2.5.0/etc/hadoop/core-site.xml wxt_test/input/core-site.xml
  • 上傳成功，HDFS外部UI界面，會有上傳的文件顯示

14.

• 讀取HDFS的文件
  • bin/hdfs dfs -text /core-site.xml
  • 終端會顯示上傳文件的內(nèi)容。

15.

• 下載文件到本地(指定下載到哪里，同時可以重命名成get-site.xml)bin/hdfs dfs -get /core-site.xml /home/wxt/Desktop/get-site.xml然后你會看到這個文件，并且重命名于桌面。

Hadoop 偽分布式搭建至此結(jié)束。