自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

Hadoop 2.0：分布式環(huán)境搭建安裝配置

作者：admin
大數(shù)據(jù) 分布式 Hadoop
今天我們將搭建的是Hadoop 2.0分布式環(huán)境，包括真實(shí)主機(jī)和虛擬機(jī)的環(huán)境。

集群環(huán)境：

1 NameNode(真實(shí)主機(jī)):

Linux yan-Server 3.4.36-gentoo #3 SMP Mon Apr 1 14:09:12 CST 2013 x86_64 AMD Athlon(tm) X4 750K Quad Core Processor AuthenticAMD GNU/Linux

2 DataNode1(虛擬機(jī)):

Linux node1 3.5.0-23-generic #35~precise1-Ubuntu SMP Fri Jan 25 17:13:26 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux

3 DataNode2(虛擬機(jī)):

Linux node2 3.5.0-23-generic #35~precise1-Ubuntu SMP Fri Jan 25 17:13:26 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux

4 DataNode3(虛擬機(jī)):

Linux node3 3.5.0-23-generic #35~precise1-Ubuntu SMP Fri Jan 25 17:13:26 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux

1.安裝VirtualBox虛擬機(jī)

Gentoo下直接命令編譯安裝，或者官網(wǎng)下載二進(jìn)制安裝包直接安裝：

emerge -av virtualbox

2.虛擬機(jī)下安裝Ubuntu 12.04 LTS

使用Ubuntu鏡像安裝完成后，然后再克隆另外兩臺(tái)虛擬主機(jī)（這里會(huì)遇到克隆的主機(jī)啟動(dòng)的時(shí)候主機(jī)名和MAC地址會(huì)是一樣的，局域網(wǎng)會(huì)造成沖突）

主機(jī)名修改文件

/etc/hostname

MAC地址修改需要先刪除文件

/etc/udev/rules.d/70-persistent-net.rules

然后在啟動(dòng)之前設(shè)置VirtualBox虛擬機(jī)的MAC地址

啟動(dòng)后會(huì)自動(dòng)生成刪除的文件，配置網(wǎng)卡的MAC地址。

為了更方便的在各主機(jī)之間共享文件，可以啟動(dòng)主機(jī)yan-Server的NFS，將命令加入/etc/rc.local中，讓客戶端自動(dòng)掛載NFS目錄。

刪除各虛擬機(jī)的NetworkManager，手動(dòng)設(shè)置靜態(tài)的IP地址，例如node2主機(jī)的/etc/network/interfaces文件配置如下：

 

  1. auto lo 
  2. iface lo inet loopback 
  3. auto eth0 
  4. iface eth0 inet static 
  5. address 192.168.137.202 
  6. gateway 192.168.137.1 
  7. netmask 255.255.255.0 
  8. network 192.168.137.0 
  9. broadcast 192.168.137.255 

主機(jī)的基本環(huán)境設(shè)置完畢，下面是主機(jī)對(duì)應(yīng)的IP地址

類型

主機(jī)名

IP

NameNode

yan-Server

192.168.137.100

DataNode

node1

192.168.137.201

DataNode

node2

192.168.137.202

DataNode

node3

192.168.137.203

為了節(jié)省資源，可以設(shè)置虛擬機(jī)默認(rèn)啟動(dòng)字符界面，然后通過主機(jī)的TERMINAL ssh遠(yuǎn)程登錄。（SSH已經(jīng)啟動(dòng)服務(wù)，允許遠(yuǎn)程登錄，安裝方法不再贅述）

設(shè)置方式是修改/etc/default/grub文件將下面的一行解除注釋

GRUB_TERMINAL=console

然后update-grub即可。

3.Hadoop環(huán)境的配置

3.1配置JDK環(huán)境（之前就做好了，這里不再贅述）

3.2在官網(wǎng)下載Hadoop，然后解壓到/opt/目錄下面（這里使用的是hadoop-2.0.4-alpha）

然后進(jìn)入目錄/opt/hadoop-2.0.4-alpha/etc/hadoop，配置hadoop文件

修改文件hadoop-env.sh

 

  1. export HADOOP_FREFIX=/opt/hadoop-2.0.4-alpha 
  2. export HADOOP_COMMON_HOME=${HADOOP_FREFIX} 
  3. export HADOOP_HDFS_HOME=${HADOOP_FREFIX} 
  4. export PATH=$PATH:$HADOOP_FREFIX/bin 
  5. export PATH=$PATH:$HADOOP_FREFIX/sbin 
  6. export HADOOP_MAPRED_HOME=${HADOOP_FREFIX} 
  7. export YARN_HOME=${HADOOP_FREFIX} 
  8. export HADOOP_CONF_HOME=${HADOOP_FREFIX}/etc/hadoop 
  9. export YARN_CONF_DIR=${HADOOP_FREFIX}/etc/hadoop 
  10. export JAVA_HOME=/opt/jdk1.7.0_21 

修改文件hdfs-site.xml

 

  1. <configuration> 
  2. <property> 
  3.   <name>dfs.namenode.name.dir</name> 
  4.   <value>file:/opt/hadoop-2.0.4-alpha/workspace/name</value> 
  5.   <description>Determines where on the local filesystem the DFS name node should store the 
  6. name table.If this is a comma-delimited list of directories,then name table is 
  7. replicated in all of the directories,for redundancy.</description> 
  8.   <final>true</final> 
  9. </property> 
  10. <property> 
  11.   <name>dfs.datanode.data.dir</name> 
  12.   <value>file:/opt/hadoop-2.0.4-alpha/workspace/data</value> 
  13.   <description>Determines where on the local filesystem an DFS data node should 
  14. store its blocks.If this is a comma-delimited list of directories,then data will 
  15. be stored in all named directories,typically on different devices.Directories that do not exist are ignored. 
  16.   </description> 
  17.   <final>true</final> 
  18. </property> 
  19. <property> 
  20.   <name>dfs.replication</name> 
  21.   <value>1</value> 
  22. </property> 
  23. <property> 
  24.   <name>dfs.permission</name> 
  25.   <value>false</value> 
  26. </property> 
  27. </configuration> 

修改文件mapred-site.xml

 

  1. <configuration> 
  2. <property> 
  3.   <name>mapreduce.framework.name</name> 
  4.   <value>yarn</value> 
  5. </property> 
  6. <property> 
  7.   <name>mapreduce.job.tracker</name> 
  8.   <value>hdfs://yan-Server:9001</value> 
  9.   <final>true</final> 
  10. </property> 
  11. <property> 
  12.   <name>mapreduce.map.memory.mb</name> 
  13.   <value>1536</value> 
  14. </property> 
  15. <property> 
  16.   <name>mapreduce.map.java.opts</name> 
  17.   <value>-Xmx1024M</value> 
  18. </property> 
  19. <property> 
  20.   <name>mapreduce.reduce.memory.mb</name> 
  21.   <value>3072</value> 
  22. </property> 
  23. <property> 
  24.   <name>mapreduce.reduce.java.opts</name> 
  25.   <value>-Xmx2560M</value> 
  26. </property> 
  27. <property> 
  28.   <name>mapreduce.task.io.sort.mb</name> 
  29.   <value>512</value> 
  30. </property> 
  31. <property> 
  32.   <name>mapreduce.task.io.sort.factor</name> 
  33.   <value>100</value> 
  34. </property> 
  35. <property> 
  36.   <name>mapreduce.reduce.shuffle.parallelcopies</name> 
  37.   <value>50</value> 
  38. </property> 
  39. <property> 
  40.   <name>mapred.system.dir</name> 
  41.   <value>file:/opt/hadoop-2.0.4-alpha/workspace/systemdir</value> 
  42.   <final>true</final> 
  43. </property> 
  44. <property> 
  45.   <name>mapred.local.dir</name> 
  46.   <value>file:/opt/hadoop-2.0.4-alpha/workspace/localdir</value> 
  47.   <final>true</final> 
  48. </property> 
  49. </configuration> 

修改文件yarn-env.xml

 

  1. export HADOOP_FREFIX=/opt/hadoop-2.0.4-alpha 
  2. export HADOOP_COMMON_HOME=${HADOOP_FREFIX} 
  3. export HADOOP_HDFS_HOME=${HADOOP_FREFIX} 
  4. export PATH=$PATH:$HADOOP_FREFIX/bin 
  5. export PATH=$PATH:$HADOOP_FREFIX/sbin 
  6. export HADOOP_MAPRED_HOME=${HADOOP_FREFIX} 
  7. export YARN_HOME=${HADOOP_FREFIX} 
  8. export HADOOP_CONF_HOME=${HADOOP_FREFIX}/etc/hadoop 
  9. export YARN_CONF_DIR=${HADOOP_FREFIX}/etc/hadoop 
  10. export JAVA_HOME=/opt/jdk1.7.0_21 

修改文件yarn-site.xml

 

  1. <configuration> 
  2. <property> 
  3.   <name>yarn.resourcemanager.address</name> 
  4.   <value>yan-Server:8080</value> 
  5. </property> 
  6. <property> 
  7.   <name>yarn.resourcemanager.scheduler.address</name> 
  8.   <value>yan-Server:8081</value> 
  9. </property> 
  10. <property> 
  11.   <name>yarn.resourcemanager.resource-tracker.address</name> 
  12.   <value>yan-Server:8082</value> 
  13. </property> 
  14. <property> 
  15.   <name>yarn.nodemanager.aux-services</name> 
  16.   <value>mapreduce.shuffle</value> 
  17. </property> 
  18. <property> 
  19.   <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> 
  20.   <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
  21. </property> 
  22. </configuration> 

將配置好的Hadoop復(fù)制到各DataNode（這里DataNode的JDK配置和主機(jī)的配置是一致的，不需要再修改JDK的配置）

3.3 修改主機(jī)的/etc/hosts，將NameNode加入該文件

192.168.137.100 yan-Server

192.168.137.201 node1
192.168.137.202 node2
192.168.137.203 node3

3.4 修改各DataNode的/etc/hosts文件，也添加上述的內(nèi)容

192.168.137.100 yan-Server
192.168.137.201 node1
192.168.137.202 node2
192.168.137.203 node3

3.5 配置SSH免密碼登錄（所有的主機(jī)都使用root用戶登錄）

主機(jī)上運(yùn)行命令

ssh-kengen -t rsa

一路回車，然后復(fù)制.ssh/id_rsa.pub為各DataNode的root用戶目錄.ssh/authorized_keys文件

然后在主機(jī)上遠(yuǎn)程登錄一次

ssh root@node1

***登錄可能會(huì)需要輸入密碼，之后就不再需要。（其他的DataNode也都遠(yuǎn)程登錄一次確?？梢悦廨斎朊艽a登錄）

4.啟動(dòng)Hadoop

為了方便，在主機(jī)的/etc/profile配置hadoop的環(huán)境變量，如下：

 

  1. export HADOOP_PREFIX="/opt/hadoop-2.0.4-alpha" 
  2. export PATH=$PATH:$HADOOP_PREFIX/bin 
  3. export PATH=$PATH:$HADOOP_PREFIX/sbin 
  4. export HADOOP_MAPRED_HOME=${HADOOP_PREFIX} 
  5. export HADOOP_COMMON_HOME=${HADOOP_PREFIX} 
  6. export HADOOP_HDFS_HOME=${HADOOP_PREFIX} 
  7. export YARN_HOME=${HADOOP_PREFIX} 

4.1 格式化NameNode

hdfs namenode -format

4.2 啟動(dòng)全部進(jìn)程

start-all.sh


在瀏覽器查看，地址：

http://localhost:8088/

所有數(shù)據(jù)節(jié)點(diǎn)DataNode正常啟動(dòng)。

4.3 關(guān)閉所有進(jìn)程

stop-all.sh

至此，Hadoop環(huán)境搭建基本結(jié)束。

原文鏈接：http://cloud.riaos.com/?p=8001977

【編輯推薦】

責(zé)任編輯：彭凡 來源： RIAO.COM
Hadoop 2.0
相關(guān)推薦

2017-08-10 10:17:32

Hadoop分布式搭建

2012-05-21 10:19:31

Hadoop

2017-10-25 18:25:40

Hadoop偽分布式環(huán)境部署

2011-09-28 11:22:52

Hadoop

2012-02-23 09:59:05

Hadoop分布式應(yīng)用

2014-01-15 13:56:28

分布式文件系統(tǒng)TFS淘寶

2014-01-14 15:56:54

分布式文件系統(tǒng)TFS淘寶

2014-01-10 10:39:35

分布式文件系統(tǒng)TFS

2013-06-13 10:39:54

Hadoop2.0.4

2014-01-15 16:49:48

分布式文件系統(tǒng)TFS淘寶

2012-09-19 14:09:20

Hadoop開源

2013-11-28 09:44:00

2017-12-07 15:24:10

Hadoop大數(shù)據(jù)服務(wù)器

2014-01-15 14:00:33

分布式文件系統(tǒng)TFS淘寶

2011-03-28 13:39:45

nagios分布式

2014-09-04 09:35:17

2019-09-26 15:43:52

Hadoop集群防火墻

2014-07-15 11:15:44

hadoop分布式部署

2017-02-28 09:48:30

2010-06-03 14:42:47

Hadoop分布式集群
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)