自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

Hadoop集群搭建過程中相關(guān)環(huán)境配置詳解

開發(fā) 架構(gòu) Hadoop
在學(xué)習(xí)Hadoop搭建的過程中,你可能經(jīng)常遇到Hadoop集群搭建問題,這里就像大家介紹一下Hadoop集群搭建的方法,歡迎大家一起來學(xué)習(xí)。

本節(jié)向大家介紹一下Hadoop集群搭建的具體步驟,本節(jié)主要內(nèi)容有系統(tǒng)配置和Hadoop文件配置等,相信通過本節(jié)的介紹大家對Hadoop集群搭建有一定的認(rèn)識,讓我們一起來學(xué)習(xí)吧。
下面是Hadoop集群搭建具體介紹。

Hadoop集群搭建

一、Linux系統(tǒng)配置

1、在所有的機(jī)器上都建立相同的目錄,也可以就建立相同的用戶,以該用戶的home路徑來做hadoop的安裝路徑。例如在所有的機(jī)器上都建立了名為fan的用戶:/home/fan。

2、Etc/hosts文件末尾添加IP-主機(jī)映射關(guān)系,例如:

192.168.146.161fan001
192.168.146.162fan002
192.168.146.163fan003
192.168.146.164fan004

二、Hadoop集群搭建時RedHat中jdk的卸載和安裝

(一)jdk1.4卸載

由于redhatEnterprise5中自帶安裝了jdk1.4的,所以在安裝jdk1.6前我把jdk1.4的卸了,步驟如下:

1、打開終端輸入#rpm-qa|grepgcj,其現(xiàn)實(shí)內(nèi)容有:
java-1.4.2-gci-compat.........
java-1.4.2-gcj-compat-devel.....(具體忘了是什么了,反正有兩個java開頭的文件)

2、卸載
#rpm-e--nodepsjava-1.4.2-gci...(利用rpm-e--nodeps命令刪除上面查找的內(nèi)容)此時jdk1.4已被卸了。

(二)jdk1.6安裝

1.從網(wǎng)站上下載jdk1.6包(jdk-6u18-ea-bin-b04-linux-i586-28_oct_2009.bin),放到/usr目錄下。

2.在linux中切換到/usr目錄下,修改jdk1.6的使用權(quán)限:
#chmodu+xjdk-6u18-ea-bin-b04-linux-i586-28_oct_2009.bin

3.解壓并安裝:#./jdk-6u10-linux-i586-rpm.bin(默認(rèn)安裝在/usr/java中)可按ctrl+c跳過提示

4.Hadoop集群搭建中jdk1.6安裝環(huán)境變量配置:

文件目錄:/etc/profile
在該profile文件中添加:
JAVA_HOME=/usr/java/jdk1.6.0_10
JRE_HOME=/usr/java/jdk1.6.0_10/jre
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/binCLASSPATH=.:$JAVA_HOME/lib/jt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib(注意:前面的.:,linux中的;號為:號)
exportJAVA_HOMEJRE_HOMEPATHCLASSPATH

添加完畢保存退出
#source/etc/profile
#java-version
顯示javaversion"1.6.0_10"(jdk1.6安裝成功)

5、卸載rpm版的jdk:(未使用)
#rpm-qa|grepjdk
顯示:jdk-1.6.0_10-fcs
卸載:#rpm-e--nodepsjdk-1.6.0_10-fcs

三、配置Hadoop

看一下Hadoop集群搭建中關(guān)于Hadoop的配置。首先下載Hadoop,解壓到Master上,放到用戶根目錄下。這里我是下載的0.19.2的版本。此時Hadoop的安裝路徑就是/home/fan/hadoop-0.19.2。然后修改Hadoop配置文件,解壓后進(jìn)入conf目錄,主要需要修改以下文件:hadoop-env.sh,hadoop-site.xml、masters、slaves。

1、修改conf/hadoop-env.sh,添加jdk支持exportJAVA_HOME=/usr/jdk1.6.0_18

2、修改hadoop目錄下的conf/site-site.xml文件。

3、masters增加:
fan001
slaves增加:
fan002
fan003
fan004,本節(jié)關(guān)于Hadoop集群搭建介紹沒有結(jié)束,請繼續(xù)關(guān)注。

【編輯推薦】

  1. 技術(shù)分享 Hadoop集群搭建方法
  2. Hadoop安裝與使用如何進(jìn)行?
  3. 專家講解 Hadoop:HBASE松散數(shù)據(jù)存儲設(shè)計
  4. 兩種模式運(yùn)行Hadoop分布式并行程序
  5. Hadoop應(yīng)用之Hadoop安裝篇
責(zé)任編輯:佚名 來源: csdn.net
相關(guān)推薦

2010-06-04 17:03:17

實(shí)現(xiàn)Hadoop

2012-11-01 17:15:04

2022-10-14 15:44:03

大數(shù)據(jù)Hadoop

2010-01-04 18:25:24

Ubuntu Auda

2016-10-27 09:37:10

Hadoop集群配置

2011-12-07 16:11:50

Hadoop集群搭建

2011-05-03 10:31:59

噴墨打印機(jī)注墨誤區(qū)

2010-01-04 15:27:45

Silverlight

2009-05-15 09:33:52

開發(fā)線程沖突lock

2011-06-29 10:18:20

LINUX QT ARM

2011-08-30 16:32:41

MTK開發(fā)環(huán)境

2012-09-13 13:26:40

Hadoop集群

2015-05-06 13:34:14

MySQL集群搭建

2021-03-16 11:10:37

Redis數(shù)據(jù)庫命令

2021-01-07 10:18:03

Redis數(shù)據(jù)庫環(huán)境搭建

2010-04-30 14:22:43

Oracle通過

2014-03-17 10:05:45

Hadoop集群

2021-04-19 08:52:58

Hadoop集群搭建Python

2010-06-07 16:51:06

rsync 使用

2010-11-12 09:44:59

Cassandra配置
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號