在學(xué)習(xí)Hadoop的過程中，你可能會(huì)遇到HadoopHBase單機(jī)環(huán)境簡單配置問題，本節(jié)就和大家分享一下HadoopHBase單機(jī)環(huán)境簡單配置的方法，希望通過本節(jié)的介紹大家能夠掌握其方法。

HadoopHBase單機(jī)環(huán)境簡單配置教程

Hadoop是Apache的一個(gè)項(xiàng)目,它是一個(gè)實(shí)現(xiàn)了MapReduce計(jì)算模型的可以運(yùn)用于大型集群并行計(jì)算的分布式并行計(jì)算編程框架,當(dāng)然分布式計(jì)算離不開分布式存儲(chǔ),Hadoop框架包含了分布式存儲(chǔ)系統(tǒng)HDFS(HadoopDistributedFileSystem),其存儲(chǔ)和數(shù)據(jù)結(jié)構(gòu)很類似Google的GFS.
HBase是Hadoop的子項(xiàng)目,它是基于HadoopHDFS分布存儲(chǔ)系統(tǒng)的一個(gè)GoogleBigTable開源實(shí)現(xiàn)(最近看了BigTable的Paper,很受鼓舞和啟發(fā)),它在存儲(chǔ)數(shù)據(jù)結(jié)構(gòu)上并非關(guān)系型,而是疏松分布式的,持久并按多維排序并索引的map型,下次我把介紹BigTable和HBase的文章轉(zhuǎn)載過來.
GoogleBigTable的paper:http://labs.google.com/papers/bigtable-osdi06.pdf

在初接觸HadoopHbase的時(shí)候,大多數(shù)技術(shù)人員只希望通過簡單的方法初步搭起框架環(huán)境,但我找了好多安裝手冊都是上來就部署集群分布環(huán)境(盡管做Hadoop就是為了這個(gè)目的),搭建集群環(huán)境的時(shí)候要設(shè)置ssh協(xié)議訪問權(quán)限,要生成訪問公鑰,并且slaves配置上的小錯(cuò)誤也會(huì)導(dǎo)致整個(gè)部署問題重重,所以我在部署成功后記錄下最簡單運(yùn)行的standalone模式的安裝配置過程,希望初學(xué)者在需要的時(shí)候能找到這個(gè)小小的guide,以后有時(shí)間我會(huì)再把集群配置的方法寫出來.

開始:
1.在Apache/Hadoop項(xiàng)目的網(wǎng)站(hadoop.apache.org/)下載hadoophbase發(fā)行包,此處兩個(gè)發(fā)行包的大版本號(hào)一定要一致,譬如都是0.18版本:hadoop-0.18.2.tar.gzhbase-0.18.1.tar.gz

2.使用root身份登錄目標(biāo)服務(wù)器系統(tǒng)(Suse10Linux)

首先安裝java虛擬機(jī),這個(gè)比較簡單,隨便找個(gè)綠色的解壓就可以了,在這個(gè)例子里面我使用IBMWAS6.1附帶的jdk,它的home目錄是/opt/IBM/WebSphere/AppServer/java,我們只需要配置系統(tǒng)的環(huán)境變量就可以了.
編輯全局環(huán)境變量文件/etc/profile,在文件后面添加
exportJAVA_HOME=/opt/IBM/WebSphere/AppServer/java
exportPATH=$JAVA_HOME:$PATH
保存profile文件后使用$source/etc/profile命令重新加載profile,然后隨便在一個(gè)目錄下面運(yùn)行$java-version查看javahome環(huán)境變量和path變量是否被正確加載.
另外到/etc/hosts文件中查看主機(jī)映射是否存在,例如127.0.0.1localhost或者什么其他的名字,在這里默認(rèn)配置本機(jī)為localhost,如果需要做分布式的話,本機(jī)要做namenode,所以要把所有的datanode的host添加到這里面.

3.創(chuàng)建hadoop用戶,$useraddhadoop可以用$passwdhadoop修改hadoop用戶的登錄密碼.

4.創(chuàng)建hadoop用戶的home目錄,如果打算在別處安裝hadoop/hbase的話可以不這樣做,這里我們默認(rèn)將hadoophbase安裝在/home/${username}目錄下.

$cd/home
$mkdirhadoop
將目錄用戶指派給hadoop
$chownhadoophadoop
改變目錄權(quán)限,這里我們配大一些,其實(shí)只要644就足夠了:
$chmod755hadoop

5.使用hadoop用戶登錄系統(tǒng),將下載的兩個(gè)發(fā)行包文件傳到/home/hadoop目錄下面,然后給它們加上執(zhí)行權(quán)限:
$chmoda+xhadoop-0.18.2.tar.gz
$chmoda+xhbase-0.18.1.tar.gz

6.解壓hadoop:

$tarzxvfhadoop-0.18.2.tar.gz
這樣做會(huì)在/home/hadoop目錄下解壓hadoop發(fā)行包并創(chuàng)建到/home/hadoop/hadoop。本節(jié)關(guān)于HadoopHBase單機(jī)環(huán)境簡單配置內(nèi)容沒有介紹完整，請期待下節(jié)介紹。

【編輯推薦】

1. 深入剖析Hadoop HBase
2. Hadoop開源已經(jīng)實(shí)現(xiàn)
3. Hadoop集群與Hadoop性能優(yōu)化
4. Hadoop 從Yahoo向Google的技術(shù)轉(zhuǎn)折
5. Yahoo公布Hadoop的源代碼