Hadoop 2.0.2和Hive 0.10.0單機(jī)偽集群配置
作者:那闖
今天我們要講的是Hadoop 2.0.2和Hive 0.10.0單機(jī)偽集群配置。
Hadoop:
1.安裝JDK 1.6以上
2.下載Hadoop包
3.添加環(huán)境變量:
- export JAVA_HOME=/usr/lib/jvm/java-7-sun
- export JRE_HOME=$JAVA_HOME/jre
- export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
- export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
- export HADOOP_PREFIX=/home/nachuang/Hadoop/hadoop-2.0.2-alpha
4.修改配置文件:
1).core-site.xml:
- <configuration>
- <property>
- <name>fs.default.name</name>
- <value>hdfs://localhost:9000</value>
- </property>
- <property>
- <name>hadoop.tmp.dir</name>
- <value>/home/nachuang/Hadoop/hadoop-2.0.2-alpha/tmp</value>
- </property>
- </configuration>
2).hdfs-site.xml:
- <configuration>
- <property>
- <name>dfs.name.dir</name>
- <value>/home/nachuang/Hadoop/hadoop-2.0.2-alpha/datalog1,
- /home/nachuang/Hadoop/hadoop-2.0.2-alpha/datalog2</value>
- </property>
- <property>
- <name>dfs.data.dir</name>
- <value>/home/nachuang/Hadoop/hadoop-2.0.2-alpha/data1,
- /home/nachuang/Hadoop/hadoop-2.0.2-alpha/data2</value>
- </property>
- <property>
- <name>dfs.replication</name>
- <value>1</value>
- </property>
- </configuration>
Hive:
只需添加兩個(gè)環(huán)境變量:
- export HADOOP_HOME=$HADOOP_PREFIX
- port HIVE_HOME=/home/nachuang/hive-0.10.0-bin
在hdfs 啟動以后,啟動hive 的cli 。
默認(rèn)的配置使用的是derby數(shù)據(jù)庫,
創(chuàng)建的表可以在hdfs上看到。
原文鏈接:http://blog.csdn.net/edwardvsnc/article/details/8551423
責(zé)任編輯:彭凡
來源:
博客