自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

如何在CentOS上安裝Apache Hadoop

作者：Anismaj
系統(tǒng) Linux Hadoop
Apache Hadoop 軟件庫是一個框架，它允許使用簡單的編程模型在計算機(jī)集群上對大型數(shù)據(jù)集進(jìn)行分布式處理。Apache™ Hadoop® 是可靠、可擴(kuò)展、分布式計算的開源軟件。本文將幫助你逐步在 CentOS 上安裝 hadoop 并配置單節(jié)點 hadoop 集群。

Apache Hadoop 軟件庫是一個框架，它允許使用簡單的編程模型在計算機(jī)集群上對大型數(shù)據(jù)集進(jìn)行分布式處理。Apache™ Hadoop® 是可靠、可擴(kuò)展、分布式計算的開源軟件。

該項目包括以下模塊：

  • Hadoop Common：支持其他 Hadoop 模塊的常用工具。
  • Hadoop 分布式文件系統(tǒng) (HDFS™)：分布式文件系統(tǒng)，可提供對應(yīng)用程序數(shù)據(jù)的高吞吐量訪問支持。
  • Hadoop YARN：作業(yè)調(diào)度和集群資源管理框架。
  • Hadoop MapReduce：一個基于 YARN 的大型數(shù)據(jù)集并行處理系統(tǒng)。

本文將幫助你逐步在 CentOS 上安裝 hadoop 并配置單節(jié)點 hadoop 集群。

安裝 Java

在安裝 hadoop 之前，請確保你的系統(tǒng)上安裝了 Java。使用此命令檢查已安裝 Java 的版本。

  1. java -version 
  2. java version "1.7.0_75" 
  3. Java(TM) SE Runtime Environment (build 1.7.0_75-b13) 
  4. Java HotSpot(TM) 64-Bit Server VM (build 24.75-b04, mixed mode) 

要安裝或更新 Java，請參考下面逐步的說明。

***步是從 Oracle 官方網(wǎng)站下載***版本的 java。

  1. cd /opt/ 
  2. wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz" 
  3. tar xzf jdk-7u79-linux-x64.tar.gz 

需要設(shè)置使用更新版本的 Java 作為替代。使用以下命令來執(zhí)行此操作。

  1. cd /opt/jdk1.7.0_79/ 
  2. alternatives --install /usr/bin/java java /opt/jdk1.7.0_79/bin/java 2 
  3. alternatives --config java  
  1. There are 3 programs which provide 'java'. 
  2.   Selection    Command 
  3. ----------------------------------------------- 
  4. *  1           /opt/jdk1.7.0_60/bin/java 
  5.  + 2           /opt/jdk1.7.0_72/bin/java 
  6.    3           /opt/jdk1.7.0_79/bin/java 
  7. Enter to keep the current selection[+], or type selection number: 3 [Press Enter] 

現(xiàn)在你可能還需要使用 alternatives 命令設(shè)置 javac 和 jar 命令路徑。

  1. alternatives --install /usr/bin/jar jar /opt/jdk1.7.0_79/bin/jar 2 
  2. alternatives --install /usr/bin/javac javac /opt/jdk1.7.0_79/bin/javac 2 
  3. alternatives --set jar /opt/jdk1.7.0_79/bin/jar 
  4. alternatives --set javac /opt/jdk1.7.0_79/bin/javac 

下一步是配置環(huán)境變量。使用以下命令正確設(shè)置這些變量。

設(shè)置 JAVA_HOME 變量：

  1. export JAVA_HOME=/opt/jdk1.7.0_79 

設(shè)置 JRE_HOME 變量：

  1. export JRE_HOME=/opt/jdk1.7.0_79/jre 

設(shè)置 PATH 變量：

  1. export PATH=$PATH:/opt/jdk1.7.0_79/bin:/opt/jdk1.7.0_79/jre/bin 

安裝 Apache Hadoop

設(shè)置好 java 環(huán)境后。開始安裝 Apache Hadoop。

***步是創(chuàng)建用于 hadoop 安裝的系統(tǒng)用戶帳戶。

  1. useradd hadoop 
  2. passwd hadoop 

現(xiàn)在你需要配置用戶 hadoop 的 ssh 密鑰。使用以下命令啟用無需密碼的 ssh 登錄。

  1. su - hadoop 
  2. ssh-keygen -t rsa 
  3. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 
  4. chmod 0600 ~/.ssh/authorized_keys 
  5. exit 

現(xiàn)在從官方網(wǎng)站 hadoop.apache.org 下載 hadoop ***的可用版本。

  1. cd ~ 
  2. wget http://apache.claz.org/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz 
  3. tar xzf hadoop-2.6.0.tar.gz 
  4. mv hadoop-2.6.0 hadoop 

下一步是設(shè)置 hadoop 使用的環(huán)境變量。

編輯 ~/.bashrc，并在文件末尾添加以下這些值。

  1. export HADOOP_HOME=/home/hadoop/hadoop 
  2. export HADOOP_INSTALL=$HADOOP_HOME 
  3. export HADOOP_MAPRED_HOME=$HADOOP_HOME 
  4. export HADOOP_COMMON_HOME=$HADOOP_HOME 
  5. export HADOOP_HDFS_HOME=$HADOOP_HOME 
  6. export YARN_HOME=$HADOOP_HOME 
  7. export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native 
  8. export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin 

在當(dāng)前運(yùn)行環(huán)境中應(yīng)用更改。

  1. source ~/.bashrc 

編輯 $HADOOP_HOME/etc/hadoop/hadoop-env.sh 并設(shè)置 JAVA_HOME 環(huán)境變量。

  1. export JAVA_HOME=/opt/jdk1.7.0_79/ 

現(xiàn)在，先從配置基本的 hadoop 單節(jié)點集群開始。

首先編輯 hadoop 配置文件并進(jìn)行以下更改。

  1. cd /home/hadoop/hadoop/etc/hadoop 

讓我們編輯 core-site.xml。

  1. <configuration> 
  2. <property> 
  3.   <name>fs.default.name</name> 
  4.     <value>hdfs://localhost:9000</value> 
  5. </property> 
  6. </configuration> 

接著編輯 hdfs-site.xml：

  1. <configuration> 
  2. <property> 
  3.  <name>dfs.replication</name> 
  4.  <value>1</value> 
  5. </property> 
  6. <property> 
  7.   <name>dfs.name.dir</name> 
  8.     <value>file:///home/hadoop/hadoopdata/hdfs/namenode</value> 
  9. </property> 
  10. <property> 
  11.   <name>dfs.data.dir</name> 
  12.     <value>file:///home/hadoop/hadoopdata/hdfs/datanode</value> 
  13. </property> 
  14. </configuration> 

并編輯 mapred-site.xml：

  1. <configuration> 
  2.  <property> 
  3.   <name>mapreduce.framework.name</name> 
  4.    <value>yarn</value> 
  5.  </property> 
  6. </configuration> 

***編輯 yarn-site.xml：

  1. <configuration> 
  2.  <property> 
  3.   <name>yarn.nodemanager.aux-services</name> 
  4.     <value>mapreduce_shuffle</value> 
  5.  </property> 
  6. </configuration> 

現(xiàn)在使用以下命令格式化 namenode：

  1. hdfs namenode -format 

要啟動所有 hadoop 服務(wù)，請使用以下命令：

  1. cd /home/hadoop/hadoop/sbin/start-dfs.shstart-yarn.sh 

要檢查所有服務(wù)是否正常啟動，請使用 jps 命令：

  1. jps 

你應(yīng)該看到這樣的輸出。

  1. 26049 SecondaryNameNode 
  2. 25929 DataNode 
  3. 26399 Jps 
  4. 26129 JobTracker 
  5. 26249 TaskTracker 
  6. 25807 NameNode 

現(xiàn)在，你可以在瀏覽器中訪問 Hadoop 服務(wù)：http://your-ip-address:8088/ 。

 

hadoop

謝謝閱讀!!!

責(zé)任編輯：龐桂玉 來源： Linux中國
LinuxCentOSApache Hadoop
相關(guān)推薦

2014-12-01 11:27:54

CentOS 7Docker

2013-03-06 13:27:03

HadoopLinux

2018-05-25 11:55:41

2011-04-06 09:16:05

2017-05-03 14:00:00

LinuxCentOSElastic Sta

2020-03-02 14:06:54

CentOS 8FFmpegLinux

2021-12-04 21:45:19

UbuntuLinux開源

2013-12-04 14:45:22

2013-04-07 15:14:41

2015-09-10 11:38:37

iTOPCentOS開源

2017-04-11 13:20:06

CentOSRHELFedora

2015-12-11 13:16:10

CentOS 7Redis服務(wù)器

2021-08-09 09:00:00

Kubernetes云計算架構(gòu)

2021-02-25 08:00:00

WindowsWindows 10開發(fā)

2016-01-08 10:37:56

FreeBSD 10.Nginx反向代理

2017-04-24 18:10:27

DrupalCentOSFedora

2019-12-02 11:50:09

CentOS 8VirtualBoxLinux

2015-12-21 13:19:23

CentosRHEL 6.XWetty

2015-12-29 13:59:53

Ubuntu 15.0CentOS 7Android Stu

2017-03-21 15:51:57

LinuxCentOS 7MariaDB 10
點贊
收藏

51CTO技術(shù)棧公眾號