使用Windows Azure搭建Hadoop集群
項(xiàng)目中在私有云中使用CDH (Cloudera Distribution Including Apache Hadoop)搭建Hadoop集群進(jìn)行大數(shù)據(jù)計(jì)算。作為微軟的忠實(shí)粉絲，將CDH部署到Windows Azure的虛擬機(jī)中是我的必然選擇。由于CDH中包含多個(gè)開源服務(wù)，所以虛擬機(jī)需要開放的端口眾多。Windows Azure中的虛擬機(jī)的網(wǎng)絡(luò)是被安全隔離的，因此在Windows Azure中Virtual machines的服務(wù)中創(chuàng)建多個(gè)虛擬機(jī)安裝Hadoop cluster，最佳的方案是為Hadoop集群創(chuàng)建虛擬網(wǎng)絡(luò)，在虛擬網(wǎng)絡(luò)中的資源和服務(wù)就像在虛擬私有云中互相訪問，而與虛擬網(wǎng)絡(luò)之外的其他資源是隔離的，從而實(shí)現(xiàn)安全性。
What is CDH?
CDH is the distribution of Apache Hadoop and related projects. CDH is 100% Apache-licensed open source and is the only Hadoop solution to offer unified batch processing, interactive SQL, and interactive search, and role-based access controls.
在 Windows Azure 中創(chuàng)建虛擬網(wǎng)絡(luò)
-
登錄到 Windows Azure 管理門戶 , 在左下角單擊"新建"。
-
在導(dǎo)航窗格中，依次單擊"網(wǎng)絡(luò)"、"虛擬網(wǎng)絡(luò)"和"自定義創(chuàng)建"。
-
在"虛擬網(wǎng)絡(luò)詳細(xì)信息"屏幕上，輸入虛擬網(wǎng)絡(luò)的配置信息，然后單擊"下一步"箭頭。在此輸入的配置信息包括虛擬網(wǎng)絡(luò)的名稱、地緣組區(qū)域和地緣組的名稱。
地緣組是一種用于在同一數(shù)據(jù)中心以物理方式將 Windows Azure 服務(wù)組合起來以提高性能的方法。只能向一個(gè)虛擬網(wǎng)絡(luò)分配地緣組。
-
設(shè)置DNS Server 和 VPN Connectivity，此步驟可不為跳過，在虛擬網(wǎng)絡(luò)創(chuàng)建后需要時(shí)再設(shè)置。
-
在"地址空間和子網(wǎng)"屏幕上，輸入以下信息，然后單擊"下一步"箭頭。地址空間必須為用 CIDR 表示法指定的專用地址范圍：10.0.0.0/8、172.16.0.0/12 或 192.168.0.0/16（由 RFC 1918 指定）。本例中選擇的是 Starting IP 選擇的是192.168.0.0。
單擊右下角的對(duì)號(hào)按鈕，此時(shí)Windows Azure將根據(jù)提交的配置創(chuàng)建您的虛擬網(wǎng)絡(luò)。
此時(shí)，您已在 Windows Azure 中擁有一個(gè)虛擬網(wǎng)絡(luò)，可以在門戶的"虛擬網(wǎng)絡(luò)"選項(xiàng)卡上看到它。更多的詳細(xì)配置方法可參考Windows Azure 官方文檔 在 Windows Azure 中創(chuàng)建虛擬網(wǎng)絡(luò) 。
從Windows Azure映像庫中創(chuàng)建 Linux 虛擬機(jī)
創(chuàng)建Linux虛擬機(jī)的步驟可參考 Windows Azure 上的文檔《創(chuàng)建運(yùn)行 Linux 的虛擬機(jī)》 http://www.windowsazure.cn/zh-cn/manage/linux/tutorials/virtual-machine-from-gallery/
請(qǐng)注意在"虛擬機(jī)配置"對(duì)話框中的"REGION/AFFINITY GROUP/VIRTUAL NETWORK"選項(xiàng)中選擇上一步驟中創(chuàng)建的虛擬網(wǎng)絡(luò)。在本例中選中的是作者創(chuàng)建的虛擬網(wǎng)絡(luò)"hadoopclusternetwork"。
為虛擬機(jī)開放如下的端口，即在虛擬機(jī)配置中設(shè)置如下的Endpoints。
-
Enable port for Virtual machines
-
7180 (Cloudera Manager web UI)
-
8020, 50010, 50020, 50070, 50075 (HDFS NameNode and DataNode)
-
8021 (MapReduce JobTracker)
-
8888 (Hue web UI)
-
9083 (Hive/HCatalog metastore)
-
41415 (Flume agent)
-
11000 (Oozie server)
-
21050 (Impala JDBC port)
-
使用同樣的方式創(chuàng)建多個(gè)虛擬機(jī)組成可按照Hadoop的集群，請(qǐng)注意多個(gè)虛擬機(jī)使用同一個(gè)虛擬網(wǎng)絡(luò)。
安裝CDH
配置各個(gè)主機(jī)上的/etc/hosts
關(guān)閉防火墻
在root下執(zhí)行下面命令，可以臨時(shí)關(guān)閉防火墻
- service iptables stop
在root下執(zhí)行下面命令，可以永久關(guān)閉防火墻（即，每次開機(jī)都會(huì)關(guān)閉），但需要重啟生效。
- chkconfig iptables off
關(guān)閉SELinux
$ setenforce 0
如果需要永久關(guān)閉，編輯/etc/selinux/config ，設(shè)置SELINUX=disabled
，然后完成安裝。
更改Cloudera-manager-installer.bin權(quán)限
$ chmod u+x cloudera-manager-installer.bin
$ ./cloudera-manager-installer.bin
接著，接受許可協(xié)議，按Enter和Next，
安裝界面如下所示：
啟動(dòng) Cloudera Manager Admin 控制臺(tái)
通過Cloudera Manager Admin控制臺(tái)，可以配置、管理、監(jiān)控集群上的Hadoop，WEB端的URL地址是：http://myhost.example.com:7180，myhost.example.com是你安裝Cloudera-Manager-installer.bin的主機(jī)域名，當(dāng)然用IP也是可以的。例如我的WEB端URL地址就是：http://hcc1.cloudapp.net:7180 。按照提示安裝即可，安裝成功的界面如下圖所示。
原文鏈接：http://www.cnblogs.com/xuesong/p/3604080.html
