***堂課：大數(shù)據(jù)集群搭建葵花寶典

由淺入深，四步成“獅”

1)快速搞定偽分布Hadoop集群搭建

2)高可用的5節(jié)點Hadoop分布式集群搭建(Hadoop 2.6.0)

3)生產(chǎn)環(huán)境：CDH5高可用集群環(huán)境搭建

4)彩蛋：順便搞定Storm 和 Spark集群環(huán)境

課程大綱

(一)搭建Hadoop偽分布集群，讓WordCount飛起來

1、Vmware虛擬機的介紹

2、Vmware虛擬機的安裝

3、Vmware虛擬機的配置

4、搭建Linux 虛擬機

5、Linux虛擬機的系統(tǒng)配置

6、Hadoop偽分布環(huán)境搭建，讓WordCount飛起來

(二)手把手教你搭建5節(jié)點Hadoop分布式集群(HA)

1、集群規(guī)劃及安裝前準備

2、JDK安裝配置

3、Zookeeper安裝

4、HDFS安裝配置(HA)

5、YARN安裝配置(HA)

(三)搭建CDH5分布式集群環(huán)境(HA)

1、主機和軟件規(guī)劃

2、目錄規(guī)劃

3、SSH免密碼登錄

4、JDK安裝

5、Zookeeper安裝

6、HDFS安裝前檢查

7、HDFS安裝簡介

8、HDFS核心配置文件配置(HA)

9、文件系統(tǒng)初始化

10、HDFS安裝系統(tǒng)驗證

11、HDFS UI簡單介紹HDFS shell操作

12、Hadoop源碼安裝方式之下載源代碼

13、Hadoop源碼安裝方式之編譯環(huán)境準備

14、Hadoop源碼安裝方式之hadoop編譯

15、Yarn HA的原理和主機規(guī)劃

16、YARN(HA)核心配置文件的配置和分發(fā)

17、YARN(HA)的啟停

18、WordCount實戰(zhàn)演練

(四)搭建Storm 分布式集群環(huán)境

1、本地模式

2、分布式模式

(五)搭建Spark 分布式集群環(huán)境(HA)

1、Spark Standalone分布式環(huán)境部署

2、Spark Job提交與運行

3、Spark Standalone HA的實現(xiàn)

4、Spark Standalone運行架構(gòu)解析

5、Spark Standalone下運行實例程序

第二堂課：輕松構(gòu)建企業(yè)級MapReduce項目

也許這是對新手來說再詳細不過的一堂課

課程大綱

(一)Eclipse 構(gòu)建普通MapReduce項目

1、JDK安裝

2、Hadoop 插件安裝

3、Hadoop 環(huán)境變量配置

4、構(gòu)建普通的MapReduce項目并測試運行實例程序

(二)Eclipse 構(gòu)建MapReduce Maven 項目

1、Maven 安裝及環(huán)境變量配置

2、構(gòu)建Maven項目

3、調(diào)試MapReduce程序

4、Maven管理多個MapReduce程序

5、Maven項目的打包、測試、部署運行

第三堂課：MapReduce高手進階之Join算法

對熱愛開發(fā)的技術人員來說，MR編程是小kiss，我們就不幫你了。

可Join算法經(jīng)常會用到，就連很多老手也不能掌控自如

好吧，我們就帶你徹底搞明白這個，讓自己技高一籌

課程大綱

(一)MapReduce編程之Join算法

1、MapReduce實現(xiàn)Reduce Join操作

2、MapReduce實現(xiàn)Map Join操作

3、MapReduce實現(xiàn)Semi Join操作

4、MapReduce實現(xiàn)Reduce join + BloomFilter操作

第四堂課：Zookeeper從入門到實戰(zhàn)

ZooKeeper是針對大型分布式系統(tǒng)的可靠協(xié)調(diào)系統(tǒng)。 Zookeeper的Fast Fail 和 Leader選舉特性大大增強了分布式集群的穩(wěn)定和健壯性，并且解決了Master/Slave模式的單點故障問題，所以越來越多的計算框架依賴Zookeeper系統(tǒng)，比如HBase、Storm、Spark、Flink等。

Zookeeper在分布式集群中的地位越來越重要，如果你對它不熟悉，你必須必須必須補上它!

課程大綱

(一)深入學習ZooKeeper 架構(gòu)原理

1、ZooKeeper 是什么?

2、ZooKeeper特點

3、ZooKeeper 基本原理

4、ZooKeeper 寫數(shù)據(jù)流程

5、ZooKeeper 應用場景

(二)ZooKeeper 分布式環(huán)境部署

1、單節(jié)點模式

2、偽分布式模式

3、分布式模式

4、配置觀察者(ObServer)，擴展系統(tǒng)，提高讀取速度

(三)ZooKeeper 配置管理Hadoop集群

1、ZooKeeper 客戶端設計(API介紹，Java Client開發(fā))

2、ZooKeeper配置管理的案例開發(fā)

第五堂課：Hadoop、Spark源碼編譯

這個不解釋，懂的人自然知道重要性

課程大綱

(一)Hadoop源碼編譯

1、檢查并安裝Gcc-c++

2、安裝Maven

3、安裝ProtocolBuffer

4、安裝Cmake

5、安裝Zlib

6、安裝Openssl

7、安裝Snappy

8、編譯Hadoop

9、Hadoop本地庫檢測

10、Hadoop 配置Snappy壓縮

(二)Spark源碼編譯

1、Spark 版本選擇

2、在線安裝Git(root 用戶下)

3、創(chuàng)建一個目錄克隆Spark源代碼

4、切換Spark分支

5、安裝JDK

6、安裝Maven

7、編譯spark