Spark是一個(gè)用來實(shí)現(xiàn)快速而通用的集群計(jì)算的平臺(tái)。在速度方面，Spark擴(kuò)展了廣泛使用的MapReduce計(jì)算模型，而且高效地支持更多計(jì)算模式，包括交互式查詢和流處理。

一.基礎(chǔ)知識(shí)

1.Spark

Spark是一個(gè)用來實(shí)現(xiàn)快速而通用的集群計(jì)算的平臺(tái)。

在速度方面，Spark擴(kuò)展了廣泛使用的MapReduce計(jì)算模型，而且高效地支持更多計(jì)算模式，包括交互式查詢和流處理。

Spark項(xiàng)目包含多個(gè)緊密集成的組件。Spark的核心是一個(gè)對由很多計(jì)算任務(wù)組成的、運(yùn)行在多個(gè)工作機(jī)器或者是一個(gè)計(jì)算集群上的應(yīng)用進(jìn)行調(diào)度、分發(fā)以及監(jiān)控的計(jì)算引擎。

Spark的各個(gè)組件

2.Hadoop

Hadoop是一個(gè)由Apache基金會(huì)所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。

用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運(yùn)算和存儲(chǔ)。

Hadoop的框架最核心的設(shè)計(jì)就是：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲(chǔ)，則MapReduce為海量的數(shù)據(jù)提供了計(jì)算。

二.大數(shù)據(jù)處理選擇

根據(jù)Spark和Hadoop的基礎(chǔ)知識(shí)，我們了解Spark和Hadoop都 可以進(jìn)行大數(shù)據(jù)處理，那我們?nèi)绾芜x擇處理平臺(tái)呢?

1.處理速度和性能

Spark擴(kuò)展了廣泛使用的MapReduce計(jì)算模型，其中Spark有個(gè)Directed Acyclic Graph(DAG有向無環(huán)圖)執(zhí)行引擎，支持循環(huán)數(shù)據(jù)流和內(nèi)存計(jì)算。

Hadoop是磁盤級計(jì)算，進(jìn)行計(jì)算時(shí)，都需要從磁盤讀或者寫數(shù)據(jù)，同時(shí)整個(gè)計(jì)算模型需要網(wǎng)絡(luò)傳輸，導(dǎo)致MapReduce具有高延遲的致命弱點(diǎn)。

據(jù)統(tǒng)計(jì)，基于Spark內(nèi)存的計(jì)算速度比Hadoop MapReduce快100倍以上，基于磁盤的計(jì)算速度也要快10倍以上。

2.開發(fā)難易度

Spark提供多語言(包括Scala、Java、Python)API，能夠快速實(shí)現(xiàn)應(yīng)用，相比MapReduce更簡潔的代碼，安裝部署也無需復(fù)雜配置。使用API可以輕松地構(gòu)建分布式應(yīng)用，同時(shí)也可以使用Scala和Python腳本進(jìn)行交互式編程。

3.兼容性

Spark提供了一個(gè)強(qiáng)大的技術(shù)棧，基于”One Stack to rule them all”的理念實(shí)現(xiàn)一體化、多元化的大數(shù)據(jù)處理平臺(tái)，輕松應(yīng)對大數(shù)據(jù)處理的查詢語言Spark SQL、機(jī)器學(xué)習(xí)工具M(jìn)Llib、圖計(jì)算工具GraphX、實(shí)時(shí)流處理工具Spark Streaming無縫連接。

Hadoop的技術(shù)棧則相對獨(dú)立復(fù)雜，各個(gè)框架都是獨(dú)立的系統(tǒng)，給集成帶來了很大的復(fù)雜和不確定性。

4.相互集成性

Spark可以運(yùn)行在Hadoop集群管理Yarn上，這使得Spark可以讀取Hadoop的任何數(shù)據(jù)。同時(shí)它也能讀取HDFS、HBase、Hive、Cassandra以及任何Hadoop數(shù)據(jù)源。